模型介绍

Meta 发布的 LLaMA 3.1 多语言大规模语言模型（LLMs）包含预训练和指令微调生成模型，提供 8B、70B 和 405B 三种规模（文本输入/文本输出）。该模型使用 15T 的数据进行训练，知识更新截止于 2023 年 12 月。

模型亮点

LLaMA 3.1 的指令微调文本模型（8B、70B、405B）专为多语言对话场景优化，并在许多常见行业基准测试中表现优于现有的开源和闭源聊天模型。

NOTE

LLaMA3 系列模型需要申请试用。模型使用受 Meta 许可协议的约束。请在下方查看相关的协议内容。

评测数据
当前模型
llama-3.1-8b-instruct
MMLU
69.4
MMLU (CoT)
73.0
MMLU-Pro (CoT)
48.3
IFEval
80.4
ARC-C
83.4
GPQA
30.4
HumanEval
72.6
MBPP ++ base version
72.8
Multipl-E HumanEval
50.8
Multipl-E MBPP
52.4
GSM-8K (CoT)
84.5
MATH (CoT)
51.9
API-Bank
82.6
BFCL
76.1
Gorilla Benchmark API Bench
8.2
Nexus (0-shot)
38.5
Multilingual MGSM (CoT)
68.9
同系列模型
llama-3.1-405b-instruct
llama-3.1-70b-instruct
MMLU
87.3
83.6
MMLU (CoT)
88.6
86.0
MMLU-Pro (CoT)
73.3
66.4
IFEval
88.6
87.5
ARC-C
96.9
94.8
GPQA
50.7
41.7
HumanEval
89.0
80.5
MBPP ++ base version
88.6
86.0
Multipl-E HumanEval
75.2
65.5
Multipl-E MBPP
65.7
62.0
GSM-8K (CoT)
96.8
95.1
MATH (CoT)
73.8
68.0
API-Bank
92.0
90.0
BFCL
88.5
84.8
Gorilla Benchmark API Bench
35.3
29.7
Nexus (0-shot)
58.7
56.7
Multilingual MGSM (CoT)
91.6
86.9

NOTE

详见 官方数据

许可协议

https://huggingface.co/meta-llama/Meta-Llama-3.1-8B/blob/main/LICENSE

免责声明

限于技术特性，平台在尽到合理努力的前提下，仍无法完全保证您通过本服务获得的输出的合法性、真实性、准确性以及完整性。您应对本服务中的输出自行加以判断，并承担因使用内容引起的所有风险。 我们提示您，除法律有明确规定外，平台无法也不会对前述风险而导致的任何损失或损害承担责任。本服务下的输出不代表专业意见，不能代替如法律、医疗、金融等专业领域从业人员向您解答对应疑问。相关观点也仅限于算法所触达有限数据呈现的供您参考的结果，并不代表平台立场。 由于机器学习特性，就相同的输入可能产生不同的输出结果，请您注意甄别。