Intended Use

Intended Use Cases Llama 2 is intended for commercial and research use in English. Tuned models are intended for assistant-like chat, whereas pretrained models can be adapted for a variety of natural language generation tasks.

To get the expected features and performance for the chat versions, a specific formatting needs to be followed, including the INST and <<SYS>> tags, BOS and EOS tokens, and the whitespaces and breaklines in between (we recommend calling strip() on inputs to avoid double-spaces). See our reference code in github for details: chat_completion.

Out-of-scope Uses Use in any manner that violates applicable laws or regulations (including trade compliance laws).Use in languages other than English. Use in any other way that is prohibited by the Acceptable Use Policy and Licensing Agreement for Llama 2.

预期用例 Llama 2预期用于商业和研究用途，语言为英语。调整模型预期用于类似助手的聊天，而预训练模型可以适应各种自然语言生成任务。

为了获得聊天版本的预期特性和性能，需要遵循特定的格式，包括INST和<>标签，BOS和EOS令牌，以及其中的空格和换行（我们建议在输入上调用strip()以避免双空格）。详细信息请参见我们在github上的参考代码：chat_completion。

超出范围的用途 以任何违反适用法律或法规（包括贸易合规法）的方式使用。使用英语以外的语言。以任何其他方式使用，这被Llama 2的可接受使用政策和许可协议所禁止。

Hardware and Software

Training Factors We used custom training libraries, Meta’s Research Super Cluster, and production clusters for pretraining. Fine-tuning, annotation, and evaluation were also performed on third-party cloud compute.

训练因素 我们使用了定制的训练库，Meta的研究超级集群，以及用于预训练的生产集群。微调、注释和评估也在第三方云计算上进行。

Carbon Footprint Pretraining utilized a cumulative 3.3M GPU hours of computation on hardware of type A100-80GB (TDP of 350-400W). Estimated total emissions were 539 tCO2eq, 100% of which were offset by Meta’s sustainability program.

碳足迹 预训练使用了累计330万GPU小时的计算，硬件类型为A100-80GB（TDP为350-400W）。估计的总排放量为539 tCO2eq，其中100%由Meta的可持续性计划抵消。

示例代码

from modelscope.utils.constant import Tasks
import torch
from modelscope.pipelines import pipeline
from modelscope import snapshot_download, Model
pipe = pipeline(task=Tasks.text_generation, model=model_dir, device_map='auto',torch_dtype=torch.float16)
inputs="咖啡的作用是什么？"
result = pipe(inputs)
print(result['text'])

🚀 社区地址：

Github：Llama2-Chinese

在线体验链接：llama.family

🥇 模型评测

为了能够更加清晰地了解Llama2模型的中文问答能力，我们筛选了一些具有代表性的中文问题，对Llama2模型进行提问。我们测试的模型包含Meta公开的Llama2-7B-Chat和Llama2-13B-Chat两个版本，没有做任何微调和训练。测试问题筛选自AtomBulb，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。

测试中使用的Prompt如下，例如对于问题“列出5种可以改善睡眠质量的方法”：

[INST] 
<<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. The answer always been translate into Chinese language.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.

The answer always been translate into Chinese language.
<</SYS>>

列出5种可以改善睡眠质量的方法
[/INST]

Llama2-7B-Chat的测试结果见meta_eval_7B.md，Llama2-13B-Chat的测试结果见meta_eval_13B.md。

通过测试我们发现，Meta原始的Llama2 Chat模型对于中文问答的对齐效果一般，大部分情况下都不能给出中文回答，或者是中英文混杂的形式。因此，基于中文数据对Llama2模型进行训练和微调十分必要，我们的中文版Llama2模型也已经在训练中，近期将对社区开放。

💪 外延能力

除了持续增强大模型内在的知识储备、通用理解、逻辑推理和想象能力等，未来，我们也会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。
我们首先集成了LangChain框架，可以更方便地基于Llama2开发文档检索、问答机器人和智能体应用等，关于LangChain的更多介绍参见LangChain。

LangChain

针对LangChain框架封装的Llama2 LLM类见examples/llama2_for_langchain.py，简单的调用代码示例如下：

from llama2_for_langchain import Llama2

# 这里以调用4bit量化压缩的Llama2-Chinese参数FlagAlpha/Llama2-Chinese-13b-Chat-4bit为例
llm = Llama2(model_name_or_path='FlagAlpha/Llama2-Chinese-13b-Chat-4bit', bit4=True)

while True:
    human_input = input("Human: ")
    response = llm(human_input)
    print(f"Llama2: {response}")

📖 学习资料

Meta官方对于Llama2的介绍

自从Meta公司发布第一代LLaMA模型以来，羊驼模型家族繁荣发展。近期Meta发布了Llama2版本，开源可商用，在模型和效果上有了重大更新。Llama2总共公布了7B、13B和70B三种参数大小的模型。相比于LLaMA，Llama2的训练数据达到了2万亿token，上下文长度也由之前的2048升级到4096，可以理解和生成更长的文本。Llama2 Chat模型基于100万人类标记数据微调得到，在英文对话上达到了接近ChatGPT的效果。

Llama相关论文

• LLaMA: Open and Efficient Foundation Language Models
• Llama 2: Open Foundation and Fine-Tuned Chat Models

Llama2的评测结果

🎉 致谢

感谢原子回声AtomEcho团队的技术和资源支持！

感谢 @xzsGenius 对Llama2中文社区的贡献！

感谢 @Z Potentials社区对Llama2中文社区的支持！

🤔 问题反馈

如有问题，请在GitHub Issue中提交，在提交问题之前，请先查阅以往的issue是否能解决你的问题。

礼貌地提出问题，构建和谐的讨论社区。

加入飞书知识库，一起共建社区文档。

加入微信群讨论😍😍

🔥 社区介绍

欢迎来到Llama2中文社区！

我们是一个专注于Llama2模型在中文方面的优化和上层建设的高级技术社区。

基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。

我们热忱欢迎对大模型LLM充满热情的开发者和研究者加入我们的行列。

🐼 社区资源

• Llama2在线体验链接llama.family，同时包含Meta原版和中文微调版本！
• Llama2 Chat模型的中文问答能力评测！
• 社区飞书知识库，欢迎大家一起共建！