Meta 宣布了它的新一代大模型 Llama 2。Llama 2 有 70 亿、130 亿和 700 亿参数三个版本，它的预训练模型使用了 2 万亿 tokens 训练，比上一代的 Llama 多 40%，上下文长度增加了一倍，微调模型使用了逾百万人类注释训练。基准测试显示 Llama 2 在很多方面都接近甚至超过了 OpenAI 的 GPT-3.5。GPT-3.5 有 1750 亿个参数，而 GPT-4 有超过1 万亿个参数，相比下 Llama 的参数规模要小得多。Llama 2 采用了非常有针对性的授权：如果月活用户数超过 7 亿，企业必须从 Meta 申请许可证，而 Meta 会对此类授权进行严格设限。月活用户逾 7 亿的平台就那么几家——亚马逊、苹果、Google、字节跳动，微软刚刚宣布与 Meta 在 Llama 2 上展开合作，可能不在受限范围。

https://ai.meta.com/llama/
https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
https://blogs.microsoft.com/blog/2023/07/18/microsoft-and-meta-expand-their-ai-partnership-with-llama-2-on-azure-and-windows/