Meta A 的研究人员正在开发智能手机上运行的紧凑型大模型 MobileLLM。研究人员致力于优化参数规模低于 10 亿的大模型，相比下 OpenAI GPT-4 的参数规模据称超过 1 万亿。研究人员报告利用一系列新技术，MobileLLM 在基准测试任务上的表现比类似规模的模型改进了 2.7%-4.3%，3.5 亿参数规模的 MobileLLM 在某些任务的准确率与 70 亿参数规模的 LLaMA-2 模型相当。这意味着在特定任务上，紧凑型大模型能提供比更大规模大模型相似的能力，同时计算开销更低。

https://venturebeat.com/ai/meta-ai-develops-compact-language-model-for-mobile-devices/
https://arxiv.org/abs/2402.14905