科技巨头苹果公司最近又新推出了一款名为OpenELM的开源大语言模型,与市面上其他LLM产品不同的是,OpenELM设计为直接在本地设备上运行,而无需云计算。以往LLM产品常为用户所诟病的一点就是隐私保护和数据安全,而通过将数据保留在本地进行处理,毫无疑问能够保障更高的安全性。
据了解,OpenELM系列有八个模型,其中一半使用苹果的CoreNet库进行了预训练(原始模型),另一半经过了特定指令微调以增强其效用(更适合开发AI助手和聊天机器人),所有八款OpenELM模型都能处理至多2048词。这一系列模型现在可通过Hugging Face Hub(一个供AI开发人员分享及合作的热门平台)访问。
这些模型的其中一个显著特点是它们使用了分层缩放策略,优化了Transformer 模型各层之间的参数分配。这种方法不仅节省了计算资源,还提高了在相对较小数据量上的训练性能。例如,在所需的预训练token数量减半的前提下,OpenELM相比于以前的模型(如OLMo),准确率仍提高了2.36%。
值得一提的是,苹果不仅公开了OpenELM模型的源代码,还发布了用于训练它们的CoreNet库。此外,该公司还附带了详细说明使得可以复制神经网络的权重系数,如此程度的透明度水平并不常见。通过发布源代码、模型权重、训练材料及日志,苹果表示其目标是“以最先进的语言模型赋予并丰富开放研究社区”。
论文链接:https://arxiv.org/pdf/2404.14619
编辑:左右里
资讯来源:Apple官网、Applemagazine
转载请注明出处和本文链接
球分享
球点赞
球在看