![]() 为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。 当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,上下文窗口为8k。Meta表示,通过使用更高质量的训练数据和指令微调,Llama 3比前代Llama 2有了“显著提升”。 未来,Meta将推出Llama 3的更大参数版本,其将拥有超过4000亿参数。Meta也将在后续为Llama 3推出多模态等新功能,包括更长的上下文窗口,以及Llama 3研究论文。 Meta在公告中写道:“通过Llama 3,我们致力于构建能够与当今最优秀的专有模型相媲美的开源模型。我们想处理开发者的反馈,提高Llama 3 的整体实用性,同时,继续在负责地使用和部署LLM(大型语言模型)方面发挥领先作用。” 18日当天,Meta股价(Nasdaq:META)收于每股501.80美元,涨1.54%,总市值1.28万亿美元。 “目前市场上最好的开源大模型” 据Meta介绍,Llama 3已经在多种行业基准测试上展现了最先进的性能,提供了包括改进的推理能力在内的新功能,是目前市场上最好的开源大模型。 在架构层面,Llama3选择了标准的仅解码(decoder-only)式Transformer架构,采用包含128K token词汇表的分词器。Llama 3在Meta自制的两个24K GPU集群上进行预训练,使用了超过15T的公开数据,其中5%为非英文数据,涵盖30多种语言,训练数据量是前代Llama 2的七倍,包含的代码数量是Llama 2的四倍。 根据Meta的测试结果,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项性能基准上均超过了Gemma 7B和Mistral 7B Instruct,70B模型则超越了名声在外的闭源模型Claude 3的中间版本Sonnet,和谷歌的Gemini Pro 1.5相比三胜两负。 Llama 3在多项性能基准上表现出众。来源:Meta官网 在常规数据集之外,Meta还致力于优化Llama 3在实际场景中的性能,为此专门研发了一套高质量的人工测试集。该测试集包含1800条数据,涵盖了寻求建议、封闭式问题回答、头脑风暴、编码、写作等12个关键用例,并对开发团队保密。 在这套测试集中,从结果来看,Llama 3的成绩大幅超越了Llama 2,也胜过了Claude 3 Sonnet、Mistral Medium和GPT-3.5这些知名模型。 Llama 3在人工测试集上取得优异成绩。来源:Meta官网 而Llama 3的400B+模型虽然仍在训练中,Meta也展现了其部分测试成果,似乎旨在对标Claude 3的最强版本Opus。不过,Meta没有公布Llama 3更大参数模型和GPT-4等同规格选手的对比成果。 仍在训练中的Llama 3的400B+模型。来源:Meta官网 Llama 3模型即将在亚马逊AWS、Databricks、谷歌云、Hugging Face、Kaggle、IBM WatsonX、亚马逊Azure、英伟达NIM和Snowflake上被提供给开发者,并获得 AMD、AWS、戴尔、英特尔、英伟达和高通提供的硬件平台支持。为了让Llama 3被负责地开发,Meta还将提供新的信任和安全工具,包括Llama Guard 2、Code Shield和CyberSec Eval 2。 同时,Meta发布了基于Llama3的官方Web版本Meta AI。目前,该平台仍处于初级阶段,只有对话和绘画两大功能。用户使用对话功能无需通过注册,使用绘画功能则需要用户注册登录账号。 为开源社区注入活力 Meta的AI道路向来与开源紧密相连,Llama 3一经推出,受到了开源社区的热烈欢迎。 虽然也有一些对于Llama 3的8k上下文窗口过小的吐槽,但Meta方面表示,很快就会扩充Llama 3的上下文窗口。电子邮件初创企业Otherside AI的CEO兼联合创始人马特·舒默(Matt Shumer)对此也保持乐观,并表示:“我们正在走入一个新世界,在这里,GPT-4级别的模型是开源并可以免费访问的。” 英伟达高级研究科学家范麟熙(Jim Fan)表示,即将推出的更大参数Llama 3模型标志着开源社区的一个“分水岭”,可以改变许多学术研究和初创企业的决策方式,“预计整个生态系统中的活力将会激增”。 不过,值得注意的是,Meta没有公布Llama 3的训练数据,只称其全部来自公开数据。而从严格意义上来说,所谓的“开源”软件应当在开发与分发的过程中,将包括软件产品的源代码、训练数据等内容对公众完全开放。此前,数据公司Databricks发布的“最强开源大模型”DBRX除了拥有远超出普通计算机的标准配置外,也存在这一问题。 Llama 3的推出紧跟在Meta自研芯片取得进步之后。就在上周股票配资,Meta公布了自主研发芯片MTIA的最新版本。MTIA是Meta专门为AI训练和推理工作设计的定制芯片系列。和去年五月官宣的Meta第一代AI推理加速器MTIA v1相比,最新版本芯片在性能上有显著提升,专为Meta旗下社交软件的排名和推荐系统而设计。分析指出,Meta的目标是降低对英伟达等芯片厂商的依赖。 |