最强Llama 3 王者回归,挑战GPT-4,马斯克点赞

日期:2024-04-22  作者:小天  来源:www.txunda.com  人气:35

具体而言, Meta 此次开源了两个规模不同的模型:8B型和70B型。
Llama 3 8B:从根本上说,它和最大的 Llama2 70B一样强大。
Llama 3 70B:第一个AI模型,与 Gemini1.5 Pro不相上下,远超 Claude系列。
这仅仅是 Meta的开胃菜,真正的盛宴还在后面。接下来的数月, Meta还将陆续发布多模态、多语种会话、长上下文窗等功能的新模式,其中400 B以上的重量级玩家将与Claude3进行“掰手腕”。
相较于上一代 Llama 2, Llama 3可以说是提升了一个档次。
在前期工作的基础上,本项目提出的预训练与指令调优模型,在现有8 B、70 B尺度下,具有最强的性能;通过对后训练过程的优化,可减少错误率,提高模型的一致性,增加响应的多样性。
扎克伯格在一次公共演讲中表示, Llama 2对该领域的优化效果并不显著,因为用户不会在 WhatsApp上问 Meta关于编程的问题。
现在, Llama 3突破了推理、代码生成和遵循指示的能力限制,使得它变得更灵活,更容易使用。
在 MMLU, GPQA,HumanEval等测试得分结果上, Llama 3 8B都远远超过谷歌 Gemma 7 B和 Mistral 7 B Instruct。扎克伯格称,最小型的 Llama 3和最大型 Lama 2的功能相当。
Llama 3 70B 属于顶级人工智能,综合性能完爆Claude3,和 Gemini1.5 Pro不相上下。同时,本项目还将研发一种全新的高精度人体评价数据库,以更好地考察该模型在标准测试中的表现。这套评价包括1800条技巧,包括12种主要的使用情况:征求意见,脑力激荡,分类,封闭式问答,编码,创造性写作,抽取,建立角色,开放式问答,推理,重写,总结。
在推动下一阶段大模型的过程中,训练数据的数量与质量是影响大模型能力产生的重要因素。
从成立之初, Meta Lama 3就一直在努力使其成为功能最强的模式。Meta已经在预先培训数据上进行了大量投资。Llama 3使用了15 T以上的公共资源,这是 Llama 2的7倍,并且包括了4倍于 Llama 2。

鉴于多语种的现实情况, Llama 3预训练语料中有5%以上包含了30种不同语种的高品质非英语语料,但 Meta公司也承认,相对于英语来说,这两种语言的性能要差一些。

天津天迅达科技有限公司

如果您需要相关服务,可以找天津天迅达科技有限公司,我们的业务有Web开发、iOS APPAndroid APP、微信开发、HTML5开发等,天迅达——您身边的App个性化定制专家!

为保证 Llama 3能够获得高质量的数据,项目组还采用启发式过滤器、 NSFW筛选器、语义去重算法以及文本分类器等方法对数据进行了预测。
Meta AI的首席科学家,图灵奖获得者杨恩•李•康,除了为 Llama 3的发行造势之外,还宣布在接下来的数个月中还会有更多的发行版本。就连马斯克也现身于该评论区,用一句简洁而含蓄的「Not bad 不错」,表达了对 Llama 3 的认可和期待。
英伟达的资深科学家 JImFan对 Llama 3 400B+感兴趣,他认为 Llama 3的发布标志着开源模式和顶级封闭源代码模型并驾齐驱。
从评测报告上来看, Llama 3 400B+ 的性能与 Claude杯差不多,也就是最新版本的GPT-4 Turbo,虽然还差了一些,但也是数一数二的存在。
今年年初,手握 35 万块 GPU 的扎克伯格在接受 The Verge 的采访时,用坚定的语气描绘了 Meta 的愿景——致力于打造 AGI(通用人工智能)。
与OpenAI形成鲜明对比,Meta则沿着开源的路线朝AGI的圣杯发起了冲锋。
近一年来, AI社区内围绕着“开放源代码”和“封闭源代码”展开了激烈的争论,争论的焦点不仅在于技术上的优劣,更在于人工智能的未来。就连马斯克,都用 Grok1.0向全世界展示了这一点。

毕竟暗中蓄势待发的 GPT-4.5/5 也许会在今年夏天,以无可匹敌的性能为这场旷日持久的争论画上一个句号。

以上所有设计图和部分文字均来自网络,如有侵权,请call我删除,感谢~

天津天迅达科技有限公司经过多年来对APP小程序、以及网站建设的探索,已经帮助每一个客户快速开发出属于自己的APP小程序网站,是万千企业之选。

标签:天迅达科技 天津APP开发 天津网站建设 网站建设