全球最大参数模型Grok-1开源,马斯克打脸OpenAI

今天凌晨,马斯克旗下AI大模型Grok宣布正式开源。

xAI正式发布了大模型Grok-1,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿;是迄今参数量最大的开源LLM,是Llama 2的4倍。

Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的“专家”集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为“门控网络”的机制。

xAI将Grok-1的权重和架构在GitHub上开源。一经上线GitHub,Grok就狂揽了6k星,586个Fork。

xAI是马斯克在去年刚刚成立的AI初创公司,其目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争,其团队成员来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。

根据睿兽分析数据显示,xAI在2023年12月完成了1.35亿美元的Pre-种子轮融资。今年1月有消息传出,马斯克正在xAI洽谈至多60亿美元的融资,后被马斯克予以否认。

2023年11月xAI正式发布了旗下第一款大模型产品 Grok AI,12月Grok并面向美国地区的 Premium+ X 用户开放,每月16美元。xAI表示,Grok的设计灵感来源于《银河系漫游指南》,它能够回答几乎所有问题,助力人类不分背景或政治立场地追求理解和知识。

Grok最初的版本Grok-0拥有330亿参数,紧接着xAI推出了经过数次改进的Grok-1,为X上的Grok聊天机器人提供支持。

Grok 整合了X平台的实时数据,能够根据 X 平台的最新动态提供实时回应,这也是其与其他竞争对手的显著差异之一。

更有趣的是,从Grok 那幽默且阴阳怪气的回复中,能够捕捉到马斯克的影子。

然而,就像所有 AI 聊天机器人一样,Grok 也存在“幻觉”问题,即生成包含虚假或误导信息的回应。这种现象在所有大型语言模型(LLM)中都普遍存在,包括 ChatGPT。

xAI 表示Grok-1 的研发经历了四个月。在此期间,Grok-1 经历了多次迭代。

xAI 使用了一些旨在衡量数学和推理能力的标准机器学习基准对 Grok-1 进行了一系列评估:在这些基准测试中,Grok-1 显示出了强劲的性能,超过了其计算类中的所有其他模型,包括 ChatGPT-3.5 和 Inflection-1。只有像 GPT-4 这样使用大量训练数据和计算资源训练的模型才能超越它。xAI 表示,这展示了他们在高效训练 LLM 方面取得的快速进展。

不过,开源版 Grok 目前还有些事情做不到,比如通过 X 平台实时了解世界,实现这一功能目前仍需要订阅部署在 X 平台上的付费版本。

xAI宣布开源的消息刚刚发布,ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动,在Grok官方账号评论下回复道:“偷了我的笑话。”

马斯克自然不会示弱,马上说请告诉我OpenAI“Open”之处在哪里。

小扎也对Grok做出了评价,并没有给人留下真正深刻的印象,3140亿参数太多了,你需要一堆H100,不过我已经买下了。

在数次嘲讽OpenAI是CloseAI之后,马斯克果真选择了开源自家大模型。但是作为市场领导者的OpenAI,是没有理由开源ChatGPT背后模型代码的。

虽然Llama的开源盘活了深陷元宇宙泥潭的Meta;AI明星创企Mistral AI,也因为自己的开源策略而声名鹊起,被业内认为是欧洲的OpenAI。

尽管OpenAI目前在AI领域仍遥遥突出,但开源和闭源的战争还远远没有结束。马斯克与OpenAI之间的爱恨情仇,也仍未落下帷幕。

免责申明

1.本平台专注于提供资讯分享服务,所提供的资讯内容仅代表作者个人观点,不反映本平台立场。

2.我们致力于确保所提供信息的准确性和及时性,但对信息的完整性、准确性、可靠性或适用性不做任何明示或暗示的保证。

3.用户在使用本网站提供的信息时,请自行判断并承担相应风险。本网站对用户因使用或未能使用本网站而导致的任何直接、间接、附带的损失或损害概不负责,包括但不限于利润损失、商业中断、信息丢失等。

4.免责申明可能随时修改,恕不另行通知。请定期查阅以获取最新信息。