李开复AI公司首发大模型,公司估值已超10亿美元

首款340亿参数大模型Yi

作者丨晓晓

编辑丨信陵

11月6日,由创新工场董事长兼CEO李开复成立的AI公司“零一万物”发布了首款开源中英双语大模型“Yi”。

于此同时,零一万物已完成新一轮融资,由阿里云领投。目前,零一万物估值已超10亿美元,跻身独角兽行列。

此次开源发布的Yi系列模型,包含34B和6B两个版本,并于11月2日在Hugging Face上传了这两个参数。创业邦了解到,Hugging Face是全球最受欢迎的大模型、数据集开源社区,被认为是大模型领域的GitHub,在大模型英文能力测试中具有相当权威性。

根据Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单,Yi-34B分别在Hugging Face LLM Leaderboard(pretrained)(预训练大语言模型)和中文大模型榜单C-Eval排行榜已经爬升到1位。

这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。

今年3月,李开复开始组建零一万物团队,并于6月开始运营,在不到八个月的时间里就成为了“独角兽”。

首款340亿参数大模型Yi

此次Yi系列基础模型的首个公开版本包括两款:Yi-6B(数据参数量为60亿)、Yi-34B(340亿),均是双语(英文/中文)、支持开源。

“34B是一个黄金尺寸。”李开复说。

优势在于,它不会小到没有涌现或者涌现不够,甚至已经完全达到了涌现的门槛,但是又没有太大,允许高效率的单卡推理。既满足精度要求、训练推理成本友好、达到涌现的门槛,又是很多商业应用都可以做的。

Yi-34B模型在多项评测基准中全球领跑,基于超强Infra下模型训练成本实测下降40%,模拟千亿规模训练成本可下降多达50%,并以更小模型尺寸的基准结果超过LLaMA2-34B/70B、Falcon-180B等大尺寸开源模型,以及百川智能(王小川创立)的Baichuan2-13B。

AI Infra(AI Infrastructure 人工智能基础架构技术)主要涵盖大模型训练和部署提供各种底层技术设施,包括处理器、操作系统、存储系统、网络基础设施、云计算平台等,是模型训练背后极其关键的“保障技术”,这是大模型行业至今较少受到关注的硬技术领域。“做过大模型Infra的人比做算法的人才更稀缺”。李开复曾表示。

由于GPU紧缺,当模型尺寸从6B推向更大的尺寸时,团队需要把握好规模减少试错成本,不能一味追求“大”。通过打磨AI Infra,Yi-34B将训练成本下降了40%,“别的友商如果要用2000张GPU,我们只要1200张。”李开复说。

C-Eval 排行榜:公开访问的模型,Yi-34B 全球第一(2023年11月5日)

值得注意的是,此次开源的Yi-34B模型还将发布全球最长、可支持200K 超长上下文窗口(context window)版本,可以处理约40万汉字超长文本输入。

相比之下,OpenAI的GPT-4上下文窗口只有32K,文字处理量约2.5万字。今年三月,硅谷知名AI 2.0创业公司Anthropic的Claude2-100K 将上下文窗口扩展到了100K规模,零一万物直接加倍,并且是第一家将超长上下文窗口在开源社区开放的大模型公司。

“所以选底座就选最好的底座。”李开复说,“Yi就是最好的底座,没有之一。”

在 Yi 开源模型的全球首发日,零一万物CEO李开复也宣布,在完成 Yi-34B 预训练的同时,已经旋即启动下一个千亿参数模型的训练。“零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好,我们的动作会越来越快”。

各评测集得分:Yi 模型 v.s. 其他开源模型

零一万物团队首度亮相

作为零一万物的发起人,李开复是中国人工智能的领军人物之一。他曾先后担任微软全球副总裁、谷歌全球副总裁兼大中华区总裁,并在2009年创立了天使投资和企业孵化平台创新工场。

2023年3月,李开复躬身入局大模型赛道,为筹建新公司零一万物广发“英雄帖”:“零一万物欢迎有AI 2.0技术实力和AGI信仰的优秀人才加入,一起打造AI2.0全新平台,加速AGI到来。”到7月,零一万物已有来自阿里、百度、谷歌、微软等国内外公司的数十位核心成员到位。

发布会上,李开复介绍,“公司从招的第一个人,写的第一行代码,设计的第一个模型开始,就一直抱着成为‘World's No.1’的初衷和决心。所以我们组成了一支有潜力对标 OpenAI、Google等一线大厂的团队。”

创业邦了解到,零一万物的成员来自Google、微软、阿里巴巴、百度、字节跳动、腾讯等国内外顶级企业背景,并持续延揽全球范围内最优秀的华人AI精英。

零一万物算法和模型团队成员,有论文曾被GPT-4引用的算法大拿,有获得过微软内部研究大奖的优秀研究员,曾获得过阿里CEO特别奖的超级工程师。总计在ICLR、NeurIPS、CVPR、ICCV等知名学术会议上发表过大模型相关学术论文100余篇。

零一万物技术副总裁及AI Alignment负责人是 Google Bard/Assistant 早期核心成员,主导或参与了从 Bert、LaMDA 到大模型在多轮对话、个人助理、AI Agent 等多个方向的研究和工程落地;首席架构师曾在Google Brain与Jeff Dean、Samy Bengio等合作,为TensorFlow的核心创始成员之一。

首次发布的背后主力战将、零一万物技术副总裁及 Pretrain 负责人黄文灏是通用人工智能AGI的信仰者,他曾先后任职于微软亚洲研究院和智源研究院。在微软从事AI Agent研究工作时,得到微软创始人比尔·盖茨和CEO 萨提亚·纳德拉的高度赞扬。

发布会上,黄文灏说,在效果和效率之间,34B是是一个很好的平衡点,在模型训练好的基础上,有相当程度的涌现能力,而且34B的大小也是消费者显卡推理模型一个极限。“

支持 Yi 模型训练保障交付的零一万物技术副总裁及AI Infra负责人戴宗宏,是前华为云 AI CTO 及技术创新部长、前阿里达摩院 AI Infra 总监。Infra核心团队主要来自于阿里、华为、微软、商汤,是AI 多领域具有高水平研究及系统研发能力的知名专家,曾经参与支持了4个千亿参数大模型规模化训练,管理过数万张GPU卡,夯实了端到端的全栈AI技术能力,零一万物可说是具备一支行业内少有的 AI Infra “技术天团”。

从短期来看,公司已经在训练千亿参数以上模型。“但我们觉得模型参数还可以再提高一到两个数量级,达到万亿或者十万亿的规模。”戴宗宏说,包括几十T token的高质量数据,还可以再提高到几百T或者几千T。

从这个程度上来看,模型智能还有很大的发展空间。

打造更多ToC Super App

“AI 2.0时代来到了,最大的商机一定是超级应用,而这超级应用一定是在消费者级别的超级应用。”李开复在发布会上说。

除了大模型,零一万物将基于Yi系列大模型,打造更多To C超级应用。零一万物的目标是在AI 2.0时代再做一款微信、抖音。

具体到零一万物的商业规划,李开复说,AI 1.0时代无法商业化的公司很早被淘汰,而商业化公司的最大挑战是能够可持续、可增长——这意味着AI 1.0的不少公司需要人头规模,不是高质量的收入。

他强调,收入的规模化不应该用人头推动,而应该用技术推动。“以此为原则,零一万物将朝着Consumer(消费级)应用发力。”考虑到国内用户的付费意识和意愿尚在培养阶段,零一万物将同时考虑应用的本地化和出海。

目前,零一万物已经启动100B以上参数规模的模型训练,而多模态大模型团队已经集结了十多个人。“几周之内我们就有新的发布和大家分享。”李开复透露,“Yi”的定位是通用底座,同时,Yi系列量化版本、对话模型、数学模型、代码模型、多模态模型将以快节奏推出。

目前,Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球开源社区平台正式上线。

李开复的目标是进军全球第一梯队,从公司成立第一天,就一直抱着成为‘World's No.1’的初衷和决心。首发大模型后,李开复和团队正在往这个方向努力。

本文为创业邦原创,未经授权不得转载,否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问,请联系editor@cyzone.cn。

免责申明

1.本平台专注于提供资讯分享服务,所提供的资讯内容仅代表作者个人观点,不反映本平台立场。

2.我们致力于确保所提供信息的准确性和及时性,但对信息的完整性、准确性、可靠性或适用性不做任何明示或暗示的保证。

3.用户在使用本网站提供的信息时,请自行判断并承担相应风险。本网站对用户因使用或未能使用本网站而导致的任何直接、间接、附带的损失或损害概不负责,包括但不限于利润损失、商业中断、信息丢失等。

4.免责申明可能随时修改,恕不另行通知。请定期查阅以获取最新信息。

关联标签
模型李开复技术