近日,Elevenlabs宣布在最新一轮融资中成功筹集8000万美元,公司估值飙升至11亿美元(约79.31亿元人民币),正式跻身独角兽行列。
这笔资金由知名风投公司AndreessenHorowitz、企业家Nat Friedman和Daniel Gross领投,红杉资本(SequoiaCapital)等参投。
从创立到跻身独角兽,ElevenLabs仅花了两年时间。根据官方博客提供的数据,自产品发布以来,ElevenLabs 用户生成的音频内容已经超过了过去 100 年生产的音频,而公司员工也从 5 人增加到了 40 名,41% 的财富 500 强公司的员工都正使用 ElevenLabs 技术。
不仅是在AI领域,在世界经济论坛,ElevenLabs也同样大放光彩:早在几天前,阿根廷总统米莱在达沃斯现场的演讲刷爆朋友圈,除了内容本身,AI 翻译以及他的克隆语音实时播报,抓住了全世界的眼球。
背后技术支持,其一便来自ElevenLabs。(画面支持为HeyGen,前不久刚完成560万美金的新一轮融资,睿兽分析也做了视频报道,可关注【睿兽分析】查看项目详情)
公布B 轮融资同时,ElevenLabs 还公布了几项即将推出的新产品开发:
l新的配音工作室(Dubbing Studio)工作流程使用户能够为整部电影配音,并生成及编辑剧本、翻译和时间码,从而对内容生产有更多的控制权。
l语音库市场(Voice Library marketplace)将为用户提供一个安全的平台,让他们能够从自己的 AI 版本声音中获得收入。用户可以创建他们的专业 AI 语音副本,进行验证,并通过语音库分享。当其他用户使用这些经过验证的声音时,原始创作者将获得报酬。用户始终保留对其语音可用性和报酬条款的控制权。市场已经为一小部分最开始的用户带来了收入。
l移动应用阅读器(Mobile App reader)的早期预览版可以将文本和 URL 即时转换为音频,使用户在移动端更容易获取内容。
一、
ElevenLabs于2022年由前谷歌机器学习工程师Piotr Dabkowski和前Palantir部署策略师Mati Staniszewski共同创立,是一个基于浏览器的语音生成应用,能够创建逼真的语音,并可调整语调、情感、节奏等关键声音特征。
Staniszewski和Dabkowski在波兰长大,受到翻译不佳的美国电影的启发,决定创造语音克隆工具,他们认为AI可以做得更好。
ElevenLabs主要的AI语音产品包括文本到语音转换的语音合成工具、用于创建定制声音的声音设计和克隆工具、以及将一种声音转换为另一种声音的语音到语音工具Speech Synthesis:选择特定语音将文字转换为音频。
lVoiceLab:用户能够克隆自己的声音或者从Voice Library库中下载声音,它可以从长度超过1分钟的清晰的样本录音中生成某人的声音。
lProjects需要付费订阅,可用于编辑和创建长文本内容的工作流引擎,可生成对话片段甚至有声读物。
lPrime VoicedAI是一款真实、多功能的人工智能语音软件,背后的人工智能模型能掌握词语背后的逻辑和情感,它不会逐一生成句子,而是会注意每句话与前后文本的联系。这种处理方式能够使AI有目的地吟诵更长的片段。
ElevenLabs的客户除了个人使用者,还包括出版、游戏、媒体和对话式垂直领域的公司机构,如瑞典电子游戏开发及发行公司Paradox Interactive、华盛顿邮报、有声读物平台Storytel、数字媒体出版商TheSoul、对话式 AI FlowGPT等。
二、
尽管ElevenLabs绝大多数被应用于积极用途,但也出现了越来越多的语音克隆滥用案例。这项技术不仅能允许用户克隆自己的声音。还有能力克隆任何公众人物的声音,演员、CEO、政客等。你可以让他们说出你想说的任何话,这构成了巨大的风险。
对此,ElevenLabs在2023年6月推出ElevenLabsAI语音分类器以提高AI生成的音频内容的安全标准。这种首创的验证机制可让用户上传任何音频样本,以识别它是否包含ElevenLabsAI生成的音频。视不同情况而定,目前该项技术的准确率基本维持在90%以上。
这次发布的面向社区的产品Voice Library marketplace,也是Elevenlabs负责任地开发AI而做的努力。以前Voice Library仅限于使用声音设计工具创建的人工声音,现在语音库允许用户共享他们使用专业声音克隆技术制作的经过验证的声音副本,并在语音库市场中使用这些声音赚钱。
在共享声音之前,用户必须通过阅读特定时间内的文本提示来通过语音验证码验证,以确认他们的声音与训练样本匹配。这一过程,加上 ElevenLabs 团队的审核和手动批准,确保了真实、经用户验证的声音被共享和货币化,创造了一个更安全、更值得信赖的环境。
ElevenLabs在人工智能语音领域面临着来自OpenAI、亚马逊、微软和谷歌等大型科技公司的竞争。还有像Tortoise和Bark这样的开源TTS模型,但根据用户反馈,Tortoise生成速度慢,Bark音质参差,目前很难商用。
在快速增长的AI语音市场上,ElevenLabs正在领跑,期待它的新故事。