关于DeepSeek，百度智能云怎么看？
作者| 吴铭
出品|产业家
问：伴随着DeepSeek的出现，外界对咱们百度也有一些讨论。想聊下目前百度智能云在部署适配方面有哪些最新动作？效果如何？
答：首先DeepSeek的爆火给AI行业注入了一股全新的活力，其实相较于外界的讨论，我们更首要关注的是如何让企业快速使用上优质模型去开发自身的应用，千帆大模型平台在近期上架了DeepSeek-R1和DeepSeek-V3模型，并同步推出了行业领先的超低价格方案。在整体部署适配过程中我们也结合百度智能云的优势去做了3个关键动作，在保证模型效果的同时进一步降低使用成本以及使用门槛：
第一个，在算力层面，目前百度智能云成功点亮了昆仑芯P800万卡集群，我们也基于百舸算力平台适配了国产化P800芯片，来提供整个模型推理服务，为DeepSeek提供优质且适配性强的环境，使模型发挥出更高的性能。同时，百度百舸基于昆仑芯P800，发布部署 “满血版 DeepSeek R1 + 联网搜索” 服务，通过联网搜索功能，将最新的互联网数据融入答案生成，为企业提供更及时、准确的信息支持。
第二个，在平台层面，我们基于DeepSeek做了千帆大模型平台工程架构的优化，通过自身在大模型推理性能优化方向的技术积累，针对DeepSeek模型进行了极致的性能优化，比如通过高效的PD分离式推理架构，实现模型吞吐的大幅度提升，进而显著降低模型推理成本。
我们为有进一步应用需求的企业，千帆ModelBuilder提供基于模型开发工具链进行一键部署、蒸馏这样的能力，能让企业客户更好的将DeepSeek用起来，完成特定模型需求的再开发；千帆AppBuilder全面接入DeepSeek模型，具备百度AI搜索及其他组件能力，还有更多RAG、Agent、工作流工具助力大模型应用搭建。
千帆大模型平台作为企业级一站式大模型与AI原生应用开发及服务平台，我们很高兴可以看到像DeepSeek这样拥有优质效果的国产模型出现，来带动国内对于大模型的应用，那自千帆上线R1和V3后首日就吸引超过1.5万家客户调用，这个客户量还在不断增长，我们也期待可以给更多企业高性能低成本模型的更好体验，千帆也会为更多诸如DeepSeek这样的优质模型提供优质土壤，带来增益赋能。
第三个，在应用层面，百度智能云旗下客悦、曦灵、一见、甄知四款大模型应用产品，也正式上线接入DeepSeek模型的新版本，为企业智能外呼、数字人视频脚本生成、视觉智能分析、知识管理等高价值业务场景，提供更加丰富的AI大模型应用选择，满足用户多元化落地需求。
同时，百度智能云正加速推进金融、交通、政务、汽车、医疗、工业等行业应用产品与DeepSeek模型的适配验证工作，积极探索大模型在智能问数、公文写作、理财助手、合规管理、医疗辅诊等行业垂直业务场景中的能力拓展与应用进化。
问：随着国产大模型的兴起，万卡集群已从单纯算力供给逐渐向“有效”算力供给过渡，百度智能云在国产算力的构建上有什么规划？这些规划实现起来对百度而言难度大吗？（硬件、软件都可以聊聊）
答：难度肯定是有的，但我们也在持续深耕算力基础设施的建设。比如，最近百度智能云已经成功点亮国产昆仑芯万卡集群，未来还将进行三万卡集群的建设，在这个过程中，从硬件到软件，技术挑战是全方位的。而24年9月升级的百度百舸AI异构计算平台4.0，围绕落地大模型全旅程的算力需求，在集群创建、开发实验、模型训练、模型推理四大方面，能为企业提供“多、快、稳、省”的AI基础设施，在万卡集群的建设中发挥了至关重要的作用。
首先，突破硬件扩展性瓶颈，如卡间互联的拓扑限制，避免通信带宽成为瓶颈；同时，围绕芯片及集群功耗，基于万卡规模常规方案功耗可达十兆瓦或更高，采用创新性散热方案，从而解决万卡集群的能效与散热问题；完善模型的分布式训练优化，采用高效并行化任务切分策略，训练主流开源模型的集群MFU提升至58%；在提升稳定性方面，提供容错与稳定性机制，避免由于单卡故障率随规模指数上升而造成的万卡集群有效性大幅下降，保障有效训练率达到98%；最后，针对机间通信带宽需求，建设超大规模HPN高性能网络，优化拓扑结构，从而降低通信瓶颈，带宽有效性达到90%以上。
昆仑芯作为百度自研的AI芯片，凭借其独特的技术优势，在百舸4.0的能力加持下，在生成式人工智能时代展现出了巨大的竞争力。未来一年，将是各种AI原生应用爆发的黄金时期。自研芯片和万卡集群的建成带来了强大的算力支持，同时有效提升百度和客户的资源整体利用率，降低大模型训练成本，推动了模型降本的趋势，为整个行业提供了新的思路和方向。
除此之外，百度智能云也提供百舸DeepSeek一体机、千帆DeepSeek一体机，国产首个单机8卡支持DeepSeek满血版和蒸馏版模型，实现模型的本地化开箱即用。
问：最近，我们也看到一个新的现象，百度智能云针对此次DeepSeek模型上线提供了超低推理价格，低至DeepSeek官方刊例价3-5折，这背后是由于什么样的技术驱动的？是新一轮的价格战打响了吗？
答：真正的低价都是由技术驱动的。在看到的这个新价格背后，对应的是百度智能云在推理引擎性能优化技术、推理服务工程架构创新以及推理服务全链路安全保障上的深度融合。百度智能云千帆ModelBuilder始终致力于为用户提供全流程、一站式的 AI 服务，除了强大的模型资源，还匹配了完善的一站式模型效果调优工具链，包含数据加工、模型精调、模型评估、模型量化等关键环节，助力企业根据自身业务需求深度优化模型性能。同时，百度智能云千帆ModelBuilder具备卓越的模型推理托管能力，支持vLLM、LMDeploy、TensorRT-LLM、SGLang等各类主流推理框架，还支持模型的自定义导入与部署，为开发者提供了高度灵活的开发环境。
（1）推理引擎性能优化技术
基于百度智能云在大模型推理性能优化方向的技术积累，针对DeepSeek模型MLA结构的计算进行了极致的性能优化，并通过计算、通信、内存不同资源类型算子的有效重叠及高效的Prefill/Decode分离式推理架构等，在核心延迟指标TTFT/TPOT满足SLA的条件下，实现模型吞吐的大幅度提升，进而显著降低模型推理成本。
（2）推理服务的工程架构创新
在推理服务层面，进行了深入的优化与创新。针对推理架构，做了严格的推/拉模式的性能对比。经验证拉模式在请求处理的成功率、响应延时以及吞吐量等关键指标上均展现出更为卓越的性能。为了进一步提升系统的稳定性和用户体验，巧妙地设计了一种请求失败的续推机制，这显著增强了系统的容错能力和服务SLA达标率。同时针对多轮对话和system设定等场景中存在重复Prompt前缀的情况，实现了主流的KV-Cache复用技术，并辅以全局Cache感知的流量调度策略。这一举措有效避免了Token KV的重复计算，从而大幅降低推理延迟，提高了推理吞吐。
（3）推理服务的稳定安全保障
千帆平台基于百度自身长期的大模型安全技术积累，集成独家内容安全算子，实现模型安全增强与企业级高可用保障，基于大模型全生命周期数据安全与模型保护机制，在千帆平台上的模型均拥有使用安全的安全保障；基于在安全方面的专项优化，确保DeepSeek-R1&DeepSeek-V3模型，企业用户在使用过程也具有更高的安全性。
问：现在不少企业会选择直接通过模型API的方式来接入DeepSeek，想问下通过云平台来调用新模型，为各行业应用普及AI有怎样的不同和优势？
答：通过云服务平台来调用模型，我们觉得主要是从三个方面去渗透以及普及行业的，云平台的核心为降低成本、提升大模型落地易用性以及助力企业更好地构建AI原生应用，通过云平台提供的便捷的工具型服务，企业能更聚焦在自身的业务发展。
首先我们觉得推动行业应用普及最关键的就是降低成本，那以往企业引入 AI 需投入大量资金购买和维护硬件设备，而云平台可以通过提供弹性计算资源，从“购买”到“租赁”，企业按需租用付费，在避免资源浪费同时，大大降低了AI应用的初始成本。
其次，云平台的另一个重要优势就是它具备很强的易用性，这对于各行业应用 AI 起到了极大的推动作用。云平台需要配备各种各样丰富且实用的工具链，比如精调工具链、数据工具链、压缩工具链等等，能够帮助企业更好地构建数据飞轮，实现模型效果的不断迭代，更好的赋能应用。那与此同时，平台提供的工具链也要适配各种模型，企业随时可以切换模型并且更快速便捷的用上效果更好的模型；以上两点目前我们的千帆ModelBuilder也都提供了这样高效便捷的工具链服务。
那最后，各行业AI的使用探索其实基于原生应用的构建。云平台上面提供的多样化组件及应用开发的能力降低了AI原生应用的构建门槛，也为行业内的应用场景和商业模式带来了更多创新可能。千帆AppBuilder也是这样的一站式模型应用开发平台，高效、低门槛解决大模型应用落地最后一公里问题。
有了应用后，云平台提供的完善日志分析及告警系统，也确保了企业AI应用的稳定性，同时云平台具备完善的模型安全以及高可用保障措施，提供模型使用的全方位安全保障。
所以整体从构建、到运行，云平台为企业在模型使用上提供了全流程保障，降本增效的同时也让企业聚焦自身业务，更好的推动整个AI行业的发展。
问：作为一家出身创业公司的产品，DeepSeek这次爆火，在百度看来，它的出现有出乎咱们的意料吗？咱们百度对待这次“爆火”内部的态度是怎么样的？
答：创新是不能被计划的。你不知道创新何时何地到来，你所能做的是，营造一个有利于创新的环境。我们生活在一个非常激动人心的时代。在过去，当我们谈论摩尔定律时说，每18个月性能会翻倍、成本会减半；但今天，当我们谈论大语言模型时，可以说每12个月，推理成本就可以降低90%以上。这比我们过去几十年经历的计算机革命要快得多。大语言模型是一个非常庞大的领域。在中国，我们必须在推理和训练方面创新以降低成本。幸运的是，过去一年，我们看到了显著进步。
百度的技术背景是搜索引擎，它天然接近大语言模型，所以我们在2023年3月就推出了文心一言，我们也是上市公司中第一个推出类ChatGPT应用的。谷歌后来推出了Bard,并将其更名为Gemini。正如我们今天所知。这是一个非常激动人心的时刻，我们到处都能看到创新，我们必须适应这种快速变化的创新。
问：我们也观察到，伴随DeepSeek的爆火，全球许多大型芯片厂商和许多大型交易所的股价大幅下跌。原因是之前有令人瞠目结舌的数十亿美元被投资于推理数据中心、训练这些人工智能系统和模型，伴随着DeepSeek的出现市场不少人开始“看衰”这类投资，咱们百度对此怎么看？对于数据中心和AI基础设施的未来咱们的理解是怎样的？
答：从基本面来看，最重要的主题仍然是技术进步非常快，成本每年降低约90%，性能越来越好。当技术发展如此之快，你无法停止投入。你必须投入，以确保处于这场技术创新或革命的最前沿。我们仍需对芯片、数据中心和云基础设施进行持续投入，用于打造更好、更智能的下一代模型。
为此，需要使用更多的算力来尝试不同的路径。也许，在某个时刻你会找到一条捷径，比如说只需600万美元就能训练出一个模型，但在此之前，你可能已经花费了数十亿美元，用来探索哪条路才是花费这600万美元的正确途径。
我们对人工智能的未来持乐观态度。我们认为，即使在当前水平下，大语言模型也已经在各种场景中创造大量价值。我们有数十万客户在使用大模型提高招聘、电子商务、医疗保健甚至能源、电力等领域的效率。
我们已经看到了很多这样的应用案例。在过去，他们可能需要花费不到1万美元来实现某些目标，而使用大型语言模型后，只需花费大约1000美元。所以，这已经为他们创造了价值。
问：抛开外界的声音，想正式了解下，此次DeepSeek-R1的发布及开源，对百度智能云业务有什么影响？
答：DeepSeek R1发布及开源，推动应用爆发、带动算力增加，最利好百度智能云。
1、首先产品上DeepSeek降低大模型应用门槛，快速普及推动应用落地更早，带动算力增加；百度智能云在GPU时代更有优势地位。
a、全栈AI技术能力，尤其是近期点亮的昆仑芯万卡集群：独有的四层架构，实现从云基础设施、框架、模型到应用端到端优化；
b、2025年2月5日，百度智能云成功点亮昆仑芯三代万卡集群，是国内首个正式点亮的自研万卡集群，并将进一步点亮 3 万卡集群。
c、百舸产品提供稳定、极速、高效的算力平台，极速满足客户全旅程算力需求，10万卡时代企业保持领先的第一选择。
d、领先的千帆大模型平台：支持国内外各种主流模型+丰富工具链，近期接入DeepSeek后首日调用客户就多达1.5万家，价格全行业最低；
2、商业化：百度智能云具备广泛的市场认可，GPU云优势带动商业化进展快速
a、中国最大的大模型产业落地规模，超60%以上的央企及大量民营企业使用，2024年大模型中标第一（从中标厂商看，百度智能云在中标项目数、行业覆盖数、央企中标项目数这三个维度里均为第一。从行业分布看，百度智能云在能源、政务、金融这三个行业的中标项目数位于所有厂商第一。）
b、2025年1月份，百度中标项目和中标金额双第一
