大模型褪去野蛮生长后,百度的新思考
2024-11-17 18:3:0 Author: mp.weixin.qq.com(查看原文) 阅读量:1 收藏


降温之后,该如何穿越周期?
作者 | 暗流体
编辑 | 郑玄
前些天的百度世界大会上,百度 CEO 李彦宏很意外地没有提到两个词:AGI 和 Scaling Law。
AGI 的全称叫「通用人工智能」,它能够和人类一样处理各种各样的任务,是计算机科学家们所想要实现的终极目标之一;而 Scaling Law 则是一种现象,即 AI 的能力会随着模型大小、数据量、训练量的增加,而不断攀升,是实现 AGI 的重要手段之一。
在大模型尚火爆的年初,这两个词一度随处可见。许多企业都将他们印在 PPT 中,用来标榜自身的技术信仰。
这次百度世界大会,对李彦宏来说,这两个词的吸引力并没有那么大。在大会期间,李彦宏参与了一场圆桌访谈,他在期间提到,「没有跑到我心里,让我觉得重要到需要在百度世界上一定提一提。」
当然,这并非意味着百度没有技术信仰。众所周知,百度是中国第一家成立 AI 研究院的企业,并在十多年间招募了大批赫赫有名的计算机科学家。去年时代周刊评选的「AI 100 人」中,李彦宏更是为数不多上榜的中国企业家。
作为人工智能底蕴最深厚的中国企业,百度眼中的技术信仰,到底是什么样的?

01

从 1 到 1.1
圆桌论坛上,访谈者抛给了李彦宏一个略显尖锐的问题:大模型技术的进步是否放缓了?
毕竟在过去一年,社会大众对大模型的关注度肉眼可见地降低。许多外界声音认为,这和技术迭代放缓有很大关系。在李彦宏看来,这一判断,既对,也不对,取决于看问题的视角。
前面曾提到,大模型能力的增长,很多时候是由模型大小、数据量、训练量的增长拉动的。然而,由于当下模型规模、数据量都因素渐渐触顶,其能力的涌现确实没有前几年进步那么大。
「如果就当做一个学术项目,北极星指标就是「哪一年或哪一月能实现 AGI」的角度看,可以说技术进步的速度有所放缓。」李彦宏说道,「但我的视角更多是在应用,大模型的技术进步到底产生了什么应用。从这个角度来说,我认为技术进步的速度不仅没有放慢,甚至有变快趋势。」
事实上,大模型从「走出实验室」到「放上货柜」,中间还有海量工程问题要解决。其中一个关键问题,正是「幻觉」,即大模型有时会一本正经的胡说八道。
过去两年,以百度为代表的 AI 企业,其实一直在致力于消除幻觉。
对此,行业所交出的答卷,叫 RAG(检索增强):简单来说,就是让大模型在说话之前,先从外部资料库检索相关内容,然后再结合这些内容输出回答。李彦宏在百度世界大会上宣布,大模型已经基本消除了幻觉。
并且基于这项技术,百度还推出了专门针对图像生成的 RAG 技术,叫 iRAG。过去,当 AI 生成图像时,有时会犯一些事实性错误,例如把只有三层的天坛画成四层,大大影响了可用性;然而,随着 iRAG 的加入,文生图的准确性大幅提升了,防止了 AI「瞎画」。
大众对技术的关心大多都是好奇心主导,更热衷于「0 到 1」的「科学突破」。然而,在改变世界的过程中,「从 1 到 1.1、1.2、1.3...」的工程改进,同样是必不可少的。
从中也可以看出,百度的技术信仰显然有着务实的一面。AGI 并非不重要,而是百度在长期探索人工智能技术边界的同时,并没有死磕 AGI,更强调用新技术来解决各种现实问题。
「很多美国同行,他们做法是把它当做一个 science,有一个终极目标,就想尽各种办法解决它。我们是把它当做一个问题,可能通过工程的方法,也可能用其他方法来解决。」李彦宏说道。
并且他提到,「做工程」、解决现实问题,有时会比科学更早发现机会和规律。
例如当年,先是莱特兄弟开着飞机上了天,人们才意识到有个东西叫空气动力学。而今年的诺贝尔化学奖,更颁给了 DeepMind 创始人哈萨比斯这位企业家,进一步印证了这个判断。
不过,具体到怎么做,除了前面提到的消除幻觉之外,李彦宏与百度还有别的思考。

02

过河的石头
在大模型刚刚成为显学的时候,产业界曾有这么一个讨论:谁会做出第一款超级应用?是资源更充足的大型科技企业,还是外头的不断涌现的开发者?
李彦宏也思考过这个问题,而他更倾向于后者。
他在内部讲话中提到,百度可能会同时做十款或者最多一百款应用,然而外界可能会有一万家创业公司在尝试各种不同的赛道,谁的可能性更大,答案不言而喻。所以,百度应该将主要精力,放在底层大模型等基础平台上,让开发者能够更容易地在上面开发应用。
由此可见,百度在利用技术解决现实问题的同时,并没有执着于闭门造车,而是倾向于和外界开发者一同探索。
然而,大模型终归是个新事物,底层平台与开发者的合作模式仍有不少不合理的地方。李彦宏在不断摸索的过程中,意识到底层模型的迭代速度,应该保持一个合理的节奏。
此前,产业界其实存在一个问题:底层模型迭代得有些过快了。
熟悉技术的人或许知道,大模型内部是个黑盒。不同于传统软件,大模型的结构过于复杂,我们很难去追踪和理解,大模型到底是如何从特定的输入生成特定的输入的。这也意味着,对开发者来说,大模型的能力边界在哪,其实并不清晰;想要了解大模型到底能胜任工作,需要时间去摸索。
过快的迭代,会让外界开发者难以跟上节奏。更糟糕的是,过快迭代底层模型有时还会对开发者的产品产生不小的冲击。
最典型的案例,莫过于美国曾经的 AI 独角兽 Jasper。这家初创企业最初的产品,是基于 GPT-3 开发的、面向广告营销领域的聊天机器人。然而,随着能力更强大的 ChatGPT、GPT-4 陆续推出,Jasper 的产品很快「过气」,对公司造成了不小的冲击。
因此,李彦宏提出,更合适的节奏是两年一个大版本。
从一步步改善底层基础模型,到探索新的开发者合作模式,百度显然已经形成了一套范式。也是受益于此,百度开发者的生态正日益壮大。当下,百度文心大模型的日均调用量已经超过 15 亿,这一数字在半年内增长了超过 7.5 倍。在产业端,百度智能云已经拥有中国最大的大模型产业落地规模,超过六成的央企和大量的民营企业,正在联合百度智能云进行 AI 创新。百度智能云千帆大模型累计帮助用户精调了 3.3 万个大模型,开发出了 77 万个企业级应用。
毫无疑问,率先蹚水前行的百度,俨然已成为一块值得后来者摸着过河的石头。
那么问题来了,为什么是百度做到了?

03

两条腿走路
众所周知,人工智能的黄金时代始于 2012 年:彼时,「AI 教父」辛顿所打造的 AlexNet 展现出了惊人的图像识别能力,引发了产业界的大力投资。然而,人工智能并非从此就踏上了康庄大道,期间其实两度面临降温,一次是 2020 年前后,另一次则是当下。
这其中,百度是少数能够穿越周期的 AI 企业。百度之所以能做到这一点,核心依旧与它的技术信仰有关。
百度对 AI 的热情并非「临时抱佛脚」,而是长期以来的,并且相信它会改变世界。在那个大厂扎堆搞电商、共享单车的移动互联网时代,百度是少数公开宣扬人工智能的大厂,李彦宏更是逢人都要聊几句 AI。
「百度信 AI,不是今天才信,也不是两年前信,是十几年前就信这个东西。所以文库的改造也好,或者说非常坚决地做一些在大家看来是全新的东西,没有太受 legacy 的束缚。我们真正的 legacy 就是我信 AI,一旦你把这个东西当成 legacy,这些东西其实就都很好解释,因为就是在做我们多年前一直想做的事。」李彦宏在圆桌论坛上说道。
所以,百度在发力 AI 时,一直都是「两条腿走路」:
既探索科学技术的边界,对其充满敬畏;同时也善于利用工程能力,并积极尝试使用新技术改变世界。用句略俗套的话来形容,就是「仰望星空,脚踏实地」。
一方面,百度并不吝于投资探索前沿科技。
因为李彦宏认为,科学家可以提供 vision(愿景),他们往往比大多数人看得更远。近两年大语言模型能够爆发,正是因为有科学家看到了 Scaling Law 的潜力。
因此,百度的团队中一直充斥着各种顶级头脑。知名计算机科学家吴恩达(Andrew Ng)就曾在百度担任过首席科学家。此前,曾在 Google 任职,然而 Google 不愿给他买更多 GPU,因为太贵了。面对吴恩达的困难,李彦宏只说了一句话:你来,随便买。
而在吴恩达之后,包括 Anthropic 创始人 Dario Amodei 等技术大牛,也相继加入过百度。时至今日,百度的团队中依旧有许多学术成果斐然的计算机科学家。
另一方面,正如前文提到,百度也一直在让人工智能变得能用,乃至好用而且百度并不是从当下才开始做这些事情,早在最开始,百度就在积极探索人工智能的各种可能性,例如自动驾驶等等。
不仅如此,百度也一直鼓励内部的工程师、产品经理等等,到市场中去寻找人工智能技术的商业价值。
技术信仰与长期的投入,构成了今天百度的底色。
诚然,当下的人工智能行业还有不少问题需要解决,也许超级应用即将诞生,也许会再一次陷入瓶颈。但不论走向如何,百度都将会是牌桌上最不容忽视的角色之一。

04

尾声
许多科技产业的成功故事,往往有一个共通的主题:相信。
威廉·肖克利坚信,全新的半导体材料可以取代笨重的真空管,因此一头扎进了研究之中,最终打造出了构成现代计算机的基础——晶体管。而辛顿在成为「AI 教父」之前,被学术界称为「疯子」。许多当时的权威,都认为他搞的是「伪科学」,但辛顿没有放弃相信。
我们作为后来者,回过头来看这些故事时,或许会觉得一切似乎顺理成章。对于每一项科技成果的诞生,我们总能总结出许多客观的原因。
然而,那些身处时代洪流中的个人,并没有后视镜视角。对他们来说,能够长期选择相信才是更加重要的事情。如今,百度能够穿越周期,其实也是同样的道理。
很多时候,正如那句老话说的那样:信则灵,不信则泯。
*头图来源:百度
本文为极客公园原创文章,转载请联系极客君微信 geekparkGO
极客一问
你如何看待百度的技术信仰
 

热点视频

马斯克:创业初期我们住在办公室,每天醒来就是工作。
点赞关注极客公园视频号
观看更多精彩视频
 

更多阅读


文章来源: https://mp.weixin.qq.com/s?__biz=MTMwNDMwODQ0MQ==&mid=2653064112&idx=1&sn=27b794fcfdded9a7f1e04976dd6a655e&chksm=7e57f60649207f1088680e064e8de863c6b6d358e35fa8d9eaad3f3757a48de51a396b599c1d&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh