Kimi向Open AI发起冲击

　　来源：华尔街见闻

　　5天前，炙手可热的AI独角兽公司创始人杨植麟陷入一场仲裁纠纷，他坚定选择了依法抗辩。AI大模型正处于技术追赶的关键阶段，他要把重心放在技术和产品上。

　　一年前的今天，Kimi正式面向全社会开放服务。一年后，Kimi迎来重磅技术迭代。

　　11月16日，杨植麟在媒体沟通会上表示，Scaling范式已经发生变化，公司接下来的重点是基于强化学习去“Scale”。Scaling是支撑AI技术在过去几年发展的根本原因，但并不是把模型做得更大就好，核心是找到Scaling的有效方法。

　　杨植麟表示，简单去预测下一个token，其实有一定的局限性，我们希望AI能够去探索，接下来很重要的一个东西就是让AI具备思考的能力。

　　会上，月之暗面发布了最新的数学模型k0—math，该模型主要通过数学场景去培养和训练AI深度思考的能力。这是Kimi 推出的首款推理能力强化模型。

　　Kimi将苗头对准OpenAI的最新技术。在多项基准能力测试中，k0-math 的数学能力可对标OpenAI的o1系列。比如，在中考、高考、考研以及包含入门竞赛题的MATH等 4 个数学基准测试中，k0-math 初代模型成绩超过o1-mini和o1-preview模型。

　　不过，追赶OpenAI并没有那么容易。在两个难度更大的竞赛级别的数学题库 OMNI-MATH 和 AIME 基准测试中，k0-math 初代模型的表现分别达到了o1-mini最高成绩的90%和83%。

　　目前，月之暗面已经开始在k0-math上做产品化，公司将强化学习用到Kimi探索版，让它做更复杂的搜索。据杨植麟介绍，Kimi探索版在搜索意图、信源分析、链式思考方面表现显著。

　　同时，数学本身有更广泛的应用场景，月之暗面计划把k0—math应用到教育场景，包括K12、大学甚至是竞赛。

　　过去一年多，月之暗面经历了飞速发展，无论是产品技术还是估值，都成为最受瞩目的AI独角兽公司。

　　2023年3月，月之暗面成立；11月，Kimi 智能助手宣布全面开放，今年初，该产品因“长文本”出圈，诞生Kimi概念股，受到广泛关注。截至目前，月之暗面已完成四次融资，、腾讯纷纷入股，公司估值超过200亿元。

　　杨植麟在会上透露，Kimi在10月月活超过3600万，而且还在持续更快的增长。业内人士分析，Kimi是仅次于豆包的AI应用，目前处于第一梯队，不过，相对国外几亿量级的用户而言，Kimi还有很长一段路需要追赶。

　　公司已将Scaling范式切换到强化学习，华尔街见闻获悉，公司的多模态产品已经处于内测当中，预计很快会对外公布，这些动作无疑将带来更多用户。

　　在这场全球AI竞赛中，杨植麟要带领月之暗面在一个裹挟着巨大希望和时刻被质疑的行业里，闯出一条通往AGI的路，这场战役才刚刚开始。

　　以下为交流会实录（经编辑）：

　　问：数据会不会成为比较大的挑战，怎么判断哪些数据可以用，哪些有价值？

　　杨植麟：这个问题对于强化学习来讲是一个核心问题，如果是像以前做Next—Token prediction，它是一个静态数据，相对来说，这些技术会更成熟一些。但是对强化学习来讲，所有的学习数据可能都是自己生成的，就会对奖励模型效果提出挑战。

　　对于这个问题，核心是怎么更好地训练奖励模型，设置奖励的机制，如果做得足够好话，一定程度上是可以被解决的。有点像以前的（pretraining）你还要做很多的对齐工作，我觉得其实对强化学习来说也是一样的。

　　问：对于强化学习，怎么平衡数据、算力、算法？

　　杨植麟：我觉得AI的发展就是一个荡秋千的过程，你会在两种状态之间来回切换，一种状态就是算法数据是非常ready，但是你的算力不够。所以你要做更多的工程，把infra做得更好，它就能够持续地提升。我觉得其实从transformer诞生到GPT4，其实更多的矛盾就是我怎么能够Scale，但是你可能在算法和数据上可能没有本质的问题。

　　今天，当你Scale差不多的时候，你会发现我再加更多的算力，并不一定能直接解决这个问题，核心是，因为你没有高质量的数据，小几十G的token是人类互联网积累了20多年的上限。这个时候要做的事情，就是通过算法的改变，让这个东西不会成为瓶颈。所有的好算法就是跟Scaling做朋友，如果你的算法能够释放Scaling的潜力，它就会持续变得更好。

　　我们从很早就开始做强化学习相关的东西，我觉得这个也是接下来很重要的一个趋势，通过这种方式去改变你的目标函数，改变你的学习的方式，让它能持续的Scale。

　　问：这个产品如果一至两周之后放到Kimi探索版里，用户可以选择用这个东西，还是你们会根据用户的提问来分配模型？怎么去平衡成本问题？

　　杨植麟：这个问题特别好，接下来的版本大概率会让用户自己去选择。早期通过这种方式可以更好地分配或者更好地满足用户的预期。

　　这里面最终可能还是一个技术问题，两个点，一个点是能够动态地给它分配最优的算力。如果模型足够聪明的话，简单的问题它的思考时间会更短。但是它可能还不是到最优的点，我觉得它还有更优，这是我们通过算法迭代去做的。

　　长期来讲，第二个点是成本也是不断下降的过程。比如说，今年如果达到去年GPT4模型的水平，可能只需要十几B的参数就能做到。所以我觉得整个行业先做大或者做小，是这样的普遍普世的规律。

　　问：怎么看待AI创业公司被收购，人才回流大的现象？

　　杨植麟：这个问题我们没有遇到，但可能有一些别的公司遇到。

　　我觉得倒也正常，行业发展进入了一个新的阶段，它从一开始有很多公司在做。变成了现在少一点的公司在做，接下来大家做的东西会逐渐不一样，我觉得这是必然的规律。

　　我们主动选择做了业务的减法，你应该聚焦一些重要的事情，把一个产品做好，做到极致是最重要的。在几个大模型创业公司里，我们始终保持人数最少，保持卡和人的比例是最高的，我觉得这个是非常关键的。我们不希望把团队扩那么大，太大对创新有致命性伤害。如果想把团队保持在一定的规模，最好的方式是业务上做一些减法。

　　另外一点，我们也根据美国市场的情况去判断，哪个业务最后做大的概率更高，我们聚焦在上限最高的事情，而且跟我们AGI的misson也最相关。