白交 衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

首个AI才能员，演示视频大幅度作秀？？？

不久之前轰动硅谷的Devin，再度轰动硅谷——但这次是被打假。

事情是这样的：油管才能员博主Internet of Bugs（以下简称秃子哥）对Devin的视频进行了逐帧分析，一一举证阐述了Devin并不如演示中那般神奇。

以至有“我方现写bug然后速即开采”的骚操作。

其它“罪证”，包括但不限于：

此外，秃子哥花了半个多小时，把Devin演示视频中的upwork任务完成了一遍——而Devin完成任务可能用时6个多小时。

啊这这这，确凿好、大、一、口、瓜！

要知谈，其背后公司Cognition AI手执10块IOI金牌的活牌号，还在推出Devin当月告示到手融资2100万好意思金。

推特和YC上仍是吵翻天了，让这件事的参议度高居不下。

我请示呢？真的很敌对演示作秀，让demo看起来荒诞达到想到除外的期间跳跃。

还有东谈主暗意我方很受伤，再也不会信服多样冒出来的创业公司的东西了。

emmmm……我照旧把期待值全部留给OpenAI、Anthropic、DeepMind、FAIR这些公司和机构吧。

完满笃定，一谈接着往下看。

这次出来声张正义的秃子哥，从事软件行业仍是35年。他率先声明我方的态度：我并不反对高技术，但我照实反对过度炒作。

他我方也陆续使用GitHub Copilot、ChatGPT、LIama2、Stable Diffusion。

事实上，在Devin刚推出时候，他就反对过“寰宇上第一个AI软件工程师”这一说法。

这次则主要针对的是一些更为具体的说法。

比如之前Devin堪称简略靠处理upwork任务来赢利的。但在真确的演示中Devin并莫得作念到这少许。

不信？不首要，秃子哥带着逐帧的把柄来了。

总结如下：

率先，来到了演示视频的2.936秒处，在屏幕左上角有自满他们搜索过这个内容。因此，这不是所谓“立地”选用的任务。

再来看客户给到的具体需求。真确需求为“我想要应用这个库来进行推理。你需要提供属见识操作指南。我不想参议完成这项职责预测需要的时辰。”

但给到Devin的需求却是：我但愿应用这个模子在这个库中进行推理。请我方弄领悟。

临了视频末尾出现的Devin生成阐述中，也莫得说起客户骨子需要的内容。

那么，这份职责的最终请托后果应该包括什么呢？

但Devin骨子作念了什么？

Devin第一次真确的尝试，是它修改了一个名为requirements.txt文献，其中轨则了代码所依赖的库版块。视频中提到它正在更新代码，但骨子上更像是修改确立文献。

然后根据需求，需要Devin能建立我方的推理能力，并仅需使用样例数据即可。但骨子容貌要比这个复杂得多。

浪漫很快，Devin就碰到了第一个敕令行失实——掀开图像失败、文献未找到、无此文献或目次等。但在秃子哥骨子复刻下并莫得出现，浪漫策动发现，代码仓库根柢就不存在这个文献。

这非常于Devin我方创建了个bug，然后再开采bug。在接下来的操作中，Devin经验了许屡次这样的“自建自修”。

不可说十分有效， 农机只可说完满莫得必要。

接下来， 橡胶再来望望代码库中这样一个readme文献。正如视频所展示的那样， 农化readme文献明晰地阐述了该文献的功能和用法。在页面右侧，牧副渔以至还有一个小按钮， 玻璃制品点击它就不错复制整条敕令，然后粘贴到敕令行窗口中，按下回车即可运行。

但Devin完满没能厚实，而又是自创了个容貌。而写的那段从缓冲区读取数据的代码十分厄运。

于是秃子哥发出了灵魂拷问：

这不即是几十年前在C说话等中才用的顺次吗？？？

这种作念法显豁仍是落伍，浅近东谈主用Python谁还会再写这个代码。这种代码很难调试，它逻辑复杂，难以厚实，很容易出现隐微的失实。

此外，代码库中还存在一个真确的失实，但Devin既莫得发现也莫得开采。

然后秃子哥用谷歌搜索，按照GitHub 上一条关联驳倒修改了代码，只花了1分07秒，问题就惩处了。

最终秃子哥总计花了35分55秒复现了Devin的职责，而Devin骨子花了多万古辰呢？

淌若细看视频Demo，就会发现Devin处理职责前后有6个小时20分钟的断绝。

视频的前部分自满的是3月9日下昼3：25 的时辰戳，但后半部分却自满的是今日晚上9：41。

而逐帧细看就有会发现一些奇怪且毫无敬爱敬爱的操作。

比如head -N 5 results.json | tail -N 5这个敕令，它暗意取这个JSON 文献的前五行，玩具加工然后再取这些行的临了五行。

正确的作念法应该是”head-5 results.json”。阿谁-N 是敷裕的。只须说 -5 就不错，不需要那些敷裕的东西。

临了秃子哥锐评，AI当今生成的内容有许多齐十分愚蠢，反倒会让事情变得更为复杂。

当看到它的任务列表时，会合计：哇，Devin作念了许多事情。但骨子上可能并非如斯。

关于这次Devin作秀翻车，不少网友对现阶段AI居品炒作嗤之以鼻。

我真的很敌对当今演示作秀变得如斯浅近化

以至还列出了三大炒作典范：Devin、rabbit、Humane。

也有网友簸弄：Devin至少掌执了看起来很忙的手段。

嗯？打工东谈主有被内涵到。

不外也有一些维持的网友，比如这位沃顿商学院的教会Ethan Mollick。

他宣称我方有早期走访权，在体验中发现真的很道理。

他认为当今将Agent视作“炒作”为前卫早，畴昔几个月Agent的能力将十分强盛。

专门念念的是，演示作秀事件爆出来的时辰，距离Cognition AI推出Devin仅夙昔了一个月。

我们一谈来转头一下。

一个月前的3月13日，Cognition AI在推特上先容了自家推出的Devin，并称其为“寰宇上首个AI软件工程师”。

只需一句指示，它可端到端地处理统统这个词开发容貌。

主创先容，Devin在长程推理和策画上头下了很大功夫，不错策画和实行需要数千个决策才能完成的复杂软件工程任务。

具体来说有6大功能：

端到端构建和部署才能，不错惩处的不仅仅代码问题，还包括与之关联的统统这个词职责流；

Devin完满期间阐述中自满，在SWE-bench基准测试中，无需东谈主类支持，Devin可惩处13.86%的问题

——这个数据看起来不高，但其实仍是卓越了此前统统AI大模子的得益。

面前数一数二的GPT-4，在同个测试中的得益惟有1.74%，且必须配备一个东谈主类，领导它要处理哪些文献。

那时的Devin团队一副没在怕的容貌。

天然没绽开公测，但陆连续续给出了一些内测限额。

在互联网上搜索一番，发现上手体验过的东谈主给的买家秀反映是这样的：

热衷AI的沃顿商学院教会Ethan Molick试事后，认为其新颖的及时交互样式是最值得热心的。

他条款Devin开发一个阐述“创业公司融资中的股权稀释”的网站，随后流露，AI还无法在莫得任何匡助的情况下，自主且无时弊地完成这项职责。。

但也有东谈主径直暗意，体验事后照实是有被轰动到。

巧的是，截图中的这个首批内测体验者Bubna哥，是AI基础设施创业公司Modal Labs的CTO。

其后他和Devin还联手搞了个新闻。Devin用自家雇主的账号，深刻Modal Labs的职责群，和Bubna哥一番疏导事后，根据复兴调遣了代码决议，惩处了一个期间问题。

△图中的发言东谈主背后其实是Devin

天然，除了看上去很利弊的期间，Devin还镀了一层光环，那即是背后公司Cognition，天然是个小初创，但在招东谈主信息中后堂堂写着：

我们团队手里执着10块IOI金牌呢～

期间演示和团队配景齐吸睛Max，径直给Devin的传播力度保驾护航。

也恰是因为对Devin的热心，代码生陋习模在夙昔一段时辰里发达是突飞大进。

阿里Qwen成员Binyan Hui等东谈主开启了OpenDevin容貌，一个月夙昔仍是在GitHub揽星21.5k；

普林斯顿那处四肢更快，用GPT-4打造了开源SWE-agent，开箱即用，可开采GitHub存储库中的确bug。

在25%的SWE-bench测试集上，它竣事了与Devin演示视频中相同的准确度—— 惩处了12.29%的问题。

还有各个大厂也开动入驻我方的AI才能员……

浪漫当今发生这件事儿，奈何说呢……

往好了想，确凿救大命了，统统的才能员们齐要松语气了，还好还好，AI暂时还无法端到端端走我的饭碗。

往坏了想，确凿要了命了，这样一个备受热心的明星容貌竟然是个只可活在视频里的demo。

难谈寰宇真的是个庞杂的草台班子？？？

参考流畅：

— 完 —

量子位 QbitAI · 头条号签玩具加工

• 玩具加工
• 从业者
• 逐帧
• 35年
• 考据