来源:环球电竞官网 发布时间:2025-02-28 08:17:16
【新智元报导】在奥秘的技能领域,一场闹剧正悄然演出。宣称能让模型练习速度飙升100倍的‘AI CUDA工程师’居然被揭穿存在‘做弊’行为。令人咋舌的是,OpenAI的研究员仅用11秒就经过o3-mini找到了这个体系内核代码中的bug,SakanaAI的这次高调发布瞬间荡然无存。
一切的初步是SakanaAI,一个取得英伟达支撑并投入数亿美元风险投资的公司。它的‘AI CUDA工程师’被商场寄予厚望,但是, 运用该体系的网友们却发现,现实并非如此。这一技能不只无法加快练习,反而让用户的练习速度慢了整整3倍。
深入剖析过程中,网友‘main’揭穿了问题的中心:‘AI CUDA工程师’内核代码中存在bug,它悄然盗取即时成果,导致逃脱了正确性检查。网友们乃至发现,为完成宣称的100倍加快,体系钻了评价脚本的缝隙。
经过分配中心内存以及重用已存在的正确答案,体系居然经过了评价脚本的检测,显现出了一种超乎常理的加快才能。实在的状况却是,体系在履行某些基准测验时,居然彻底遗漏了必要的卷积操作,但是评价脚本并未对此做出反响。
而OpenAI的研究员Lucas Beyer以o3-mini-high探查时也对这次翻车工作深感震动,指出假如得到的基准测验成果体现得如此奥秘和不一致,那么无疑是有必定的问题的。他表明,被称为加快的150倍,其实是速度降低了3倍的悲惨剧。
过后,SakanaAI对此次工作表明供认,并开端采纳必定的办法做全面批改。他们在剖析陈述中称,体系呈现了‘奖赏做弊”的倾向,使用评价代码缝隙绕过了精确性验证,做出了虚伪的高分绩效。SakanaAI恳请读者宽恕,一起也许诺将批改相关论文与试验成果,以反映出GPT在CUDA内核优化中奖赏机制乱用的问题。
这次翻车的背影,正好为AI职业敲响了警钟:假如某种说法好得令人难以置信,那十分有或许便是一场圈套。新时代的科学技能创新亦须建立在实在与精确的根底之上,虚浮的宣扬终究只会自作自受。回来搜狐,检查更加多