秒殺GPT-4、Devin，全球最強AI程序員來啦！

　　今年3月，AI初創(chuàng)公司Cognition發(fā)布的首個AI程序員Devin引起巨大轟動，它可以像人一樣實現(xiàn)端到端的部署、調試、優(yōu)化代碼，幾乎與編程相關的任務都能自動化完成。

　　今天，Cosine發(fā)布了同類產品Genie，但在權威測試平臺SWE-Bench上的評分達到驚人的30.08%，斷崖式領先Devin的13.8%和Swe-agent+GPT-4的12.47%，成為目前全球最強的AI程序員。

　　其實Genie并非盲目跟風Devin，早在2022年12月13日，其聯(lián)合創(chuàng)始人AlistairPullen就在英國倫敦大學的一次路演中展示過Genie。他希望開一個能像人類一樣端到端自動執(zhí)行編碼、優(yōu)化的AI機器人而無需任何人為干預。

　　Alistair在2022年展示Genie

　　經過一年多的開發(fā)Genie終于進入測試階段，并且獲得了250萬美元種子輪融資。Alistair指出，Genie能大幅度領先Devin、GPT-4等知名產品，與其訓練數據和方法有很大關系。

　　Genie的訓練并非基于常規(guī)的大模型微調，而是使用了一個特殊的數據集，這個數據集包含了人類程序員的推理過程，包括信息的完整傳承、知識的逐步發(fā)現(xiàn)，以及基于實際案例的決策制定步驟等，這使得Genie能夠像人類一樣在面對各種復雜甚至是從未見過的問題時，展現(xiàn)出與人類工程師相似的處理能力。

　　簡單來說，就是讓Genie完全模仿人類的開發(fā)風格和解決BUG、優(yōu)化代碼的習慣，然后自動去完成。

　　在訓練的過程中，Genie還使用了一個獨特的“自我改進機制”。最開始Genie 在大量高質量的數據上進行初始訓練，使模型處于“完美”狀態(tài)。但這有一個很大弊端，就是Genie對自身錯誤的判斷和改進不足。

　　為了解決這個難題，在完成初始訓練后，開發(fā)人員又通過Genie生成了一些合成數據，并將這些數據注入到后續(xù)模型的訓練中，以豐富錯誤和復雜情況。

　　如果Genie提出的解決方案不正確，那么就會使用訓練數據集中的最終正確狀態(tài)來指導Genie如何從錯誤中過渡到正確的狀態(tài)。

　　簡單來說，這個過程有點像媽媽教孩子走路，在Genie每一次跌倒或者走路姿勢不正確時，幫助它糾正一下。隨著每一次循環(huán)迭代，Genie解決復雜編碼的能力越來越強，即使在需要調整的情況下所需的指導也顯著減少。

　　這種自我改進機制不僅提高了Genie在面對新問題時的適應性和準確性，還增強了它處理復雜、高度情境化編碼問題的能力，使其夠在從未見過的問題上展現(xiàn)出類似人類工程師的判斷力和創(chuàng)造力。

　　功能方面，Genie主要支持功能開發(fā)、BUG修復、代碼重構、代碼小改動和雜項、代碼測試以及編寫代碼文檔和更新。支持的編程語言包括JavaScript、 Python、Java、C#、C++、C、Rust、Scala、Kotlin、Swift、Golang、PHP和Ruby等幾十種主流語言。

　　知名開發(fā)者Mckay表示，非常想測試一下這個產品。他已經有了Devin的使用權限，所以，很容易就能評測出Genie到底是不是在吹牛。

　　能在SWE-Bench獲得如此高的評分，估計產品應該差不到哪去。

　　已經有老哥等不及了，希望馬上測試一下，但現(xiàn)在處于申請測試階段。

　　Alistair表示，現(xiàn)在可以接受申請注冊，未來2—3周內肯定會發(fā)放測試權限，并且在發(fā)布時還會增加一些小驚喜功能。