26年高齡奔騰II電腦成功運(yùn)行大型語(yǔ)言模型，EXO Labs展示AI普及新可能

　　近日，一個(gè)名為EXO Labs的組織在社交媒體上發(fā)布了一段視頻，展示了一臺(tái)運(yùn)行Windows 98系統(tǒng)的26年高齡奔騰II電腦成功運(yùn)行大型語(yǔ)言模型(LLM)的情形。這臺(tái)350MHz的Elonex奔騰II電腦配備了128MB內(nèi)存，通過(guò)定制的純C推理引擎，成功生成了一個(gè)關(guān)于“Sleepy Joe”的故事，整個(gè)過(guò)程運(yùn)行流暢，生成速度令人驚訝。

　　EXO Labs由牛津大學(xué)的研究人員和工程師組成，其使命是“普及人工智能”。該組織認(rèn)為，少數(shù)大型企業(yè)控制人工智能會(huì)對(duì)文化、真相以及社會(huì)其他基本方面造成負(fù)面影響。因此，EXO Labs致力于構(gòu)建開(kāi)放的基礎(chǔ)設(shè)施，使任何人都能在任何設(shè)備上訓(xùn)練和運(yùn)行AI模型。此次在Windows 98上運(yùn)行LLM的壯舉，正是對(duì)這一理念的有力證明。

　　為了實(shí)現(xiàn)這一目標(biāo)，EXO Labs從eBay上購(gòu)得了一臺(tái)老式Windows 98電腦，并通過(guò)以太網(wǎng)端口使用“古老的FTP”完成了文件傳輸。更大的挑戰(zhàn)在于為Windows 98編譯現(xiàn)代代碼，幸運(yùn)的是他們找到了Andrej Karpathy的llama2.c，這是一個(gè)“用700行純C代碼即可在Llama 2架構(gòu)的模型上運(yùn)行推理”的工具。借助這一資源以及老式的Borland C++ 5.02 IDE和編譯器，EXO Labs成功將代碼編譯成可在Windows 98上運(yùn)行的可執(zhí)行文件，并在GitHub上公開(kāi)了最終代碼。

　　EXO Labs的Alex Cheema特別感謝了Andrej Karpathy的代碼，并對(duì)其性能贊嘆不已，稱其在使用基于Llama架構(gòu)的26萬(wàn)參數(shù)LLM時(shí)，在Windows 98上實(shí)現(xiàn)了“每秒35.9個(gè)token”的生成速度。雖然26萬(wàn)參數(shù)的LLM規(guī)模較小，但在這臺(tái)古老的350MHz單核電腦上運(yùn)行速度相當(dāng)不錯(cuò)。

　　EXO Labs的目標(biāo)遠(yuǎn)不止于在Windows 98機(jī)器上運(yùn)行LLM。他們?cè)诓┛臀恼轮羞M(jìn)一步闡述了其對(duì)未來(lái)的展望，并希望通過(guò)BitNet實(shí)現(xiàn)人工智能的普及。BitNet是一種使用三元權(quán)重的transformer架構(gòu)，使用這種架構(gòu)，一個(gè)70億參數(shù)的模型只需要1.38GB的存儲(chǔ)空間，這對(duì)于現(xiàn)代硬件甚至十年前的設(shè)備來(lái)說(shuō)都非常輕量級(jí)。此外，BitNet是“CPU優(yōu)先”的，避免了對(duì)昂貴GPU的依賴，據(jù)稱這種類型的模型比全精度模型效率高50%，并且可以在單個(gè)CPU上以人類閱讀速度運(yùn)行一個(gè)1000億參數(shù)的模型。