越南開(kāi)發(fā)者成功在樹(shù)莓派 Zero 上本地運(yùn)行大語(yǔ)言模型

　　近年來(lái)，本地運(yùn)行大語(yǔ)言模型(LLM)的趨勢(shì)日益增長(zhǎng)，越南開(kāi)發(fā)者 Binh Pham 近期通過(guò)創(chuàng)新實(shí)驗(yàn)，成功在樹(shù)莓派 Zero 上實(shí)現(xiàn)了這一目標(biāo)。Pham 將這款設(shè)備改造為小型 USB 驅(qū)動(dòng)器，使其能夠離線(xiàn)運(yùn)行 LLM，無(wú)需額外設(shè)備支持。這一項(xiàng)目依賴(lài)于 llama.cpp 和 llamafile 的輕量級(jí)軟件包，旨在提供離線(xiàn)聊天機(jī)器人體驗(yàn)。

　　然而，樹(shù)莓派 Zero 的硬件性能有限，尤其是其 ARMv6 架構(gòu)和僅 512MB 的內(nèi)存，給移植 llama.cpp 帶來(lái)了巨大挑戰(zhàn)。Pham 通過(guò)修改源代碼，移除了基于現(xiàn)代硬件的優(yōu)化，最終成功運(yùn)行了 LLM。他構(gòu)建了一個(gè)基于文本文件輸入的 LLM 實(shí)現(xiàn)，并測(cè)試了多個(gè)模型的性能。結(jié)果顯示，盡管設(shè)備能夠運(yùn)行 LLM，但處理速度較慢，例如 Lamini-T5-Flan-77M 模型的每個(gè) token 處理時(shí)間達(dá) 2.5 秒。

　　這一實(shí)驗(yàn)雖然具有創(chuàng)新性，但在實(shí)際應(yīng)用中，使用老舊輕量級(jí)硬件運(yùn)行 LLM 仍存在明顯局限性。未來(lái)，采用性能更強(qiáng)的設(shè)備或許是更優(yōu)選擇。