基于RWKV可在本地運行的AI小鎮(zhèn)開源

　　AI Town RWKV Proxy是一個允許用戶在本地通過RWKV代理來運行大型AI城市的項目。該項目基于RWKV，這是一個線性變換器，沒有評估妥協(xié)，推理成本較低(10-100倍)，足夠輕便，可以在16GB RAM和任何現(xiàn)代CPU上運行。用戶可以選擇在不同設(shè)備上運行不同大小的模型，甚至可以在Raspberry Pi等低端設(shè)備上運行1.5B模型。盡管代碼尚未完全優(yōu)化，但仍有很大的提升空間，特別是在降低CPU使用率的瓶頸方面。

　　設(shè)置步驟: 用戶可以按照提供的步驟，首先在本地設(shè)置AI Town，確保其正常運行，然后克隆AI-TOWN-RWKV-proxy項目。通過簡單的命令，用戶可以選擇在CPU、GPU上運行不同大小的模型，從而實現(xiàn)本地AI城市的搭建。

　　使用Cloudflared部署代理: 由于目前存在限制，用戶需要通過公共URL將RWKV AI模型路由到云中。推薦的方法是使用cloudflared，用戶只需運行幾個簡單的命令，即可獲取公共URL，以便后續(xù)使用。

　　OpenAI請求路由: 用戶需要在convex環(huán)境設(shè)置中添加OPENAI_API_BASE，并提供openAI鍵以用于嵌入。這確保了OpenAI請求被正確路由到代理，實現(xiàn)與RWKV的集成。

　　字符數(shù)擴展: 產(chǎn)品建議將字符數(shù)擴展至最多75個，以確保在AI城市/convex方面不會出現(xiàn)穩(wěn)定性問題。產(chǎn)品還提供了簡單的步驟，用戶可以按照說明修改字符數(shù)，并在AI城市項目中進行相應(yīng)更改。

　　關(guān)于RWKV: 提供關(guān)于RWKV的信息，強調(diào)其作為線性變換器的特性，以及推理成本的低廉性，使其適用于各種設(shè)備。

　　AI Town RWKV Proxy為用戶提供了在本地構(gòu)建和運行大型AI城市的便捷方式，通過整合RWKV和convex等技術(shù)，實現(xiàn)了更高效的推理過程和更低的硬件要求。