Groq 大模型推理芯片每秒500tokens超越GPU，喊話3年超過英偉達(dá)

　　劃重點:

　　1. Groq公司推出的大模型推理芯片，每秒500tokens的驚人速度超越了傳統(tǒng)GPU，挑戰(zhàn)谷歌TPU。

　　2. 該芯片由初創(chuàng)公司Groq研發(fā)，由谷歌TPU團(tuán)隊原班人馬打造，推理速度提高10倍，成本降低十分之一，支持多種大模型。

　　3. Groq的目標(biāo)是在三年內(nèi)超越英偉達(dá)，采用自創(chuàng)的LPU方案，克服計算密度和內(nèi)存帶寬瓶頸，實現(xiàn)18倍于云平臺速度的推理性能。

　　站長之家(ChinaZ.com)2月20日 消息:Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轟動，超越了傳統(tǒng)GPU和谷歌TPU。該芯片由初創(chuàng)公司Groq研發(fā)，其團(tuán)隊成員來自谷歌TPU，包括創(chuàng)始人兼CEO Jonathan Ross，曾設(shè)計實現(xiàn)第一代TPU芯片的核心元件。

　　Groq采用了全球首個LPU(Language Processing Unit)方案，旨在克服計算密度和內(nèi)存帶寬的瓶頸，最終實現(xiàn)大模型推理性能比其他云平臺廠商快18倍。據(jù)介紹，英偉達(dá)GPU需要大約10到30焦耳才能生成響應(yīng)中的tokens，而Groq僅需1到3焦耳，使得推理速度提高了10倍，成本降低十分之一，性價比提高了100倍。

　　Groq的芯片采用14nm制程，搭載了230MB大SRAM以保證內(nèi)存帶寬，片上內(nèi)存帶寬高達(dá)80TB/s。在算力方面，該芯片的整型(8位)運算速度為750TOPs，浮點(16位)運算速度為188TFLOPs�；�于自研的TSP架構(gòu)，Groq利用機(jī)器學(xué)習(xí)工作負(fù)載的并行性對推理進(jìn)行加速，并支持通過PyTorch、TensorFlow等標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)框架進(jìn)行推理。

　　Groq公司在演示中展示了其芯片的強(qiáng)大性能，支持Mixtral8x7B SMoE、Llama2的7B和70B等多種模型，并可直接體驗Demo。不僅如此，Groq還喊話各大公司，揚言在三年內(nèi)超越英偉達(dá)。該公司的推理芯片在第三方網(wǎng)站上的售價為2萬多美元。

　　Groq公司以其創(chuàng)新的LPU方案和超越性能的大模型推理芯片，成為大模型推理領(lǐng)域令人矚目的新興力量，引領(lǐng)著技術(shù)的飛速發(fā)展。

　　Groq產(chǎn)品的特色亮點如下:

　　1. API訪問速度極快:Groq提供了API密鑰，可以訪問世界上最快的開源大型語言模型(LLM)推理速度。他們的實現(xiàn)在Anyscale的LLMPerf Leaderboard上展示了相較于云服務(wù)提供商高達(dá)18倍的推理性能。

　　2. 支持開源LLM模型:*Groq支持Llama2-70B和7B，這兩個由Meta AI創(chuàng)建的領(lǐng)先的開源基礎(chǔ)LLM模型。這些Groq實現(xiàn)使用4096的上下文長度。

　　3. 支持其他模型:*除了Llama系列外，Groq還支持Mixtral8x7B，由Mistral AI創(chuàng)建，可根據(jù)請求提供。其他模型如Mistral和CodeLlama也可根據(jù)特定客戶請求提供。

　　4. 免費試用期: 提供為期10天的免費試用期，可以根據(jù)請求進(jìn)行刷新。在試用期間，用戶將獲得100萬免費令牌，并且API與OpenAI API完全兼容。

　　5. 價格保證: Groq保證以擊敗任何已發(fā)布的相應(yīng)模型的百萬令牌價格。他們的定價相對較低，可以提供更具競爭力的服務(wù)。

　　6. 早期訪問計劃: Groq提供了Alpha版本的API的早期訪問計劃，免費供研究和開發(fā)目的使用。公共可用性計劃于2024年第二季度。

　　7. 高性能硬件支持: Groq引擎(LPU™ Inference Engine)在性能上優(yōu)越，通過硬件支持實現(xiàn)了18倍于云服務(wù)提供商的LLM推理性能。

　　Groq產(chǎn)品以其出色的推理性能、對多種開源LLM模型的支持以及具有競爭力的價格政策等特色，成為一個引人注目的選擇。