Groq大模型推理芯片每秒500tokens超越GPU，喊話三年超過(guò)英偉達(dá)

　　2月20日 消息:Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轟動(dòng)，超越了傳統(tǒng)GPU和谷歌TPU。該芯片由初創(chuàng)公司Groq研發(fā)，其團(tuán)隊(duì)成員來(lái)自谷歌TPU，包括創(chuàng)始人兼CEO Jonathan Ross，曾設(shè)計(jì)實(shí)現(xiàn)第一代TPU芯片的核心元件。

　　Groq采用了全球首個(gè)LPU(Language Processing Unit)方案，旨在克服計(jì)算密度和內(nèi)存帶寬的瓶頸，最終實(shí)現(xiàn)大模型推理性能比其他云平臺(tái)廠商快18倍。據(jù)介紹，英偉達(dá)GPU需要大約10到30焦耳才能生成響應(yīng)中的tokens，而Groq僅需1到3焦耳，使得推理速度提高了10倍，成本降低十分之一，性價(jià)比提高了100倍。

　　Groq的芯片采用14nm制程，搭載了230MB大SRAM以保證內(nèi)存帶寬，片上內(nèi)存帶寬高達(dá)80TB/s。在算力方面，該芯片的整型(8位)運(yùn)算速度為750TOPs，浮點(diǎn)(16位)運(yùn)算速度為188TFLOPs�；�于自研的TSP架構(gòu)，Groq利用機(jī)器學(xué)習(xí)工作負(fù)載的并行性對(duì)推理進(jìn)行加速，并支持通過(guò)PyTorch、TensorFlow等標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)框架進(jìn)行推理。

　　Groq公司在演示中展示了其芯片的強(qiáng)大性能，支持Mixtral8x7B SMoE、Llama2的7B和70B等多種模型，并可直接體驗(yàn)Demo。不僅如此，Groq還喊話各大公司，揚(yáng)言在三年內(nèi)超越英偉達(dá)。該公司的推理芯片在第三方網(wǎng)站上的售價(jià)為2萬(wàn)多美元。

　　Groq公司以其創(chuàng)新的LPU方案和超越性能的大模型推理芯片，成為大模型推理領(lǐng)域令人矚目的新興力量，引領(lǐng)著技術(shù)的飛速發(fā)展。

　　Groq產(chǎn)品的特色亮點(diǎn)如下:

　　1. API訪問(wèn)速度極快:Groq提供了API密鑰，可以訪問(wèn)世界上最快的開(kāi)源大型語(yǔ)言模型(LLM)推理速度。他們的實(shí)現(xiàn)在Anyscale的LLMPerf Leaderboard上展示了相較于云服務(wù)提供商高達(dá)18倍的推理性能。

　　2. 支持開(kāi)源LLM模型:*Groq支持Llama2-70B和7B，這兩個(gè)由Meta AI創(chuàng)建的領(lǐng)先的開(kāi)源基礎(chǔ)LLM模型。這些Groq實(shí)現(xiàn)使用4096的上下文長(zhǎng)度。

　　3. 支持其他模型:*除了Llama系列外，Groq還支持Mixtral8x7B，由Mistral AI創(chuàng)建，可根據(jù)請(qǐng)求提供。其他模型如Mistral和CodeLlama也可根據(jù)特定客戶請(qǐng)求提供。

　　4. 免費(fèi)試用期: 提供為期10天的免費(fèi)試用期，可以根據(jù)請(qǐng)求進(jìn)行刷新。在試用期間，用戶將獲得100萬(wàn)免費(fèi)令牌，并且API與OpenAI API完全兼容。

　　5. 價(jià)格保證: Groq保證以擊敗任何已發(fā)布的相應(yīng)模型的百萬(wàn)令牌價(jià)格。他們的定價(jià)相對(duì)較低，可以提供更具競(jìng)爭(zhēng)力的服務(wù)。

　　6. 早期訪問(wèn)計(jì)劃: Groq提供了Alpha版本的API的早期訪問(wèn)計(jì)劃，免費(fèi)供研究和開(kāi)發(fā)目的使用。公共可用性計(jì)劃于2024年第二季度。

　　7. 高性能硬件支持: Groq引擎(LPU™ Inference Engine)在性能上優(yōu)越，通過(guò)硬件支持實(shí)現(xiàn)了18倍于云服務(wù)提供商的LLM推理性能。

　　Groq產(chǎn)品以其出色的推理性能、對(duì)多種開(kāi)源LLM模型的支持以及具有競(jìng)爭(zhēng)力的價(jià)格政策等特色，成為一個(gè)引人注目的選擇。