自己發(fā)基準(zhǔn)自己第一 Anyscale行為惹社區(qū)吐槽

　　本文來(lái)自于微信公眾號(hào) 機(jī)器之心(ID:almosthuman2014)，作者:機(jī)器之心。

　　前一天發(fā)布 LLMPerf 排行榜，宣稱(chēng)要推動(dòng)大型語(yǔ)言模型推理領(lǐng)域的發(fā)展，鼓勵(lì)創(chuàng)新與超越。

　　第二天就收獲 AI 社區(qū)的大量吐槽，原因是排行榜的「基準(zhǔn)甚至沒(méi)有得到很好的校準(zhǔn)」。

　　這是 Anyscale 這家初創(chuàng)公司正在經(jīng)歷的事情。

　　Anyscale 是一家專(zhuān)注分布式計(jì)算領(lǐng)域的美國(guó)初創(chuàng)公司，雖然創(chuàng)立僅三年時(shí)間，但卻收獲了不少的關(guān)注。

　　首先就是 Anyscale 旗下開(kāi)源項(xiàng)目 Ray 帶來(lái)的光環(huán)。Ray 是一個(gè)開(kāi)源的分布式計(jì)算框架，可以將 AI/ML 和 Python 的 workload 從單機(jī)拓展至多臺(tái)計(jì)算機(jī)上，從而提高 workload 的運(yùn)行效率，目前已經(jīng)在 Github 上收獲了兩萬(wàn)多個(gè) Star。帶動(dòng)了最新一波大模型熱潮的 ChatGPT，也是基于 Ray 框架訓(xùn)練的。

　　還有一部分原因是創(chuàng)始團(tuán)隊(duì)的光環(huán)。這家初創(chuàng)公司的創(chuàng)始人之一、UC 伯克利教授 Ion Stoica 是市值310億美元的數(shù)據(jù)巨頭 Databricks 的聯(lián)合創(chuàng)始人，他在十年前帶領(lǐng)學(xué)生創(chuàng)立了 Databricks，收獲了商業(yè)上的巨大成功。在2019年，他又一次做出了創(chuàng)業(yè)的決定 ——Anyscale 誕生了。公司創(chuàng)始團(tuán)隊(duì)中的 CEO Robert Nishihara 和 CTO Philipp Moritz ，也都是他在伯克利的學(xué)生。此外，伯克利教授 Michael I. Jordan 也參與了 Anyscale 的創(chuàng)業(yè)。

　　這些要素，都讓人們?cè)?Anyscale 身上看到了 Databricks 的影子，一些投資者將 Anyscale 描述為充滿(mǎn)希望的「下一個(gè) Databricks」

　　2021年12月，Anyscale 完成了1億美元的 C 輪融資，估值達(dá)到10億美元，投資者包括 a16z、Addition、NEA、Intel 等。今年8月，Addition 和 Intel 又共同牽頭追加了新一輪9，900萬(wàn)美元投資。

　　這應(yīng)該是一個(gè)前景光明的技術(shù)團(tuán)隊(duì)。而此次被吐槽事件的經(jīng)過(guò)是這樣的:

　　11月初，Anyscale 發(fā)布過(guò)一個(gè)開(kāi)源大模型推理基準(zhǔn)，叫做「LLMPerf」。這個(gè)基準(zhǔn)是為了方便廣大研究者評(píng)估 LLM API 性能。

　　三天前，Anyscale 在上述工作的基礎(chǔ)上，推出了 LLMPerf 排行榜。

　　Anyscale 稱(chēng)，他們已經(jīng)利用 LLMPerf 對(duì)一些 LLM 推理提供商進(jìn)行了基準(zhǔn)測(cè)試，評(píng)估大模型性能、可靠性、效率的關(guān)鍵指標(biāo)包括以下三點(diǎn):

　　第一個(gè) token 的時(shí)間(TTFT)，表示 LLM 返回第一個(gè) token 的持續(xù)時(shí)間。TTFT 對(duì)于聊天機(jī)器人等流媒體應(yīng)用尤為重要。

　　token 間延遲:連續(xù) token 之間的平均時(shí)間。

　　成功率:推理 API 在無(wú)錯(cuò)誤的情況下成功響應(yīng)的比例。由于服務(wù)器問(wèn)題或超出速率限制，可能會(huì)出現(xiàn)失敗，這反映了 API 的可靠性和穩(wěn)定性。

　　但 Anyscale 曬出的這些測(cè)評(píng)結(jié)果引發(fā)了不小的爭(zhēng)議，比如 TTFT 這一項(xiàng)指標(biāo)，對(duì)于不同規(guī)模的模型，Anyscale 都是第一名。

　　后兩項(xiàng)指標(biāo)的測(cè)評(píng)結(jié)果中，Anyscale 也顯示出「遙遙領(lǐng)先」的水準(zhǔn)。

　　面對(duì)這么多優(yōu)秀對(duì)手，Anyscale 真的能實(shí)現(xiàn)「吊打」嗎?圖中結(jié)果令人懷疑。

　　對(duì)此，PyTorch 創(chuàng)始人 Soumith Chintala 表示:「看到來(lái)自可靠來(lái)源的構(gòu)建不佳的基準(zhǔn)讓我感到痛苦。我希望 Anyscale 能夠解決問(wèn)題，并在發(fā)布此類(lèi)基準(zhǔn)之前咨詢(xún)其他利益相關(guān)者。如果我不是很了解 Anyscale，我會(huì)認(rèn)為這是惡意行為�！�

　　問(wèn)題出在哪里呢?Soumith Chintala 認(rèn)為，這個(gè)基準(zhǔn)沒(méi)有得到很好的校準(zhǔn)，「它僅在很短的時(shí)間內(nèi)展示了復(fù)雜問(wèn)題的一個(gè)方面」。

　　至少，用戶(hù)需要了解多個(gè)附加因素:1. 服務(wù)的每個(gè) token 成本;2. 吞吐量，而不僅僅是延遲;3. 在一段時(shí)間內(nèi)測(cè)量的可靠性、延遲和吞吐量，而不僅僅是突發(fā)可靠性，突發(fā)可靠性可能會(huì)根據(jù)一天中的時(shí)間而有很大變化。

　　此外，Anyscale 應(yīng)該明確標(biāo)記該基準(zhǔn)是有偏見(jiàn)的，因?yàn)?Anyscale 正在管理它，或者向其他利益相關(guān)者開(kāi)放基準(zhǔn)的設(shè)計(jì)和治理，即開(kāi)放治理，而不僅僅是開(kāi)源。試圖制定和控制標(biāo)準(zhǔn)并不好。

　　「基準(zhǔn)游戲」并不新鮮，曾經(jīng)的數(shù)據(jù)庫(kù)之戰(zhàn)、大數(shù)據(jù)之戰(zhàn)、機(jī)器學(xué)習(xí)框架之戰(zhàn)都涉及到各種投機(jī)取巧的基準(zhǔn)測(cè)試，僅僅為了更好地展示自己。

　　兩位 AI 學(xué)者陳天奇和賈揚(yáng)清也回憶起，那些年關(guān)于「基準(zhǔn)游戲」的故事:

　　作為 LeptonAI 的創(chuàng)始人，賈揚(yáng)清還分析了 Anyscale 發(fā)布的大模型推理排行榜為什么不夠合理:

　　作為 AI 框架領(lǐng)域的資深人士，請(qǐng)?jiān)试S我分享一個(gè)故事。在圖像模式時(shí)代，每個(gè)人都想成為 「最快的框架」，為了讓自己的速度快上2%，不惜犧牲很多其他因素。

　　有一個(gè)框架從來(lái)都不是最快的。猜猜它是什么?

　　這個(gè)框架的名字叫 PyTorch。直到今天，PyTorch 仍然不是最快的框架，這是我從同事 Soumith Chintala 身上學(xué)到的重要一課。這是一個(gè)有意識(shí)的選擇，以確保不會(huì)過(guò)度優(yōu)化單一(或少數(shù))標(biāo)準(zhǔn)。

　　我為 Anyscale 制作基準(zhǔn)測(cè)試而鼓掌，恕我直言，這是一個(gè)誠(chéng)實(shí)、用心良苦的基準(zhǔn)測(cè)試，卻存在嚴(yán)重錯(cuò)誤和不明確的參數(shù)。比如，在引擎蓋下運(yùn)行這些服務(wù)的是什么 GPU?

　　但是，既然性能比較不可避免，那我就把結(jié)果公布出來(lái)吧。

　　在 Anyscale 在10月份發(fā)布的一篇帖子中，曾對(duì)比過(guò)三家 API 的推理性能。賈揚(yáng)清曬出了一張 Lepton API 與這三家 API 的對(duì)比圖片:

　　「原始數(shù)據(jù)不是由 Anyscale 發(fā)布的，因此我們不得不在帖子中的原始圖片上疊加圖表。很抱歉把這些東西拼湊在一起。」賈揚(yáng)清表示:「我們并不打算用它來(lái)衡量誰(shuí)是最快的，只是想證明我們是名列前茅的。」

　　除了賈揚(yáng)清，其他「被上榜」的 API 所屬團(tuán)隊(duì)也提出了質(zhì)疑。

　　比如 FireworksAI 聯(lián)合創(chuàng)始人、CTO Dmytro Dzhulgakov:

　　TogetherAI 的 CEO 表示:「Anyscale 是為了清洗他們 API 糟糕性能進(jìn)行的基準(zhǔn)測(cè)試�！�

　　多方質(zhì)疑之下，Anyscale 的 CEO 親自回應(yīng)了基準(zhǔn)的缺陷問(wèn)題:

　　我同意你的很多反饋，我們將解決它!

　　一些具體的事情:

　　我們將添加成本作為一個(gè)指標(biāo)(這非常重要)。

　　我們將隨著時(shí)間的推移測(cè)量延遲和可靠性。正如您提到的，這些事情根據(jù)一天中的時(shí)間而變化。

　　關(guān)于吞吐量，此處的預(yù)期范圍是對(duì) API 端點(diǎn)產(chǎn)品進(jìn)行基準(zhǔn)測(cè)試(而不是 LLM 推理引擎)。每個(gè)副本的吞吐量不是一個(gè)面向用戶(hù)的概念，我們可以在不訪(fǎng)問(wèn)內(nèi)部的情況下進(jìn)行基準(zhǔn)測(cè)試。吞吐量非常重要，但這是一種不同的設(shè)置。

　　我們的目的是使其對(duì)社區(qū)有用。僅當(dāng)其成為共同努力并且社區(qū)認(rèn)為這是公平時(shí)，它才會(huì)有用。我們正在與所有利益相關(guān)者聯(lián)系以就此進(jìn)行合作。

　　與此同時(shí)，Anysacle 也在邀請(qǐng)各位 API 提供商共同參于排行版的「修正」:

　　對(duì)于此事，你怎么看?