亞馬遜 AWS 將提供人類基準(zhǔn)測(cè)試團(tuán)隊(duì)來測(cè)試人工智能模型

　　亞馬遜希望用戶能夠更好地評(píng)估人工智能模型，并鼓勵(lì)更多人參與這一過程。

　　在AWS re:Invent 大會(huì)上，AWS數(shù)據(jù)庫、分析和機(jī)器學(xué)習(xí)副總裁 Swami Sivasubramanian 宣布推出宣布 Bedrock 上的模型評(píng)估，現(xiàn)已提供預(yù)覽，用于評(píng)估其存儲(chǔ)庫 Amazon Bedrock 中的模型。如果沒有一種透明的測(cè)試模型的方式，開發(fā)者可能最終會(huì)使用不夠準(zhǔn)確的模型來處理問答項(xiàng)目，或者使用對(duì)他們的用例來說過大的模型。

　　Sivasubramanian 說：「模型的選擇和評(píng)估不僅僅在開始時(shí)進(jìn)行，而且是定期重復(fù)的事情。我們認(rèn)為讓人類參與循環(huán)是很重要的，所以我們提供了一種管理人類評(píng)估工作流程和模型性能指標(biāo)的方法�！�

　　Sivasubramanian 在此前接受的采訪中表示，有時(shí)一些開發(fā)者不知道他們是否應(yīng)該使用更大的模型來進(jìn)行項(xiàng)目，因?yàn)樗麄兗僭O(shè)更強(qiáng)大的模型會(huì)滿足他們的需求。后來他們發(fā)現(xiàn)，他們本可以基于一個(gè)更小的模型來構(gòu)建。

　　模型評(píng)估包括兩個(gè)部分：自動(dòng)評(píng)估和人工評(píng)估。在自動(dòng)版本中，開發(fā)者可以進(jìn)入他們的 Bedrock 控制臺(tái)并選擇一個(gè)模型進(jìn)行測(cè)試。然后，他們可以根據(jù)像魯棒性、準(zhǔn)確性或有害性等指標(biāo)來評(píng)估模型在任務(wù)上的性能，如摘要、文本分類、問答和文本生成。Bedrock 包括了流行的第三方人工智能模型，如 Meta 的 Llama 2. Anthropic 的 Claude 2 和 Stability AI 的 Stable Diffusion。

　　盡管 AWS 提供測(cè)試數(shù)據(jù)集，但客戶可以將自己的數(shù)據(jù)帶入基準(zhǔn)測(cè)試平臺(tái)，以便更好地了解模型的行為。然后系統(tǒng)生成一份報(bào)告。

　　如果涉及到人類，用戶可以選擇與 AWS 的人工評(píng)估團(tuán)隊(duì)或他們自己的團(tuán)隊(duì)合作�？蛻舯仨氈付ㄈ蝿�(wù)類型(例如摘要或文本生成)、評(píng)估指標(biāo)以及他們想使用的數(shù)據(jù)集。AWS 將為與其評(píng)估團(tuán)隊(duì)合作的用戶提供定制化的定價(jià)和時(shí)間表。

　　AWS 生成式人工智能副總裁 Vasi Philomin 在接受采訪時(shí)表示，更好地了解模型的性能有助于更好地指導(dǎo)開發(fā)。它還允許公司在使用模型之前，看看模型是否不符合一些負(fù)責(zé)任的人工智能標(biāo)準(zhǔn)——比如有害性敏感度過低或過高。

　　Philomin 說：「重要的是模型要為我們的客戶工作，要知道哪個(gè)模型最適合他們，我們正在給他們一種更好地評(píng)估這一點(diǎn)的方法�！�

　　Sivasubramanian 還表示，當(dāng)人類評(píng)估人工智能模型時(shí)，他們可以檢測(cè)到自動(dòng)系統(tǒng)無法檢測(cè)到的其他指標(biāo)——比如同理心或友好度。

　　Philomin 表示，AWS 不會(huì)要求所有客戶都對(duì)模型進(jìn)行基準(zhǔn)測(cè)試，因?yàn)橐恍╅_發(fā)者可能之前已經(jīng)使用過 Bedrock 上的一些基礎(chǔ)模型，或者對(duì)模型對(duì)他們有何用處已有所了解。那些仍在探索要使用哪些模型的公司，可能會(huì)從經(jīng)歷基準(zhǔn)測(cè)試過程中受益。

　　AWS 表示，雖然基準(zhǔn)測(cè)試服務(wù)目前處于預(yù)覽階段，但它只會(huì)對(duì)評(píng)估期間使用的模型推理收費(fèi)。

　　盡管沒有特定的人工智能模型基準(zhǔn)測(cè)試標(biāo)準(zhǔn)，但某些行業(yè)普遍接受特定的指標(biāo)。Philomin 表示， Bedrock 上的基準(zhǔn)測(cè)試的目標(biāo)不是廣泛評(píng)估模型，而是為公司提供一種衡量模型對(duì)其項(xiàng)目影響的方式。