英偉達(dá)推出NeMo 極大簡(jiǎn)化自定義生成式AI開發(fā)

　　為了幫助全球開發(fā)者、企業(yè)更好的開發(fā)定制大模型和生成式AI產(chǎn)品，例如，聊天機(jī)器人、編程代碼助手等。

　　NVIDIA宣布推出了NeMo Curator、NeMo Customizer和NeMo Evaluator等微服務(wù)的早期訪問(wèn)計(jì)劃。這些微服務(wù)涵蓋了從數(shù)據(jù)整理、定制到評(píng)估的所有開發(fā)階段，簡(jiǎn)化了用戶構(gòu)建自定義生成式AI模型的流程。

　　NVIDIANeMo是一個(gè)端到端的平臺(tái)，可用于在任何地方開發(fā)定制的生成式AI，包括用于訓(xùn)練、微調(diào)、檢索增強(qiáng)生成、防護(hù)欄、數(shù)據(jù)策劃和預(yù)訓(xùn)練模型的工具。它在技術(shù)堆棧的各個(gè)層面提供服務(wù)，從框架到高級(jí)API端點(diǎn)。

　　作為NVIDIA CUDA-X微服務(wù)的一部分，NeMo API端點(diǎn)是建立在NVIDIA庫(kù)之上的，為企業(yè)提供了一個(gè)簡(jiǎn)單的路徑，可以開始構(gòu)建定制的生成式AI。

　　在早期訪問(wèn)計(jì)劃中，開發(fā)人員可以請(qǐng)求訪問(wèn)NeMo Curator、NeMo Customizer和NeMo Evaluator微服務(wù)。這些微服務(wù)共同使企業(yè)能夠構(gòu)建企業(yè)級(jí)定制生成式人工智能，并更快地將解決方案推向市場(chǎng)。

　　NeMoCurator微服務(wù)幫助開發(fā)人員篩選數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練和微調(diào)，而NeMo Customizer則實(shí)現(xiàn)微調(diào)和對(duì)齊。最后，借助NeMo Evaluator，開發(fā)人員可以評(píng)估這些模型與學(xué)術(shù)或自定義基準(zhǔn)的對(duì)比情況，并確定改進(jìn)的方向。

　　NeMoCurator是一種可擴(kuò)展且支持GPU加速的數(shù)據(jù)整理微服務(wù)，用于為預(yù)訓(xùn)練和定制生成式AI模型準(zhǔn)備高質(zhì)量數(shù)據(jù)集。Curator簡(jiǎn)化了數(shù)據(jù)整理任務(wù)，如數(shù)據(jù)下載、文本提取、清洗、質(zhì)量過(guò)濾、精確/模糊去重以及多語(yǔ)言下游任務(wù)凈化。

　　NeMoCustomizer是一個(gè)高性能、可擴(kuò)展的微服務(wù)，簡(jiǎn)化了特定領(lǐng)域用例的大語(yǔ)言模型的微調(diào)和對(duì)齊。該微服務(wù)支持兩種流行的參數(shù)高效微調(diào)技術(shù)LoRA和p-tuning。

　　此外，為了幫助開發(fā)者評(píng)估定制大模型，英偉達(dá)NeMo Evaluator(評(píng)估器)可自動(dòng)評(píng)估各種學(xué)術(shù)和定制基準(zhǔn)上的定制生成式AI模型，適用于任何云或數(shù)據(jù)中心。

　　NeMoEvaluator支持通過(guò)一組選定的學(xué)術(shù)基準(zhǔn)進(jìn)行自動(dòng)評(píng)估，包括超越模仿游戲基準(zhǔn)(BIG-Bench)、多語(yǔ)言、大型代碼評(píng)估工具和毒性。

　　支持對(duì)自定義數(shù)據(jù)集進(jìn)行評(píng)估，NeMoEvaluator提供的指標(biāo)包括準(zhǔn)確率、召回率導(dǎo)向的摘要評(píng)估(ROUGE)、F1和精確匹配。還可以利用大語(yǔ)言模型作為評(píng)判標(biāo)準(zhǔn)，對(duì)模型響應(yīng)進(jìn)行全面評(píng)估。

　　開發(fā)人員通過(guò)使用 NVIDIA API 目錄中支持的任何 NVIDIA NIM 支持的大語(yǔ)言模型來(lái)評(píng)估 MT-Bench 數(shù)據(jù)集上的模型性能。