姚班斯隆獎馬騰宇正式宣布大模型創(chuàng)業(yè)

　　清華姚班校友兼斯坦福大學(xué)助理教授馬騰宇宣布了一個引人注目的創(chuàng)業(yè)項目，名為Voyage，旨在提供卓越的嵌入模型。這個嵌入模型在MTEB數(shù)據(jù)集上表現(xiàn)超越OpenAI，成為SOTA。該項目的成功也得益于三位知名教授，包括斯坦福人工智能實驗室主任Christopher Manning和AI領(lǐng)域著名華人學(xué)者李飛飛，他們擔任了Voyage的學(xué)術(shù)顧問。

　　Voyage的嵌入模型強調(diào)高檢索精度，用于將文本向量化。與生成式模型相比，嵌入模型更注重語義理解，利用神經(jīng)網(wǎng)絡(luò)(通常是Transformer架構(gòu))來捕獲和壓縮語義上下文。該團隊花費了五年時間收集海量訓(xùn)練數(shù)據(jù)和開發(fā)預(yù)處理和后處理方法，最終打造出SOTA的嵌入模型。測試結(jié)果顯示，Voyage在MTEB數(shù)據(jù)集上超過OpenAI，且在工業(yè)領(lǐng)域數(shù)據(jù)集上表現(xiàn)更出色。此外，Voyage承諾未在MTEB上作弊，并提出了9個真實世界數(shù)據(jù)集，其中大部分取得了最佳成績，有些甚至表現(xiàn)出色。

　　技術(shù)上，Voyage采用了自監(jiān)督損失函數(shù)和多領(lǐng)域的訓(xùn)練數(shù)據(jù)，同時使用了新的微調(diào)技術(shù)，無需人工標注。該嵌入模型可通過API或Python庫調(diào)用，支持最大窗口長度為4096個token。Voyage目前提供標準版和輕量版兩個版本，價格為每100萬token0.4美元，新用戶可以免費試用5000次，未來還將推出更多版本，包括XL規(guī)模和金融領(lǐng)域版本。

　　總的來說，Voyage的創(chuàng)始人兼CEO馬騰宇是清華姚班校友，斯坦福大學(xué)助理教授，他的團隊致力于提供高質(zhì)量的嵌入模型，為檢索增強生成(RAG)應(yīng)用和搜索領(lǐng)域提供更先進的解決方案。這一創(chuàng)業(yè)項目在嵌入模型領(lǐng)域取得了巨大的成功，展現(xiàn)了創(chuàng)新技術(shù)的潛力。