姚班斯隆獎馬騰宇正式宣布大模型創(chuàng)業(yè)

　　清華姚班校友兼斯坦福大學助理教授馬騰宇宣布了一個引人注目的創(chuàng)業(yè)項目，名為Voyage，旨在提供卓越的嵌入模型。這個嵌入模型在MTEB數(shù)據(jù)集上表現(xiàn)超越OpenAI，成為SOTA。該項目的成功也得益于三位知名教授，包括斯坦福人工智能實驗室主任Christopher Manning和AI領域著名華人學者李飛飛，他們擔任了Voyage的學術顧問。

　　Voyage的嵌入模型強調高檢索精度，用于將文本向量化。與生成式模型相比，嵌入模型更注重語義理解，利用神經網(wǎng)絡(通常是Transformer架構)來捕獲和壓縮語義上下文。該團隊花費了五年時間收集海量訓練數(shù)據(jù)和開發(fā)預處理和后處理方法，最終打造出SOTA的嵌入模型。測試結果顯示，Voyage在MTEB數(shù)據(jù)集上超過OpenAI，且在工業(yè)領域數(shù)據(jù)集上表現(xiàn)更出色。此外，Voyage承諾未在MTEB上作弊，并提出了9個真實世界數(shù)據(jù)集，其中大部分取得了最佳成績，有些甚至表現(xiàn)出色。

　　技術上，Voyage采用了自監(jiān)督損失函數(shù)和多領域的訓練數(shù)據(jù)，同時使用了新的微調技術，無需人工標注。該嵌入模型可通過API或Python庫調用，支持最大窗口長度為4096個token。Voyage目前提供標準版和輕量版兩個版本，價格為每100萬token0.4美元，新用戶可以免費試用5000次，未來還將推出更多版本，包括XL規(guī)模和金融領域版本。

　　總的來說，Voyage的創(chuàng)始人兼CEO馬騰宇是清華姚班校友，斯坦福大學助理教授，他的團隊致力于提供高質量的嵌入模型，為檢索增強生成(RAG)應用和搜索領域提供更先進的解決方案。這一創(chuàng)業(yè)項目在嵌入模型領域取得了巨大的成功，展現(xiàn)了創(chuàng)新技術的潛力。