支持中文，性能超GPT-4！笑臉排名第一的純代碼模型

　　本文來自于微信公眾號(hào) AIGC開放社區(qū)(ID:AIGCOPEN)，作者:AIGC開放社區(qū)。

　　生成式AI代碼開發(fā)平臺(tái)Phind在官網(wǎng)發(fā)布了最新V7版本，性能方面超越GPT-4，運(yùn)行效率提升了5倍，并且支持中文和16K超長(zhǎng)上下文。

　　據(jù)悉，Phind V7是基于Phind的開源代碼模型CodeLlama-34B V2，以及700億個(gè)高質(zhì)量代碼和推理問題進(jìn)行了額外精調(diào)。

　　CodeLlama-34B V2在huggingface(笑臉)的代碼大模型排行榜中位居第一名，這也是首個(gè)擊敗GPT-4的開源代碼項(xiàng)目。

　　Phind V7專業(yè)代碼開發(fā)平臺(tái)

　　Phind V7在HumanEval上的測(cè)試分?jǐn)?shù)達(dá)到74.7%，成功超越了GPT-4在今年3月份的官方技術(shù)報(bào)告中公布的67%的成績(jī)。

　　但Phind發(fā)現(xiàn)，HumanEval的評(píng)分并不能準(zhǔn)確地反映出大模型的實(shí)用性。

　　Phind將多個(gè)版本部署到自家服務(wù)平臺(tái)后，收集到了大量反饋信息，發(fā)現(xiàn)其模型在大多數(shù)真實(shí)問題上的表現(xiàn)與GPT-4相當(dāng)甚至更好。

　　許多在其Discord社區(qū)的用戶已經(jīng)開始只使用Phind的產(chǎn)品，盡管他們也訂閱了GPT-4。

　　除了性能超強(qiáng)之外，運(yùn)行速度是Phind V7的一大技術(shù)亮點(diǎn)，通過在NVIDIA的新型TensorRT-LLM庫(kù)上運(yùn)行模型，Phind成功實(shí)現(xiàn)了比GPT-4快5倍的運(yùn)行速度，達(dá)到每秒處理100tokens。

　　另一個(gè)優(yōu)點(diǎn)是Phind支持多達(dá)16k tokens的上下文。目前，Phind允許用戶輸入最多12k tokens，剩余的4k tokens用于網(wǎng)絡(luò)結(jié)果。

　　Phind V7精通Python、C/C++、TypeScript、Java等主流編程語言，使用界面也簡(jiǎn)單直觀，直接輸入你的編程問題就能返回代碼。

　　例如，我們直接輸入中文提示:用python寫一個(gè)吃豆游戲的代碼。

　　Phind返回的注釋也都是中文，如果點(diǎn)擊三角按鈕可以直接在replit中運(yùn)行非常方便。

　　支持多輪深度對(duì)話，繼續(xù)發(fā)問，游戲中的吃豆人和豆子是如何運(yùn)動(dòng)的?

　　Phind在對(duì)文本回答時(shí)，會(huì)標(biāo)注引用的原出處，用戶點(diǎn)擊網(wǎng)站可以直接跳轉(zhuǎn)。

　　CodeLlama-34B V2

　　CodeLlama-34B V2代碼模型使用了80，000個(gè)高質(zhì)量編程問題和解決方案的專有數(shù)據(jù)集進(jìn)行微調(diào)。這個(gè)數(shù)據(jù)集的技術(shù)特點(diǎn)在于，采用的是指令-答案對(duì)的格式，而非常見的代碼補(bǔ)全示例，使得在結(jié)構(gòu)上與HumanEval有明顯的區(qū)別。

　　此外，Phind還將 OpenAI 的去污方法應(yīng)用在數(shù)據(jù)集中，以確保結(jié)果準(zhǔn)確有效并且沒有發(fā)現(xiàn)受污染的示例。

　　方法是:1)對(duì)于每個(gè)評(píng)估示例，隨機(jī)抽取了三個(gè)50個(gè)字符的子字符串，如果少于50個(gè)字符，則使用整個(gè)示例。

　　2)如果任何采樣的子字符串是已處理的訓(xùn)練示例的子字符串，則識(shí)別為匹配。

　　在訓(xùn)練過程中，Phind使用了DeepSpeed ZeRO3和Flash Attention2技術(shù)，并使用了32個(gè)A100-80GB的GPU，僅在三小時(shí)內(nèi)就完成了序列長(zhǎng)度為4096的模型訓(xùn)練。

　　經(jīng)常編程的小伙伴們可以試試該模型，生成、審核、注釋、改錯(cuò)樣樣精通，是降本增效的利器。