能聊天、會學(xué)習(xí)，遠(yuǎn)不是GPT的終局

　　自然語言處理(NLP)技術(shù)的發(fā)展和運(yùn)用，使得計算機(jī)性能增長速度一舉躍過摩爾定律瓶頸，將AI拱入屬于它的高光時代。而象征技術(shù)融合的ChatGPT一夜爆紅，仿佛給整個商業(yè)社會帶來了一次“技術(shù)革命”。

　　微軟、谷歌、百度、華為、阿里...全球范圍內(nèi)的科技巨頭，爭先恐后真金白銀地押注，掀起了一場以資本和技術(shù)為基礎(chǔ)的生態(tài)競速。

　　無疑，GPT模型在這場革命中扮演了一個舉足輕重的角色。從GPT-3到GPT-3.5，再到現(xiàn)在的GPT-4，我們已經(jīng)見證了這個模型能力的驚人飛躍。

　　然而，這是否意味著我們已經(jīng)看到了GPT的終局?接下來，本文將從垂直、個人、離線三個維度，對GPT的發(fā)展趨勢、未來前景進(jìn)行一些基于客觀現(xiàn)實的大膽猜想。

　　垂直GPT百花齊放

　　3月的最后一天，彭博新聞社發(fā)布了專門為金融領(lǐng)域打造的大型語言模型(LLM)——BloombergGPT，引發(fā)金融圈“地震”。

　　基于LLM的生成式人工智能，已經(jīng)在許多領(lǐng)域展示了令人興奮的新應(yīng)用場景。但是，金融領(lǐng)域的復(fù)雜性和獨(dú)特的術(shù)語，意味著其需要特定的語言模型。作為全球最大的財經(jīng)資訊公司，彭博社在這方面恰好擁有巨大優(yōu)勢。

　　在過去40年里，彭博收集了海量的金融市場數(shù)據(jù)，擁有廣泛的金融數(shù)據(jù)檔案，涵蓋一系列的主題。使用該公司數(shù)據(jù)終端的客戶遍布全球，包括交易員、投行、美聯(lián)儲、美國其他官方機(jī)構(gòu)以及全球各大央行等。

　　這些特有數(shù)據(jù)，使得BloombergGPT比ChatGPT擁有更專業(yè)的訓(xùn)練語料。據(jù)彭博社發(fā)布的報告中可以看出，研究人員利用彭博社現(xiàn)有的數(shù)據(jù)，對資源進(jìn)行創(chuàng)建、收集和整理，構(gòu)建了一個3630億個標(biāo)簽的數(shù)據(jù)集，并基于通用和金融業(yè)務(wù)的場景進(jìn)行混合模型訓(xùn)練，以支持金融行業(yè)內(nèi)各種各樣的自然語言處理(NLP)任務(wù)。

　　除了金融領(lǐng)域，醫(yī)療、教育也均有更為垂直的GPT產(chǎn)品涌現(xiàn)。例如，IBM Watson Education推出了一款名為“Teacher Advisor with Watson”的教育GPT，可以為教師提供個性化的教學(xué)建議和支持;Kheiron Medical推出的“MIA”醫(yī)療GPT，可以為醫(yī)生提供乳腺癌篩查和診斷支持。

　　相對于“廣而泛”的ChatGPT，垂直GPT的發(fā)展優(yōu)勢十分明顯。

　　首先就是成本上，垂直GPT針對特定領(lǐng)域或行業(yè)進(jìn)行優(yōu)化，只需利用該領(lǐng)域內(nèi)的專業(yè)數(shù)據(jù)進(jìn)行訓(xùn)練，避免了ChatGPT那樣數(shù)據(jù)采集的高成本和高難度。

　　另外對比通用的GPT產(chǎn)品，垂直GPT的訓(xùn)練成本和應(yīng)用成本更低。由于垂直GPT針對特定領(lǐng)域進(jìn)行優(yōu)化，訓(xùn)練數(shù)據(jù)更加專業(yè)化和精細(xì)化，可以通過更少的數(shù)據(jù)和更短的訓(xùn)練時間，獲得更好的效果。

　　而垂直GPT在特定領(lǐng)域的應(yīng)用效果更好，能夠更準(zhǔn)確地理解和處理領(lǐng)域內(nèi)的語言數(shù)據(jù)，從而減少了后續(xù)的人工修正和調(diào)整成本。

　　更低的訓(xùn)練成本、更短的訓(xùn)練時間、更精細(xì)的訓(xùn)練內(nèi)容，能夠為企業(yè)提供更高效、準(zhǔn)確、具有定制性的自然語言處理服務(wù)，優(yōu)化企業(yè)的業(yè)務(wù)流程和數(shù)據(jù)分析能力，從而為企業(yè)帶來更多的商業(yè)價值和競爭優(yōu)勢，這也使得垂直GPT在商業(yè)化上更加出色，資本市場和相關(guān)企業(yè)也更加看好這一方向。

　　值得一提的是，更垂直的GPT也意味著企業(yè)需要有更專業(yè)、更精準(zhǔn)、更安全的數(shù)據(jù)語料，未來企業(yè)的競爭點(diǎn)也將圍繞專業(yè)數(shù)據(jù)、清洗和標(biāo)注數(shù)據(jù)的能力、用戶隱私安全三點(diǎn)展開。

　　不可否認(rèn)，隨著各行各業(yè)對自然語言處理技術(shù)的需求不斷增長，GPT模型被應(yīng)用到更多的垂直領(lǐng)域中已被提上日程，未來將會看到更多專業(yè)的垂直GPT產(chǎn)品出現(xiàn)。

　　個人GPT并不遙遠(yuǎn)

　　因為與通用GPT的模型存在一定不同，垂直GPT的獨(dú)特性、定制性在未來也可能促進(jìn)個人GPT的出現(xiàn)。

　　個人GPT是指為個人用戶提供個性化的自然語言處理服務(wù)的GPT模型。個人GPT可以學(xué)習(xí)用戶的語言習(xí)慣、興趣愛好、生活方式等信息，從而為用戶提供更加個性化、貼近用戶需求的自然語言處理服務(wù)。

　　這看起來非常不可思議，但并非無法實現(xiàn)。

　　從底層實現(xiàn)邏輯技術(shù)來看，GPT的核心是基于Transformer架構(gòu)，結(jié)合預(yù)訓(xùn)練模式、多層結(jié)構(gòu)、無監(jiān)督學(xué)習(xí)和Fine-tuning微調(diào)等特點(diǎn)，通過對輸入語料的學(xué)習(xí)得到進(jìn)化。也就是說，如果能夠在個人PC上實現(xiàn)這些步驟，那么就有構(gòu)建GPT的可能。

　　目前市面上已經(jīng)出現(xiàn)了大量開源大模型、公開語料包，基于這些模型可以快速進(jìn)行語料訓(xùn)練，而其中的難點(diǎn)無非在于處理數(shù)據(jù)的能力、以及對訓(xùn)練好的模型進(jìn)行評估和優(yōu)化。簡單來講，如果PC上安裝了足夠優(yōu)秀的GPU、CPU等核心處理器，完全能夠?qū)崿F(xiàn)個人GPT的訓(xùn)練。

　　當(dāng)然，訓(xùn)練個人GPT模型所需的硬件配置取決于許多因素，例如模型的規(guī)模、數(shù)據(jù)集的大小、訓(xùn)練算法和優(yōu)化器的選擇等。

　　以下是ChatGPT給到的一些通用建議和參考：

　　CPU：訓(xùn)練大型的GPT模型需要強(qiáng)大的CPU計算能力，建議使用多核心的CPU處理器，例如Intel Xeon、AMD EPYC等型號的服務(wù)器級別CPU。

　　GPU：GPU是訓(xùn)練大型GPT模型必不可少的重要組件，建議使用高性能、內(nèi)存大的GPU，例如NVIDIA Tesla V100、A100等型號，以提高模型訓(xùn)練速度和效率。

　　內(nèi)存：訓(xùn)練大型GPT模型需要極高的內(nèi)存消耗，建議使用大容量的內(nèi)存，例如64GB以上的服務(wù)器內(nèi)存。

　　存儲：訓(xùn)練大型GPT模型需要大量的存儲空間，建議使用高速、大容量的SSD或NVMe硬盤，以提高數(shù)據(jù)讀寫速度和效率。

　　網(wǎng)絡(luò)：訓(xùn)練大型GPT模型需要大量的數(shù)據(jù)傳輸和通信，建議使用高速、穩(wěn)定的網(wǎng)絡(luò)連接，例如千兆以上的以太網(wǎng)或InfiniBand網(wǎng)絡(luò)。

　　需要注意的是，訓(xùn)練個人GPT模型需要極高的計算資源和時間成本，建議使用云計算服務(wù)或租用高性能計算資源進(jìn)行訓(xùn)練，以提高效率和降低成本。同時，還需要選擇合適的訓(xùn)練算法、優(yōu)化器和超參數(shù)等，以提高訓(xùn)練效果和準(zhǔn)確性。

　　值得一提的是，前不久王健林獨(dú)子王思聰再次對家中的“百萬服務(wù)器”進(jìn)行新一輪網(wǎng)絡(luò)改造，有業(yè)內(nèi)人士推測主要目的就是提高服務(wù)器算力，以訓(xùn)練個人GPT。

　　不過如果想要建立高質(zhì)量的GPT模型，需要大量的高質(zhì)量訓(xùn)練數(shù)據(jù)語料，但是除了公開語料包外，個人用戶很難獲得大規(guī)模的高質(zhì)量訓(xùn)練數(shù)據(jù)，因此需要花費(fèi)大量的時間和精力采集和處理數(shù)據(jù)，這也是個人在搭建GPT時的難點(diǎn)。

　　還需要注意的是，在個人PC上創(chuàng)建獨(dú)立的GPT需要大量的計算資源和時間，并且需要具備一定的機(jī)器學(xué)習(xí)和自然語言處理技術(shù)知識。除此之外，還需要關(guān)注大模型的可擴(kuò)展性，以及數(shù)據(jù)隱私和安全問題，確保訓(xùn)練數(shù)據(jù)和模型的高效性和保密性。

　　當(dāng)然，對于普通用戶來說，構(gòu)建訓(xùn)練環(huán)境、調(diào)用開源大模型、尋找訓(xùn)練語料等等幾乎每一步都是一個門檻。但在「科技新知」嘗試后發(fā)現(xiàn)，除了不能幫助直接購買所需的硬件外，ChatGPT可以協(xié)助解決搭建過程中幾乎80%的問題。

　　近期，OpenAI暫停ChatGPT Plus付費(fèi)服務(wù)的消息傳得火熱，加上前幾天部分地區(qū)普通賬號大面積封號，雖然問題暫時得到解決或緩解，但ChatGPT計算資源供不應(yīng)求的問題還是浮現(xiàn)出水面。

　　業(yè)內(nèi)人士統(tǒng)一認(rèn)為這是因為算力不足導(dǎo)致GPT-4的響應(yīng)速度變慢，錯誤答案增加，微軟作為ChatGPT的金主，曾大力投入資源提升其算力并承諾繼續(xù)提升，但現(xiàn)在似乎還不太夠。

　　這也更加突出個人GPT的必要性。另外從底層邏輯來看，個人GPT除了個性化定制、隱私安全性更高、使用更高效外，還有一個更值得關(guān)注的優(yōu)勢，就是離線使用。而在「科技新知」看來，離線GPT也是未來發(fā)展的一個主要方向。

　　離線GPT不無可能

　　GPT模型的訓(xùn)練和推理，需要大量的計算資源和存儲空間，這使得云端環(huán)境成為了主流選擇。但是，在一些特定場景下，如邊緣計算、無網(wǎng)絡(luò)環(huán)境等，離線GPT模型的需求也并不少。

　　更為實際的，比如采礦等特殊環(huán)境行業(yè)，離線GPT可以結(jié)合監(jiān)控系統(tǒng)和數(shù)據(jù)分析技術(shù)，分析礦山環(huán)境、工人健康狀況等信息，從而實現(xiàn)安全管理和風(fēng)險預(yù)警，減少礦難和事故的發(fā)生，保障礦工的生命和財產(chǎn)安全。

　　通用GPT顯然無法實現(xiàn)在有限的存儲空間內(nèi)，給到無限可能的答案。因此，「科技新知」認(rèn)為“離線+專業(yè)”是GPT未來極可能實現(xiàn)的發(fā)展方向。

　　微軟剛剛發(fā)布了一款代號“賈維斯”的人工智能虛擬助手，它是一個集成了大型語言模型(LLM)和專家模型的框架，用于處理任何模式或領(lǐng)域中的復(fù)雜任務(wù)。

　　簡單來講，賈維斯類似AI與AI之間的協(xié)作系統(tǒng)，可以通過大型語言模型組織模型之間的合作，來處理任何模式或領(lǐng)域的任務(wù)。通過大型語言模型的規(guī)劃，可以有效地指定任務(wù)過程并解決更復(fù)雜的問題。

　　不妨設(shè)想一下，將礦業(yè)行業(yè)的GPT模型與賈維斯結(jié)合，再通過機(jī)器狗作為運(yùn)行載體，由賈維斯作為中臺，向機(jī)器狗傳遞GPT模型所提供的信息，可以實現(xiàn)一定程度上的自主作業(yè)。

　　具體而言，機(jī)器狗可以通過搭載各種傳感器、控制器和執(zhí)行器等設(shè)備，收集、處理和執(zhí)行礦業(yè)作業(yè)所需要的各種數(shù)據(jù)和指令。

　　賈維斯作為中臺，可以實時監(jiān)控機(jī)器狗的運(yùn)行狀態(tài)、礦產(chǎn)資源的勘探和開采情況等信息，通過離線GPT模型分析和預(yù)測礦產(chǎn)資源的位置、規(guī)模和開采效率等指標(biāo)，向機(jī)器狗傳遞智能化的勘探和開采指令，實現(xiàn)對機(jī)器狗的自主控制和作業(yè)。

　　客觀來講，這樣的模式也可以復(fù)刻到高空機(jī)器人、醫(yī)療機(jī)器人等特殊領(lǐng)域中。

　　不過在這個過程中，也需要解決客觀存在的技術(shù)難題。而其中最為關(guān)鍵的就是訓(xùn)練中的語料數(shù)據(jù)存儲。

　　除了訓(xùn)練好的垂直GPT需要占用大量內(nèi)存外，賈維斯系統(tǒng)也需要處理大量的語音和文本數(shù)據(jù)，包括語音識別、自然語言處理、知識圖譜等任務(wù)，以實現(xiàn)語音輸入、文本輸出、任務(wù)執(zhí)行等功能。如果全部在本地進(jìn)行訓(xùn)練，則需要大量的計算資源和存儲空間，以保證賈維斯系統(tǒng)的準(zhǔn)確性和效率。

　　值得一提的是，賈維斯系統(tǒng)非常強(qiáng)大，但官方給出的電腦最低配置要求是：

　　NVIDIA GeForce RTX 3090 顯卡一張

　　16GB 內(nèi)存 最低配置

　　42GB以上內(nèi)存 理想配置

　　也就是說，如果能夠解決訓(xùn)練語料的存儲問題，或者訓(xùn)練方法有簡化突破后，離線GPT甚至離線“賈維斯”也不無可能。

　　最后，AI的快速發(fā)展已經(jīng)讓各行各業(yè)感受到了“工具在進(jìn)步”，甚至一部分人已經(jīng)喊出“The future has arrived”，但這仍只是個開始，更多的技術(shù)創(chuàng)新和應(yīng)用場景將會不斷涌現(xiàn)，好戲還會逐漸上演。

　　(本文系作者與ChatGPT聯(lián)合撰寫)