下單前先比價(jià)不花冤枉錢 同款圖書京東價(jià)低于抖音6折日媒感慨中國(guó)電動(dòng)汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會(huì)吹風(fēng)機(jī)品質(zhì)檢測(cè)結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營(yíng)銷力,2024梅花數(shù)據(jù)峰會(huì)圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級(jí),成為會(huì)員至少需注冊(cè) 2 臺(tái) α 全畫幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競(jìng)賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測(cè)雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長(zhǎng)續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時(shí)捷將重新評(píng)估電動(dòng)汽車計(jì)劃來京東參與榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)預(yù)售 享365天只換不修國(guó)補(bǔ)期間電視迎來?yè)Q機(jī)潮,最暢銷MiniLED品牌花落誰(shuí)家?美團(tuán)旗下微信社群團(tuán)購(gòu)業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備在海外,要再造一個(gè)京東物流?消息稱蘋果正為AirPods開發(fā)多項(xiàng)健康功能,包括心率監(jiān)測(cè)和溫度感應(yīng)一加 Ace 5系列將搭載全新游戲助手:大幅提升游戲體驗(yàn)東芝全部業(yè)務(wù)實(shí)現(xiàn)盈利,退市裁員重組后終于賺錢
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    谷歌這一“大招”,要逼死多少AI標(biāo)注公司?

    2023年09月18日 13:46:29   來源:微信公眾號(hào):AI新智能

      手工小作坊,終究敵不過工廠流水線。

      如果說,當(dāng)下的生成式AI,是一個(gè)正在茁壯成長(zhǎng)的孩子,那么源源不斷的數(shù)據(jù),就是其喂養(yǎng)其生長(zhǎng)的食物。

      而數(shù)據(jù)標(biāo)注,就是制作這一“食物”的過程。

      然而,這一過程真的很卷,很累人。

      進(jìn)行標(biāo)注的“標(biāo)注師”不僅需要反復(fù)地識(shí)別出圖像中的各種物體、顏色、形狀等,有時(shí)候甚至需要對(duì)數(shù)據(jù)進(jìn)行清洗和預(yù)處理。

      隨著AI技術(shù)的不斷進(jìn)步,人工數(shù)據(jù)標(biāo)注的局限性也日益顯現(xiàn)。人工數(shù)據(jù)標(biāo)注不僅耗時(shí)耗力,而且質(zhì)量有時(shí)難以保障。

      為了解決這些問題,谷歌最近提出了一種用大模型替代人類進(jìn)行偏好標(biāo)注的方法,稱為AI反饋強(qiáng)化學(xué)習(xí)(RLAIF)。

      研究結(jié)果表明,RLAIF可以在不依賴人類標(biāo)注的情況下,產(chǎn)生與人類反饋強(qiáng)化學(xué)習(xí)(RLHF)相當(dāng)?shù)母倪M(jìn)效果,兩者的勝率都是50%。同時(shí),RLAIF和RLHF都優(yōu)于監(jiān)督微調(diào)(SFT)的基線策略。

      這些結(jié)果表明,RLAIF不需要依賴于人工標(biāo)注,是RLHF的可行替代方案。

      那么,倘若這一技術(shù)將來真的推廣、普及,眾多還在靠人工“拉框”的數(shù)據(jù)標(biāo)注企業(yè),從此是否就真的要被逼上絕路了?

      01 數(shù)據(jù)標(biāo)注現(xiàn)狀

      如果要簡(jiǎn)單地總結(jié)目前國(guó)內(nèi)標(biāo)注行業(yè)的現(xiàn)狀,那就是:勞動(dòng)量大,但效率卻不太高,屬于費(fèi)力不討好的狀態(tài)。

      標(biāo)注企業(yè)被稱為AI領(lǐng)域的數(shù)據(jù)工廠,通常集中在東南亞、非洲或是中國(guó)的河南、山西、山東等人力資源豐富的地區(qū)。

      為了控制成本,標(biāo)注公司的老板們會(huì)在縣城里租一塊場(chǎng)地,擺上電腦,有訂單了就在附近招人兼職來做,沒單子就解散休息。

      簡(jiǎn)單來說,這個(gè)工種有點(diǎn)類似馬路邊上的臨時(shí)裝修工。

      在工位上,系統(tǒng)會(huì)隨機(jī)給“標(biāo)注師”一組數(shù)據(jù),一般包含幾個(gè)問題和幾個(gè)回答。

      之后,“標(biāo)注師”需要先標(biāo)注出這個(gè)問題屬于什么類型,隨后給這些回答分別打分并排序。

      此前,人們?cè)谡務(wù)搰?guó)產(chǎn)大模型與GPT-4等先進(jìn)大模型的差距時(shí),總結(jié)出了國(guó)內(nèi)數(shù)據(jù)質(zhì)量不高的原因。

      但數(shù)據(jù)質(zhì)量為何不高?一部分原因,就出在數(shù)據(jù)標(biāo)注的“流水線”上。

      目前,中文大模型的數(shù)據(jù)來源是兩類,一類是開源的數(shù)據(jù)集;一類是通過爬蟲爬來的中文互聯(lián)網(wǎng)數(shù)據(jù)。

      中文大模型表現(xiàn)不夠好的主要原因之一就是互聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量,比如,專業(yè)人士在查找資料的時(shí)候一般不會(huì)用百度。

      因此,在面對(duì)一些較為專業(yè)、垂直的數(shù)據(jù)問題,例如醫(yī)療、金融等,就要與專業(yè)團(tuán)隊(duì)合作。

      可這時(shí),問題又來了:對(duì)于專業(yè)團(tuán)隊(duì)來說,在數(shù)據(jù)方面不僅回報(bào)周期長(zhǎng),而且先行者很有可能會(huì)吃虧。

      例如,某家標(biāo)注團(tuán)隊(duì)花了很多錢和時(shí)間,做了很多數(shù)據(jù),別人可能花很少的錢就可以直接打包買走。

      面對(duì)這樣的“搭便車?yán)Ь?rdquo;,國(guó)內(nèi)大模型紛紛陷入了數(shù)據(jù)雖多,但質(zhì)量卻不高的詭異困境。

      既然如此,那目前國(guó)外一些較為*的AI企業(yè),如OpenAI,他們是怎么解決這一問題的?

      其實(shí),在數(shù)據(jù)標(biāo)注方面,OpenAI也沒有放棄使用廉價(jià)的密集勞動(dòng)來降低成本,

      例如,此前就曝出其曾以2美元/小時(shí)的價(jià)格,雇傭了大量肯尼亞勞工進(jìn)行有毒信息的標(biāo)注工作。

      但關(guān)鍵的區(qū)別,就在于如何解決數(shù)據(jù)質(zhì)量和標(biāo)注效率的問題。

      具體來說,OpenAI在這方面,與國(guó)內(nèi)企業(yè)*的不同,就在于如何降低人工標(biāo)注的“主觀性”、“不穩(wěn)定性”的影響。

      02 OpenAI的方式

      為了降低這樣人類標(biāo)注員的“主觀性”和“不穩(wěn)定性”,OpenAI大致采用了兩個(gè)主要的策略:

      1、人工反饋與強(qiáng)化學(xué)習(xí)相結(jié)合;

      這里先說說*點(diǎn),在標(biāo)注方式上,OpenAI的人工反饋,與國(guó)內(nèi)*的區(qū)別,就在于其主要是對(duì)智能系統(tǒng)的行為進(jìn)行排序或評(píng)分,而不是對(duì)其輸出進(jìn)行修改或標(biāo)注。

      智能系統(tǒng)的行為,是指智能系統(tǒng)在一個(gè)復(fù)雜的環(huán)境中,根據(jù)自己的目標(biāo)和策略,做出一系列的動(dòng)作或決策。

      例如玩一個(gè)游戲、控制一個(gè)機(jī)器人、與一個(gè)人對(duì)話等。

      智能系統(tǒng)的輸出,則是指在一個(gè)簡(jiǎn)單的任務(wù)中,根據(jù)輸入的數(shù)據(jù),生成一個(gè)結(jié)果或回答,例如寫一篇文章、畫一幅畫。

      通常來說,智能系統(tǒng)的行為比輸出更難以用“正確”或“錯(cuò)誤”來判斷,更需要用偏好或滿意度來評(píng)價(jià)。

      而這種以“偏好”或“滿意度”為標(biāo)準(zhǔn)的評(píng)價(jià)體系,由于不需要修改或標(biāo)注具體的內(nèi)容,從而減少了人類主觀性、知識(shí)水平等因素對(duì)數(shù)據(jù)標(biāo)注質(zhì)量以及準(zhǔn)確性的影響。

      誠(chéng)然,國(guó)內(nèi)企業(yè)在進(jìn)行標(biāo)注時(shí),也會(huì)使用類似“排序”、“打分”的體系,但由于缺乏OpenAI那樣的“獎(jiǎng)勵(lì)模型”作為獎(jiǎng)勵(lì)函數(shù)來優(yōu)化智能系統(tǒng)的策略,這樣的“排序”和“打分”,本質(zhì)上仍然是一種對(duì)輸出進(jìn)行修改或標(biāo)注的方法。

      2、多樣化、大規(guī)模的數(shù)據(jù)來源渠道;

      國(guó)內(nèi)的數(shù)據(jù)標(biāo)注來源主要是第三方標(biāo)注公司或科技公司自建團(tuán)隊(duì),這些團(tuán)隊(duì)多為本科生組成,缺乏足夠的專業(yè)性和經(jīng)驗(yàn),難以提供高質(zhì)量和高效率的反饋。

      而相較之下,OpenAI的人工反饋則來自多個(gè)渠道和團(tuán)隊(duì)。

      OpenAI不僅使用開源數(shù)據(jù)集和互聯(lián)網(wǎng)爬蟲來獲取數(shù)據(jù),還與多家數(shù)據(jù)公司和機(jī)構(gòu)合作,例如Scale AI、Appen、Lionbridge AI等,來獲取更多樣化和高質(zhì)量的數(shù)據(jù)。

      與國(guó)內(nèi)的同行相比,這些數(shù)據(jù)公司和機(jī)構(gòu)標(biāo)注的手段要“自動(dòng)”和“智能”得多。

      例如,Scale AI使用了一種稱為 Snorkel的技術(shù),它是一種基于弱監(jiān)督學(xué)習(xí)的數(shù)據(jù)標(biāo)注方法,可以從多個(gè)不精確的數(shù)據(jù)源中生成高質(zhì)量的標(biāo)簽。

      同時(shí),Snorkel還可以利用規(guī)則、模型、知識(shí)庫(kù)等多種信號(hào)來為數(shù)據(jù)添加標(biāo)簽,而不需要人工直接標(biāo)注每個(gè)數(shù)據(jù)點(diǎn)。這樣可以大大減少人工標(biāo)注的成本和時(shí)間。

      在數(shù)據(jù)標(biāo)注的成本、周期縮短的情況下,這些具備了競(jìng)爭(zhēng)優(yōu)勢(shì)的數(shù)據(jù)公司,再通過選擇高價(jià)值、高難度、高門檻的細(xì)分領(lǐng)域,如自動(dòng)駕駛、大語(yǔ)言模型、合成數(shù)據(jù)等,就可不斷提升自己的核心競(jìng)爭(zhēng)力和差異化優(yōu)勢(shì)。

      如此一來,“先行者會(huì)吃虧”的搭便車?yán)Ь,也被?qiáng)大的技術(shù)和行業(yè)壁壘給消弭了。

      03標(biāo)準(zhǔn)化VS小作坊

      由此可見,AI自動(dòng)標(biāo)注技術(shù),真正淘汰的只是那些還在使用純?nèi)斯さ臉?biāo)注公司。

      盡管數(shù)據(jù)標(biāo)注聽上去是一個(gè)“勞動(dòng)密集型”產(chǎn)業(yè),但是一旦深入細(xì)節(jié),便會(huì)發(fā)現(xiàn),追求高質(zhì)量的數(shù)據(jù)并不是一件容易的事。

      以海外數(shù)據(jù)標(biāo)注的獨(dú)角獸Scale AI為代表,Scale AI不僅僅在使用非洲等地的廉價(jià)人力資源,同樣還招聘了數(shù)十名博士,來應(yīng)對(duì)各行業(yè)的專業(yè)數(shù)據(jù)。

      數(shù)據(jù)標(biāo)注質(zhì)量,是Scale AI為OpenAI等大模型企業(yè)提供的*價(jià)值。

      而要想*程度地保障數(shù)據(jù)質(zhì)量,除了前面提到的使用AI輔助標(biāo)注外,Scale AI的另一大創(chuàng)新,就是了一個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái)。

      這些平臺(tái),包括了Scale Audit、Scale Analytics、ScaleData Quality 等。通過這些平臺(tái),客戶可以監(jiān)控和分析標(biāo)注過程中的各種指標(biāo),并對(duì)標(biāo)注數(shù)據(jù)進(jìn)行校驗(yàn)和優(yōu)化,評(píng)估標(biāo)注的準(zhǔn)確性、一致性和完整性。

      可以說,這樣標(biāo)準(zhǔn)化、統(tǒng)一化的工具與流程,成為了區(qū)分標(biāo)注企業(yè)中“流水線工廠”和“手工小作坊”的關(guān)鍵因素。

      在這方面,目前國(guó)內(nèi)大部分的標(biāo)注企業(yè),都仍在使用“人工審核”的方式來審核數(shù)據(jù)標(biāo)注的質(zhì)量,只有百度等少數(shù)巨頭引入了較為先進(jìn)的管理和評(píng)估工具,如EasyData智能數(shù)據(jù)服務(wù)平臺(tái)。

      如果在關(guān)鍵的數(shù)據(jù)審核方面,沒有專門的工具來監(jiān)控和分析標(biāo)注結(jié)果和指標(biāo),那對(duì)數(shù)據(jù)質(zhì)量的把關(guān),就仍舊只能淪為靠“老師傅”眼力見的作坊式水準(zhǔn)。

      因此,越來越多的國(guó)內(nèi)企業(yè),如百度、龍貓數(shù)據(jù)等,都開始利用機(jī)器學(xué)習(xí)和人工智能技術(shù),提高數(shù)據(jù)標(biāo)注的效率和質(zhì)量,實(shí)現(xiàn)人機(jī)協(xié)作的模式。

      由此可見,AI標(biāo)注的出現(xiàn),并不是國(guó)內(nèi)標(biāo)注企業(yè)的末日,而只是一種低效、廉價(jià)、缺乏技術(shù)含量的勞動(dòng)密集型標(biāo)注方式的末日。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。