生成式AI的2023

　　2023 年是 AI 發(fā)展的關(guān)鍵一年，ChatGPT 以及 GPT-4 的發(fā)布引發(fā)了全社會(huì)對(duì)于大模型以及生成式 AI 的關(guān)注。

　　科技巨頭微軟、亞馬遜、谷歌、Meta 等紛紛發(fā)力 AI;文本生成、文生圖以及文生視頻 AI 工具進(jìn)展迅速;國內(nèi)的「百模大戰(zhàn)」;各國對(duì)于 AI 的監(jiān)管逐漸加強(qiáng);科學(xué)家們還在研究「涌現(xiàn)」的原理;還有年底的 OpenAI Drama 事件……

　　科技博客 Everypixel Journal 整理了 2023 年 AI 行業(yè)的產(chǎn)品以及商業(yè)進(jìn)展，他們還梳理總結(jié)了由風(fēng)投公司 Air Street Capital 發(fā)布的《2023 人工智能現(xiàn)狀報(bào)告》，F(xiàn)ounder Park 一并進(jìn)行了編譯。

　　01

　　2023 的 AI：有突破、有落地、有爭(zhēng)議

　　研究：技術(shù)突破及其能力

　　GPT-4：OpenAI 最新模型 GPT-4 脫穎而出，成為功能最強(qiáng)大的 AI 模型，其顯著優(yōu)于 GPT-3.5，并在編碼能力方面表現(xiàn)出色。

　　自動(dòng)駕駛：Wayve 的 LINGO-1 為駕駛增加了視覺-語言-動(dòng)作維度，有可能提高自動(dòng)駕駛系統(tǒng)的透明度和推理能力。

　　文本到視頻生成：VideoLDM 和 MAGVIT 引領(lǐng)文本到視頻生成的競(jìng)賽，各自使用不同的方法——diffusion 和 transformer。

　　圖像生成：諸如 InstructPix2Pix 和 Genmo AI 的「Chat」之類的助手通過文本指令實(shí)現(xiàn)更受控和直觀的圖像生成和編輯。

　　3D 渲染：3D 高斯散射——NeRF 領(lǐng)域的新競(jìng)爭(zhēng)者，通過計(jì)算來自數(shù)百萬個(gè)高斯分布的貢獻(xiàn)，帶來高質(zhì)量的實(shí)時(shí)渲染。

　　小型模型與大型模型：微軟的研究表明，經(jīng)過專門數(shù)據(jù)集訓(xùn)練的小型語言模型 (SLM) 可以與大型模型相媲美。TinyStories 數(shù)據(jù)集代表了這一方向的新方法：在 GPT-3.5 和 GPT-4 的幫助下，研究人員生成了一個(gè)非常簡(jiǎn)單的短篇故事的合成數(shù)據(jù)集，其中包含英語語法和一般推理規(guī)則。在這些 TinyStories 上訓(xùn)練 SLM 后發(fā)現(xiàn)，用于評(píng)估的 GPT-4 更喜歡由 28M SLM 生成的故事，而不是由 GPT-XL 1.5B 生成的故事。

　　AI 在醫(yī)學(xué)中的作用日益增強(qiáng)：像 Med-PaLM 2 這樣的模型展示了 AI 在醫(yī)學(xué)中的重要性日益增強(qiáng)，甚至在特定任務(wù)中超過了人類專家。谷歌的 Med-PaLM 2 通過 LLM 改進(jìn)、醫(yī)學(xué)領(lǐng)域微調(diào)和提示策略實(shí)現(xiàn)了新的*進(jìn)的結(jié)果。多模態(tài)數(shù)據(jù)集 MultiMedBench 的集成使 Med-PaLM 能夠?qū)⑵涔δ軘U(kuò)展到基于文本的醫(yī)學(xué)問答之外，展示了其適應(yīng)新醫(yī)學(xué)概念和任務(wù)的能力。此外，最新的計(jì)算機(jī)視覺技術(shù)在疾病診斷中顯示出有效性。

　　RLHF：人類反饋強(qiáng)化學(xué)習(xí)仍然是一種主要的訓(xùn)練方法。這種方法在增強(qiáng) LLM 安全性和性能方面發(fā)揮了重要作用，OpenAI 的 ChatGPT 就是一個(gè)例子。然而，研究人員正在探索減少對(duì)人類監(jiān)督需求的替代方法，以解決與成本和潛在偏差相關(guān)的擔(dān)憂。這些替代方法包括從自己的輸出中學(xué)習(xí)的自我改進(jìn)模型以及減少對(duì) RLHF 依賴的創(chuàng)新方法，例如使用精心設(shè)計(jì)的提示和響應(yīng)來微調(diào)模型。

　　水印標(biāo)識(shí)：隨著人工智能的內(nèi)容生成能力的進(jìn)步，對(duì)人工智能生成輸出進(jìn)行水印或標(biāo)記的需求不斷增長(zhǎng)。例如，馬里蘭大學(xué)的研究人員正在努力將微妙的水印插入語言模型生成的文本中，而谷歌 DeepMind 的 SynthID 將數(shù)字水印嵌入圖像像素中，以區(qū)分人工智能生成的圖像。

　　數(shù)據(jù)限制：人們擔(dān)心耗盡人類生成的數(shù)據(jù)，有預(yù)測(cè)表明到 2030 年至 2050 年可能會(huì)出現(xiàn)短缺。然而，語音識(shí)別系統(tǒng)和光學(xué)字符識(shí)別模型可能會(huì)擴(kuò)大數(shù)據(jù)可用性。

　　LLaMa-2：雖然商業(yè)模型主導(dǎo)著該領(lǐng)域，但正在進(jìn)行的努力集中于通過開源方法來生產(chǎn)高性能模型，Meta 的 LLaMa 系列就是一個(gè)例子。

　　不披露：經(jīng)濟(jì)利益和安全問題不斷增加，導(dǎo)致圍繞前沿研究形成了一種不透明的文化。OpenAI 和 Google 已轉(zhuǎn)向不披露有關(guān)其*模型(如 GPT-4 和 PaLM-2)的詳細(xì)信息。

　　行業(yè)：AI 的商業(yè)應(yīng)用和業(yè)務(wù)影響

　　NVIDIA 的主導(dǎo)地位：NVIDIA 實(shí)現(xiàn)創(chuàng)紀(jì)錄的 23 年第二季度數(shù)據(jù)中心收入 103.2 億美元，并進(jìn)入 1 萬億美元市值俱樂部。

　　生成式 AI 的主導(dǎo)地位：最突出的趨勢(shì)是生成式 AI(GAI)的興起。此外，生成式 AI 在穩(wěn)定 2023 年的 AI 投資方面發(fā)揮了至關(guān)重要的作用。如果沒有生成式 AI，AI 投資將大幅減少。

　　受益于 AI 的主要行業(yè)：企業(yè)軟件、金融科技、醫(yī)療保健。

　　公開市場(chǎng)動(dòng)態(tài)：公開估值顯示出復(fù)蘇跡象。蘋果、微軟、NVIDIA、Alphabet、Meta、特斯拉和亞馬遜等集成 AI 的巨頭在提振股市指數(shù)方面發(fā)揮著至關(guān)重要的作用。

　　私人市場(chǎng)趨勢(shì)：美國在全球私人 AI 領(lǐng)域占據(jù)主導(dǎo)地位，2023 年的資本投資占 70%。相比之下，歐洲 AI 企業(yè)的資本支持大幅下降。

　　主要并購：并購市場(chǎng)仍然活躍，出現(xiàn)了 MosaicML + Databricks(13 億美元)、Casetext + Thomson Reuters(6.5 億美元)和 InstaDeep + BioNTech(5 億歐元)等重大收購。

　　企業(yè)投資動(dòng)態(tài)：2023 年所有企業(yè)風(fēng)險(xiǎn)投資的 24% 投向了 AI 公司。

　　資金動(dòng)態(tài)：生成式 AI 公司主導(dǎo)大型融資輪次，通常用于獲取云計(jì)算能力以進(jìn)行大規(guī)模 AI 系統(tǒng)訓(xùn)練。2023 年，生成式 AI 公司明顯獲得比其他初創(chuàng)公司更大的種子輪和 A 輪融資。

　　政治：AI監(jiān)管、經(jīng)濟(jì)影響和不斷演變的地緣政治

　　英國和印度的輕觸式監(jiān)管：英國和印度采用支持創(chuàng)新的方法，投資于模型安全并確保早期獲得先進(jìn)的 AI 模型。

　　歐盟和中國的嚴(yán)格立法：歐盟和中國已采取嚴(yán)格措施朝著人工智能特定立法邁進(jìn)，尤其是在基礎(chǔ)模型方面。

　　美國的混合監(jiān)管：美國尚未通過聯(lián)邦 AI 法律，各個(gè)州頒布了自己的法規(guī)。批評(píng)者認(rèn)為這些法律過于嚴(yán)格或過于寬松。

　　監(jiān)管和透明度：即將到來的 2024 年美國總統(tǒng)選舉引發(fā)了人們對(duì) AI 在政治中的作用的擔(dān)憂，促使美國聯(lián)邦選舉委員會(huì)呼吁公眾對(duì)政治廣告中的 AI 法規(guī)發(fā)表評(píng)論。谷歌對(duì) AI 生成的選舉廣告免責(zé)聲明的政策就是一個(gè)透明度努力的例子。

　　AI 和偏見：AI 偏見指控，特別是來自美國保守派團(tuán)體，表明文化沖突正在蔓延到 AI 領(lǐng)域。OpenAI 正在通過審核和用戶微調(diào)來解決這些問題。

　　就業(yè)市場(chǎng)影響：研究表明，人工智能的進(jìn)步可能會(huì)導(dǎo)致法律、醫(yī)學(xué)和金融等行業(yè)的職位大量流失。然而，人工智能也可能使專業(yè)知識(shí)民主化，并在基于技能的工作中實(shí)現(xiàn)公平競(jìng)爭(zhēng)。

　　McKinsey 近日公布了一幅內(nèi)容豐富的圖表，全面概括了 2023 年人工智能(AI)治理領(lǐng)域內(nèi)最關(guān)鍵的政策和監(jiān)管動(dòng)向。該圖表以直觀的視覺形式展示了 2023 年對(duì) AI 法律框架塑造做出的顯著貢獻(xiàn)。

　　安全性：識(shí)別和減輕高度智能未來 AI 系統(tǒng)帶來的災(zāi)難性風(fēng)險(xiǎn)

　　呼吁解決安全問題：對(duì)高性能 AI 系統(tǒng)的擔(dān)憂促使未來生命研究所發(fā)出公開信，呼吁暫停比 GPT-4 更強(qiáng)大的 AI 開發(fā)，以解決安全問題。然而，對(duì)于具體風(fēng)險(xiǎn)或其可能變得相關(guān)的時(shí)間范圍尚未達(dá)成共識(shí)。

　　緩解工作：AI 實(shí)驗(yàn)室正在實(shí)施自己的緩解策略，包括用于評(píng)估危險(xiǎn)能力的工具包和具有安全承諾的負(fù)責(zé)任的擴(kuò)展政策。此外，基于 API 的模型(例如來自 OpenAI 的模型)具有檢測(cè)和響應(yīng)濫用的基礎(chǔ)設(shè)施，以遵守使用政策。

　　開源與閉源 AI：關(guān)于開源或閉源 AI 模型是否更安全的爭(zhēng)論仍在繼續(xù)。開源模型促進(jìn)研究，但存在濫用風(fēng)險(xiǎn)，而閉源 API 提供更多控制，但缺乏透明度。

　　使用人類偏好預(yù)訓(xùn)練語言模型：研究人員建議將人類反饋直接納入 LLM 的預(yù)訓(xùn)練，而不是傳統(tǒng)的三個(gè)階段訓(xùn)練。這種方法已在較小的模型上得到證明，并被谷歌部分采用在他們的 PaLM-2 上，已被證明可以減少有害內(nèi)容的生成。

　　憲法 AI 和自我對(duì)齊：一種新方法依賴于一套指導(dǎo)原則和最少的反饋。模型生成自己的批評(píng)和修改，這些批評(píng)和修改用于進(jìn)一步的微調(diào)。這可能比 RLHF 更好的解決方案，因?yàn)樗�通過明確遵守設(shè)定的約束來避免獎(jiǎng)勵(lì)黑客攻擊。

　　越獄和模型安全性：解決與繞過安全協(xié)議的提示制作相關(guān)的問題仍然是一個(gè)挑戰(zhàn)。

　　02

　　AI產(chǎn)品的進(jìn)展

　　在今年的 AI 進(jìn)展方面，重點(diǎn)在于改善現(xiàn)有技術(shù)，而非引入類似于去年的 ChatGPT 或圖像生成器那樣的革命性創(chuàng)新。雖然沒有令人震撼的效果，且真正的通用人工智能(AGI)尚未實(shí)現(xiàn)，但今年標(biāo)志著從之前的重大突破向更強(qiáng)大的未來過渡的中間階段。為了展示這種發(fā)展趨勢(shì)，我們制作了一個(gè)視覺時(shí)間線，強(qiáng)調(diào)了今年在 AI 領(lǐng)域最為顯著的進(jìn)展：

　　圖像生成

　　Adobe Firefly: Adobe 的 Firefly 和 Generative Fill 推動(dòng)了多樣化視覺內(nèi)容的創(chuàng)作，如插畫、藝術(shù)構(gòu)思和照片編輯。集成到 Photoshop 中的 Adobe Firefly 使 AI 技術(shù)普及化，讓更多用戶能夠輕松使用。其發(fā)布的文本效果功能也是一個(gè)重要進(jìn)展，它允許用戶給文字和短語添加風(fēng)格或紋理。

　　Midjourney: Midjourney 的 V.5 模型在圖像生成領(lǐng)域達(dá)成了重要里程碑，展現(xiàn)了更高的效率、連貫性和分辨率。它的最新 alpha 版本，Midjourney V.6，進(jìn)一步增強(qiáng)了功能，比如更精準(zhǔn)地響應(yīng)用戶輸入(prompt)、提高了模型的知識(shí)水平和簡(jiǎn)易的文本繪制能力。

　　DALL·E 3:基于 ChatGPT 的 DALL·E 3 簡(jiǎn)化了圖像生成過程，避免了復(fù)雜的用戶輸入(prompt)設(shè)置。此外，ChatGPT 還推出了一項(xiàng)功能，幫助用戶優(yōu)化輸入內(nèi)容，并根據(jù)反饋調(diào)整圖像。

　　Shutterstock.AI:知名庫存圖片平臺(tái) Shutterstock.AI 加入了 AI 功能，使用戶能將輸入內(nèi)容轉(zhuǎn)換成可授權(quán)的圖像。Shutterstock 在推動(dòng)倫理 AI 方面邁出了重要一步，對(duì)貢獻(xiàn)的藝術(shù)家給予認(rèn)可和獎(jiǎng)勵(lì)。

　　文本到圖像算法的演變，2007 對(duì)比 2023

　　視頻生成

　　Stability AI：Stability AI 推出了 Stable Video Diffusion，這是一個(gè)具有里程碑意義的視頻生成(generative video)模型，可在 GitHub 上開源訪問。類似于 AI 圖像生成的趨勢(shì)，Stable Video Diffusion 模型很可能在 AI 生成視頻領(lǐng)域發(fā)揮核心作用。

　　HeyGen：這家 AI 創(chuàng)業(yè)公司推出了 一款用于語音克隆的工具，能夠調(diào)整視頻中的唇部運(yùn)動(dòng)并進(jìn)行語言翻譯。

　　Runway Gen-2：Runway 發(fā)布了 Gen-2 模型，使用戶僅需通過文本提示、圖片或其他視頻即可輕松生成完整視頻。下面的例子就是一種展示。

　　Pika 和 Pika 1.0：在首次發(fā)布時(shí)，Pika 吸引了超過五十萬用戶，每周生成數(shù)百萬視頻。在 Pika 1.0 中，升級(jí)后的 AI 模型使用戶能夠以多種風(fēng)格(包括 3D 動(dòng)畫、動(dòng)漫、卡通和電影)創(chuàng)作和編輯視頻。

　　Meta 的像素編解碼頭像(PiCA)：Meta 的 Pixel Codec Avatars(PiCA)模型為視頻中的 3D 人臉提供了更加逼真的遠(yuǎn)程傳輸體驗(yàn)。

　　文本生成

　　Bard 和 Gemini:谷歌的 Bard 為聊天機(jī)器人注入了仿人類的情感和情緒。Bard 聊天機(jī)器人采用多模態(tài)數(shù)據(jù)集訓(xùn)練，而谷歌的 Gemini 以「最有能力」的 AI 模型身份嶄露頭角，成為與 OpenAI 的 ChatGPT 齊名的競(jìng)爭(zhēng)者。

　　Grok:埃隆·馬斯克的創(chuàng)業(yè)公司 xAI 展現(xiàn)了其對(duì) AI 發(fā)展的承諾，并有可能與 OpenAI 競(jìng)爭(zhēng)。他們推出了「Grok」——一款具備幽默感、反叛特質(zhì)，并能通過