微軟、OpenAI投資1000億美元，打造“Stargate”計(jì)算機(jī)

　　本文來自于微信公眾號(hào) AIGC開放社區(qū)(ID：AIGCOPEN)，作者：AIGC開放社區(qū)。

　　3月30日，著名科技媒體the information獨(dú)家消息，微軟、OpenAI正在開發(fā)一個(gè)數(shù)據(jù)中心項(xiàng)目，包含一臺(tái)名為“Stargate”超級(jí)計(jì)算機(jī)將配備數(shù)百萬個(gè)AI專用芯片，主要為OpenAI的研發(fā)、產(chǎn)品提供服務(wù)。

　　據(jù)一位曾與OpenAI聯(lián)合創(chuàng)始人兼首席執(zhí)行官Sam Altman交談過，以及查看過微軟對(duì)該項(xiàng)目的成本估算內(nèi)部人士透露，該成本的總投資高達(dá)1000億美元。

　　早在2020年5月19日，微軟就在官方公布過，在Azure云服務(wù)中專門為OpenAI打造了一臺(tái)配備10，000個(gè)GPU和285，000個(gè) CPU的超級(jí)計(jì)算機(jī)，這也是當(dāng)時(shí)世界上最快的5臺(tái)計(jì)算機(jī)之一，這為后來開發(fā)ChatGPT、DALL·E3等產(chǎn)品立下汗馬功勞。

　　本次的Stargate將比2020年的那臺(tái)性能更強(qiáng)、更快，將幫助OpenAI開發(fā)實(shí)現(xiàn)AGI的大模型。

　　Stargate簡(jiǎn)單介紹

　　據(jù)the information介紹，該數(shù)據(jù)中心項(xiàng)目一共分為5個(gè)階段，目前微軟和OpenAI已經(jīng)處于第3階段中期。第4階段是微軟將打造一臺(tái)比Stargate小一點(diǎn)的超級(jí)計(jì)算機(jī)，預(yù)計(jì)在2026年左右投入使用。

　　第5階段就是Stargate超級(jí)計(jì)算機(jī)，將配備數(shù)百萬個(gè)AI專用芯片，預(yù)計(jì)在2028年左右投入使用。而第4和第5階段的主要工作之一就是大量采購(gòu)AI芯片。

　　該項(xiàng)目的占地將達(dá)到400多畝，需求的電力在5吉瓦特左右將是一個(gè)耗電猛獸，所以，可能會(huì)使用核動(dòng)力供電。

　　該項(xiàng)目的投資是目前多數(shù)高級(jí)數(shù)據(jù)中心的100倍左右，微軟如此花大價(jià)錢的主要原因是，OpenAI一直受到算力的困擾，不能釋放全部的產(chǎn)品和創(chuàng)新能力。

　　例如，2023年，OpenAI本來是要推出一個(gè)名為“Arrakis ”的AI產(chǎn)品，但受AI算力限制放棄了。

　　微軟曾為OpenAI打造過專屬超級(jí)計(jì)算機(jī)

　　花費(fèi)1000億美元，打造一個(gè)超級(jí)數(shù)據(jù)中心并非微軟上頭操作，而是之前就成功干過一次。

　　早在2020年5月召開的“Build”開發(fā)者大會(huì)上，微軟表示已經(jīng)在Azure 云服務(wù)中專門為OpenAI打造了一臺(tái)配備10000個(gè)GPU和285，000個(gè) CPU的超級(jí)計(jì)算機(jī)，每個(gè) GPU 服務(wù)器的網(wǎng)絡(luò)連接速度為每秒400GB，專門用于訓(xùn)練AI模型。

　　可以說，如果沒有這臺(tái)超算的幫助，可能也不會(huì)有后來在全球爆火出圈的ChatGPT。

　　而微軟此次的投資是2020年那臺(tái)的100倍，這主要因?yàn)镺penAI的技術(shù)正在快速迭代，并且開發(fā)了Sora這種跨時(shí)代的文生視頻模型。

　　與ChatGPT的文本相比，視頻模型的預(yù)訓(xùn)練、微調(diào)需要的算力和處理難度將更高。因?yàn)�，視頻數(shù)據(jù)是包含寬度、高度、時(shí)間和顏色通道等高維數(shù)據(jù)。

　　因此需要更復(fù)雜的數(shù)據(jù)預(yù)處理步驟，包括視頻的解碼、幀提取、幀重采樣以及大小調(diào)整等。而文本數(shù)據(jù)相對(duì)是低維的，主要處理的是序列數(shù)據(jù)，包括分詞、標(biāo)記化、詞嵌入等流程。

　　在算力方面，由于視頻數(shù)據(jù)的高維特性，視頻模型在訓(xùn)練和推理過程中遠(yuǎn)高于文本模型的AI算力。視頻處理通常需要在保持空間細(xì)節(jié)的同時(shí)捕捉時(shí)間上的變動(dòng)，這需要大量的AI算力支撐。

　　OpenAI的首席技術(shù)官M(fèi)ira Murati曾表示，Sora生成一個(gè)20秒720P的視頻，大約需要耗費(fèi)幾分鐘的時(shí)間。

　　如果是100，000個(gè)人一起使用Sora生成不同類型的視頻，其消耗的AI算力將是一個(gè)天文數(shù)字。

　　所以，AI算力已經(jīng)和數(shù)據(jù)一樣成為生成式AI領(lǐng)域的水、電、煤基礎(chǔ)設(shè)施，任何產(chǎn)品的技術(shù)創(chuàng)新、迭代都離不開它。