13代酷睿支持160億參數(shù)大模型、Arc顯卡提速54％

　　生成式AI(AIGC)無疑是當下最熱門的話題和應(yīng)用，各家軟硬件廠商都在全力投入。

　　作為擁有強大硬件、廣泛生態(tài)的行業(yè)領(lǐng)袖，Intel也正在大力推動PC AIGC應(yīng)用的落地，從硬件到軟件提供全方位支持。

　　目前在PC平臺上，Intel已發(fā)布的12/13代酷睿、Arc A系列顯卡，以及即將發(fā)布的下一代酷睿，都能滿足AIGC對于高算力的需求。

　　再加上軟件生態(tài)的構(gòu)建和模型的優(yōu)化，AIGC場景在臺式機、輕薄本、全能本、游戲本等設(shè)備上都能落地應(yīng)用，從而大大提高熱門的日常生活、工作效率。

　　其中，基于OpenVINO PyTorch后端的方案，通過Pytorch API，可以讓社區(qū)開源模型很好地運行在Intel客戶端處理器、集成顯卡、獨立顯卡和專用AI引擎之上。

　　比如說， Stable Diffusion的實現(xiàn)Automatic1111 WebUI，已經(jīng)能夠通過上述方式，在Intel處理器、顯卡上運行FP16浮點精度的模型，支持文生圖、圖生圖、局部修復(fù)等功能。

　　更進一步地，Intel通過模型優(yōu)化，降低了模型對硬件資源的需求，進而提升了模型的推理速度，讓社區(qū)開源模型能夠很好地運行在PC上。

　　眼下，Intel 13代酷睿通過XPU加速、low-bit量化，以及其它軟件層面的優(yōu)化，可以讓最高達160億參數(shù)的大語言模型，通過BigDL-LLM框架運行在16GB及以上內(nèi)存容量的個人電腦上。

　　已經(jīng)驗證過的模型包括但不限于：LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等，并通過Transformers、LangChain API接口支持Windows、Linux的操作系統(tǒng)。

　　即將發(fā)布的代號Meteor Lake的酷睿Ultra系列，更會成為PC AI歷史上的重要里程碑。

　　酷睿Ultra它將通過分離式模塊架構(gòu)，集成名為“VPU”的獨立AI加速單元，為PC用戶提供AI驅(qū)動的新功能、新應(yīng)用，比如Adobe Premiere Pro中的自動重新構(gòu)圖、場景編輯檢測等等，還有更高效的機器學(xué)習(xí)加速。

　　目前，Intel正與PC產(chǎn)業(yè)伙伴合作，加速AI加速應(yīng)用的落地和普及，未來后續(xù)基帶產(chǎn)品也會進一步擴展AI能力。

　　另一方面，Intel Arc銳炫顯卡通過驅(qū)動和補丁更新，已經(jīng)可以較好地支持Stable Diffusion，性能提升效果相當顯著。

　　Tom's Hardware就分別測試了Arc A770 16GB、Arc A750，使用了Automatic1111 WebUI OpenVINO。

　　在此之前，Arc A770 16GB、Arc A450的性能相比RTX 4060落后在20％左右，如今分別大幅提升了54％、40％，對比RTX 4060能分別領(lǐng)先25％、6％。

　　要知道，它倆的游戲性能其實遠不如RTX 4060，但如今AI效率卻更高，足可見Intel的硬件性能和軟件優(yōu)化相當給力。

　　再看看AMD顯卡的表現(xiàn)，就更加凸顯Intel的進步了，RX 6000系列的效率依然低得令人發(fā)指，RX 6800都只有Arc A750的一半多一點點。