戴爾科技AI平臺｜最新AI服務器——PowerEdge XE8545

　　​這些年來

　　圍繞私有云與公有云的辯論

　　“成本”二字是繞也繞不開的話題

　　直到越來越多的研究表明

　　公有云并不比本地便宜

　　有時甚至可能更貴

　　這個爭論才逐漸平息

　　但對于特殊的

　　深度學習應用呢

　　跑在公有云是否會比本地便宜？

　　云是托管AI開發(fā)和生產(chǎn)的最經(jīng)濟方式嗎?Moor Insights＆Strategy高級分析師Karl Freund認為，最好的方案取決于你在AI旅程中的位置、你將如何密集地建立你的AI能力，以及期望實現(xiàn)的成果。

　　為何云對AI有如此吸引力？

　　云服務提供商(CSP)擁有廣泛的開發(fā)工具組合和預訓練的深度神經(jīng)網(wǎng)絡，用于語音、文本、圖像和翻譯處理。例如，微軟Azure提供了大量個預訓練的網(wǎng)絡和工具，可以被你的云托管應用程序作為API訪問。

　　許多模型甚至可以用用戶自己的數(shù)據(jù)進行定制，如特定的詞匯或圖像。谷歌也有一連串相當驚人的工具。比如它的AutoML可以自動構建深度學習神經(jīng)網(wǎng)絡，在某些情況下可以節(jié)省大量時間。

　　所有這些工具都有幾個共同點。首先，它們使構建AI應用看起來非常容易。由于大多數(shù)公司都在努力為AI項目配備員工，因此這一點非常有吸引力。

　　其次，它們提供易用性，承諾在一個充滿相對晦澀難懂的技術的領域中點擊即可使用。但是，所有這些服務都有一個陷阱——他們要求你在他們的云中開發(fā)應用程序，并在他們的云中運行。

　　因此，這些服務具有極大的“綁定”特性。如果你使用微軟的預訓練的DNN進行圖像處理，你不能輕易在自己的服務器上運行所產(chǎn)生的應用程序。你可能永遠不會在非谷歌的數(shù)據(jù)中心看到谷歌的TPU，也無法使用谷歌的AutoML工具。

　　“綁定”本身并不一定是件壞事。但這里有一個問題：很多AI開發(fā)，特別是訓練深度學習神經(jīng)網(wǎng)絡，最終需要大量的計算。此外，你不會停止訓練一個(有用的)網(wǎng)絡，你需要用新的數(shù)據(jù)和功能來不斷保持它的“新鮮度”。

　　我所看到的公開研究表明，這種水平的計算在云中可能變得相當昂貴，成本是建立自己的私有云來訓練和運行神經(jīng)網(wǎng)絡的2-3倍。

　　因此，對于小型，未知或可變的計算要求，云計算是有意義的，但是對于連續(xù)的、大規(guī)模深度學習而言，使用本地基礎設施可節(jié)省大量成本。而且除了成本因素以外，還有更多原因需要使用自我托管。

　　01部署

　　啟動一個AI項目可能需要大量的時間、精力和費用。云AI服務可以大大減少開始時的痛苦，不過一些硬件供應商也在提供硬件和軟件的捆綁，力求AI的部署變得簡單。

　　*例如，戴爾科技針對深度和機器學習推出了 "AI就緒型解決方案"，其配備的完整GPU和集成軟件棧，專為降低部署AI門檻而設計。

　　02數(shù)據(jù)安全

　　一些行業(yè)受到嚴格的監(jiān)管，需要內(nèi)部的基礎設施。如金融行業(yè)，則認為將敏感信息放入云中風險太大。

　　03數(shù)據(jù)引力

　　這是對一些企業(yè)最重要的因素。簡單說，如果你的重要數(shù)據(jù)在云中，你應該建立你的AI，并把你的應用程序也放在那里。但如果你的重要數(shù)據(jù)放在企業(yè)內(nèi)部，數(shù)據(jù)傳輸?shù)穆闊┖统杀究赡苁欠敝氐�，特別是考慮到神經(jīng)網(wǎng)絡訓練數(shù)據(jù)集的巨大規(guī)模。因此，在內(nèi)部建立你的人工智能也是有意義的。

　　結 論

　　在哪里訓練和運行AI是一個深思熟慮的決定。這里的問題是，通常在你的開發(fā)道路上走得很遠，才能確定所需基礎設施的大小(服務器的數(shù)量、GPU的數(shù)量、存儲的類型等)。

　　一個常見的選擇是在公有云中開始你的模型實驗和早期開發(fā)，并制定一個帶有預定義的退出計劃，告訴你是否以及何時應該把工作搬回家。這包括了解CSP的機器學習服務的好處，以及如果你決定把所有東西都搬到自己的硬件上，你將如何取代它們。

　　省時省力還省心

　　從選好一個硬件供應商開始

　　AI正在革新我們的未來，而現(xiàn)在才剛剛起步。如同Karl Freund所認為的：本地AI基礎設施可以比公有云更具經(jīng)濟效益。如果您計劃在AI領域進行大量投資，一個好的硬件供應商（比如戴爾科技集團）不僅可以切合您的需要，其中一些服務更可以相當實惠。

　　憑借豐富的IT硬件組合，以及廣泛的合作伙伴生態(tài)系統(tǒng)，戴爾科技正協(xié)助客戶簡化并積極推動數(shù)據(jù)科學及AI項目，無論是機器學習項目還是深度學習項目，涵蓋的部署范圍包括IoT網(wǎng)關、工作站、服務器、存儲、AI就緒解決方案和HPC等。

　　用于機器學習的硬件

　　針對機器學習項目，戴爾易安信PowerEdge R750或R740xd是理想的平臺。這些通用的2U服務器支持加速器和大容量存儲，為后續(xù)的深度學習項目提供了未來的保障，其中xd版本還支持額外的存儲容量。AI就緒型解決方案

　　戴爾科技提供預配置的AI就緒解決方案，可簡化配置過程，降低成本，并加快部署分布式多節(jié)點機器學習和深度學習集群。這些集成系統(tǒng)對硬件、軟件和服務進行了優(yōu)化，有助于AI工作人員快速投入到生產(chǎn)并產(chǎn)生結果。用于AI的存儲

　　存儲性能對于機器學習項目的性能平衡至關重要，戴爾科技提供廣泛的全閃存和混合存儲產(chǎn)品組合，可以滿足AI的苛刻要求，這包括戴爾易安信PowerScale和ECS的存儲以及采用NFS和Lustre的分布式存儲解決方案。

　　此外，還有當下熱門的戴爾科技最新AI服務器——PowerEdge XE8545。其搭載的最新AMD米蘭CPU、第三代NVlink - SMX4以及NVIDIA A100 40/80GB GPU，無不顯示出這是成為尖端機器學習模型，復雜的高性能計算（HPC）和GPU虛擬化的理想選擇。

　　下面來看這款服務器的強大之處

　　1AMD米蘭CPU

　　XE8545配備了2顆地表最強的7nm Zen3架構的AMD第三代EPYC處理器。霄龍?zhí)幚砥饕宦纷邅恚�用自己的實力在服務器處理器市場牢牢的站穩(wěn)了腳，高性價吸引了不少用戶的目光。

　　2第三代NVLink-SXM4

　　XE8545 GPU內(nèi)部采用NVIDIA第三代NVLink互聯(lián)。其技術可提供更高帶寬和更多鏈路，并可提升多GPU系統(tǒng)配置的可擴展性，故而可以解決互聯(lián)問題。

　　單個NVIDIA A100 Tensor核心GPU支持多達12個第三代NVLink 連接，總帶寬為每秒600 千兆字節(jié)（GB/秒），幾乎是PCIe Gen 4帶寬的10倍。

　　NVIDIA DGX™ A100等服務器可利用這項技術來提高可擴展性，進而實現(xiàn)非�？焖俚纳疃葘W習訓練。NVLink也可用于 PCIe版A100的雙GPU配置。

　　▲點擊查看清晰圖片

　　我們可以看出第三代NVLink的帶寬幾乎是PCIe Gen4的10倍，用第三代NVLink互聯(lián)的A100在能夠達到的最大功耗和顯存上也遠遠高于PCIe Gen4互聯(lián)的A100，是真正的靈活型性能怪獸。

　　3NVIDIA A100 40/80GB GPU

　　XE8545內(nèi)部支持多達四個A100 GPU，性能極其強大。

　　A100引入了突破性的功能來優(yōu)化推理工作負載。它能在從FP32到INT4的整個精度范圍內(nèi)進行加速。多實例GPU (MIG)技術允許多個網(wǎng)絡同時基于單個A100運行，從而優(yōu)化計算資源的利用率。在A100其他推理性能增益的基礎之上，僅結構化稀疏支持一項就能帶來高達兩倍的性能提升。

　　在BERT等先進的對話式AI模型上，A100可將推理吞吐量提升到高達CPU的249倍。

　　在受到批量大小限制的極復雜模型(例如用于先進自動語音識別用途的RNN-T)上，顯存容量有所增加的A100 80GB能使每個MIG的大小增加一倍（達到10GB），并提供比A100 40GB高1.2倍的吞吐量。

　　NVIDIA產(chǎn)品的出色性能在MLPerf推理測試中得到驗證。A100再將性能提升了20倍，進一步擴大了這種性能優(yōu)勢。

　　A100結合MIG技術可以更大限度地提高GPU加速的基礎設施的利用率。借助MIG，A100 GPU可劃分為多達7個獨立實例，讓多個用戶都能使用GPU加速功能。使用A100 40GB GPU，每個MIG實例最多可以分配5GB，而隨著A100 80GB增加的GPU內(nèi)存容量，每個實例將增加一倍達到10GB。

　　除了強大的XE8545服務器外，戴爾科技還有全系列的AMD服務器供您選擇。更詳細的產(chǎn)品，歡迎聯(lián)系戴爾官方企采網(wǎng)采購專線400-884-6610，或者聯(lián)系您的客戶經(jīng)理。

　　尊敬的讀者

　　勞動節(jié)福利火熱派送中

　　4月24日-5月14日

　　超炫新品0元試用

　　到手無需歸還

　　快來掃描下方二維碼

　　或點擊文末閱讀原文

　　速速參與活動

　　相關內(nèi)容推薦：AI成為人，需要這一塊"肋骨"|戴爾科技為全球用戶提供幫助

　　文章來自公眾號戴爾易安信解決方案