數(shù)據(jù)中心冷卻：直抵芯片冷卻與浸沒式冷卻概述

　　隨著高級分析、人工智能以及各種流程的數(shù)字化，數(shù)據(jù)中心的工作負(fù)載不斷增加，平均機(jī)架功耗大幅上升。而且，正如我們所知，隨著功率消耗的增加，需要從機(jī)架中排出的余熱也隨之增加，最終需要從空白空間中移除。

　　在最近，當(dāng)機(jī)架功耗高達(dá)20kW時，可以依靠基于空氣的冷卻方法來保持IT硬件安全高效地運(yùn)行。但隨著一些機(jī)架開始超過30kW甚至更多時，需要使用新的冷卻方法。

　　這在一定程度上是由于IT硬件總體上的致密化，每一代新的CPU都在越來越小的尺寸中封裝了更多的處理能力。人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 等工作負(fù)載需要通常通過圖形處理單元交付的浮點(diǎn)運(yùn)算。這些GPU被設(shè)計(jì)為在完全用于特定工作負(fù)載時具有高于80°C(176°F)的正常工作溫度。

　　盡管功率超過20kW的機(jī)柜有基于空氣的冷卻選項(xiàng)，但它們通常難以有效安裝和維護(hù)，基本上超過了冷卻能力方面的收益遞減點(diǎn)。因此，數(shù)據(jù)中心的所有者和運(yùn)營商現(xiàn)在正在謹(jǐn)慎地為他們的新設(shè)施項(xiàng)目尋求液體冷卻。

　　液體冷卻的簡史

　　IT設(shè)備的液體冷卻似乎是一項(xiàng)新技術(shù)，但事實(shí)并非如此。

　　一般來說，液體是一種很好的傳熱介質(zhì)，只需一點(diǎn)點(diǎn)化學(xué)工程，就可以精確地調(diào)整沸點(diǎn)和凝結(jié)點(diǎn)，從而使用介電流體改善傳熱。

　　自19世紀(jì)末以來，各種形式的液體冷卻就已經(jīng)出現(xiàn)，當(dāng)時它們被用于絕緣和冷卻超高壓變壓器。汽車行業(yè)是另一個依賴并且仍然依賴液體冷卻的生態(tài)系統(tǒng)，如典型的汽車散熱器中的水。

　　液冷技術(shù)進(jìn)入計(jì)算機(jī)領(lǐng)域的歷史較早，當(dāng)時IBM在20世紀(jì)60年代早期發(fā)布了一系列名為System/360的企業(yè)級計(jì)算機(jī)。

　　360系統(tǒng)是市面上最經(jīng)久不衰的電腦系列之一。雖然最初的硬件現(xiàn)在已經(jīng)退役，但在20世紀(jì)60年代早期編寫的S/360代碼仍然可以在今天的新大型機(jī)中找到。它也是第一臺具有統(tǒng)一指令集的計(jì)算機(jī)，使得主機(jī)的升級或更改比以往任何時候都更容易。

　　System/360還采用了空氣和液體冷卻的混合方法進(jìn)行冷卻。這計(jì)算機(jī)相當(dāng)大且安裝麻煩，但I(xiàn)BM開發(fā)了混合模型，以適應(yīng)增加的熱負(fù)荷。在這些系統(tǒng)中，多達(dá)50%的散熱是通過水冷式熱交換器從冷卻空氣中除去的。

　　今天，液冷已經(jīng)出現(xiàn)在幾乎每一臺臺式電腦上，而且這個概念本質(zhì)上保持不變。冷卻過程由三個不同的部分組成:-熱板，供應(yīng)和返回管道，以及散熱器和風(fēng)扇。

　　熱板本質(zhì)上是一個金屬板，覆蓋整個CPU模具，頂部有一個小的儲水池。該板被設(shè)計(jì)成盡可能導(dǎo)熱的。芯片產(chǎn)生的任何熱量都將傳遞到頂部的蓄水池。

　　液體在這個閉環(huán)將通過供應(yīng)和返回管道旅行到散熱器，在那里熱量將通過散熱器翅片推出PC外殼-這些翅片被風(fēng)扇主動冷卻。

　　消費(fèi)級液冷最初只處理CPU熱量，但現(xiàn)在現(xiàn)代PC的幾乎每個組件都可以進(jìn)行液冷。

　　這是液冷的消費(fèi)級選擇——但大規(guī)模部署和企業(yè)級解決方案呢?接下來我們將在數(shù)據(jù)中心行業(yè)背景中討論這些問題。

　　企業(yè)級液體冷卻解決方案

　　在分析企業(yè)級IT硬件的液體冷卻選項(xiàng)時，主要有兩大類液體冷卻——直抵芯片液體冷卻(也稱為傳導(dǎo)或冷板液體冷卻)和浸入式液體冷卻。

　　浸入式液體冷卻包括將IT硬件直接浸入充滿電介質(zhì)氟化液、密封且易于觸及的外殼中，電子組件產(chǎn)生的熱量直接傳遞至氟化液。相反，直抵芯片冷卻技術(shù)完全避免了氟化液與電子器件之間的直接接觸。使用管道將液體冷卻劑泵送到電子部件上的冷板上來傳遞熱量

　　當(dāng)考慮到冷卻劑所經(jīng)過的相(流體處于什么狀態(tài)——液體或氣體)時，我們有五種不同類型的液體冷卻。

　　直抵芯片 - 單相

　　這種冷卻方法需要將液體冷卻劑直接輸送到服務(wù)器的較熱組件 ，如CPU或GPU，并將冷板直接放在芯片上。電氣元件從不與冷卻劑直接接觸。

　　使用這種方法，仍然需要風(fēng)扇提供氣流通過服務(wù)器以帶走余熱。雖然空氣冷卻的基礎(chǔ)設(shè)施大大減少，但仍然需要正確操作這種液冷方法。

　　冷卻劑可以是水或介電流體，但水會導(dǎo)致停機(jī)泄漏風(fēng)險，但是，可以使用防漏系統(tǒng) (LPS)。單相是指冷卻劑不會改變狀態(tài)——即從液體變?yōu)闅怏w。

　　這也與前面臺式電腦示例中使用的方法相同。

　　直抵芯片 - 兩相

　　兩相直接芯片液體冷卻方法與之前的單相方法類似，唯一的區(qū)別是液體冷卻劑會改變狀態(tài)——在完成冷卻回路時從氣體變?yōu)橐后w，反之亦然。這些系統(tǒng)將始終使用工程介電流體。

　　在排熱方面，兩相系統(tǒng)優(yōu)于單相系統(tǒng)，并且由于冷卻劑的狀態(tài)變化特性而具有較低的泄漏風(fēng)險。然而，它們確實(shí)需要額外的控制，這將增加系統(tǒng)生命周期內(nèi)的維護(hù)成本。

　　浸入式液體冷卻 – IT機(jī)柜單相

　　這種冷卻方法使用單相介電流體并與IT組件直接接觸。服務(wù)器完全或部分浸沒在機(jī)箱內(nèi)的這種非導(dǎo)電液體中，有效地消除了所有熱源。

　　冷卻可以通過傳導(dǎo)被動發(fā)生或主動泵送發(fā)生。熱交換器和泵都可以在底盤內(nèi)部或側(cè)面布置中找到，熱量從液體傳遞到水回路。

　　這種方法也不涉及風(fēng)扇，因此其運(yùn)行幾乎無聲 (0 dB)。相比之下，一些風(fēng)冷設(shè)施在數(shù)據(jù)大廳中可以達(dá)到 80 分貝以上，工人需要聽力保護(hù)才能長時間暴露在這種環(huán)境中。

　　浸入式冷卻 – 開放式浴缸 – 單相

　　這種沉浸式液體冷卻方法有時被稱為“開放式浴缸”，將IT設(shè)備完全浸沒在液體中。

　　從本質(zhì)上講，它是一個背面翻轉(zhuǎn)的機(jī)架，里面充滿了介電流體——服務(wù)器現(xiàn)在不是水平安裝的，而是垂直安裝的。

　　這些系統(tǒng)通常配備集中式電源，天然介電流體通過使用泵的熱交換器冷卻，泵可以安裝在浴缸內(nèi)部或外部，或通過對流。

　　浸入式冷卻 - 開放式浴缸 - 兩相

　　與單相一樣，在這種方法中，IT設(shè)備完全浸沒在儲罐內(nèi)垂直的流體中。但是，對于這種方法，重要的是，介電流體在加熱時必須能夠?qū)�狀態(tài)從液態(tài)變?yōu)闅鈶B(tài)。

　　在這樣的系統(tǒng)中，浸沒和暴露的部分會產(chǎn)生熱量，將液體變成氣體，氣體上升到水面并凝結(jié)在線圈上，一旦足夠冷卻又變回液態(tài)，就會自然落下。

　　什么是介電流體?

　　電介質(zhì)液體在高壓應(yīng)用中用作電絕緣體，例如變壓器、電容器、高壓電纜和開關(guān)設(shè)備(即高壓開關(guān)設(shè)備)。

　　它們的功能是提供電絕緣，抑制電暈和電弧，并用作冷卻劑。通常，它們分為兩類，含氟化合物和碳?xì)浠�合物�?/p>

　　含氟流體通常具有較低的沸點(diǎn)，主要用于兩相浸沒冷卻。

　　碳?xì)浠�合物通常不用于兩相浸沒式冷卻系統(tǒng)，因?yàn)榇蠖鄶?shù)碳?xì)浠�合物是可燃或易燃的。因此，碳�(xì)浠�合物通常僅用于單相應(yīng)用。

　　含氟化合物(或碳氟化合物)和碳?xì)浠�合�?例如礦物油、合成油、天然油)均可用于單相浸入式冷卻。沸點(diǎn)較高(高于系統(tǒng)的最高溫度)的流體對于確保流體保持液相是必要的。

　　在各種含氟化合物和碳?xì)浠�合物之間做出選擇時的考慮因素包括傳熱性能(隨時間推移的穩(wěn)定性和可靠性等)、IT硬件維護(hù)的難易程度、流體衛(wèi)生和更換需求、材料兼容性、電氣特性、易燃性或可燃性、環(huán)境影響、安全性等相關(guān)問題，以及儲罐或數(shù)據(jù)中心整個生命周期內(nèi)的總流體成本。

　　目前采用情況

　　雖然遠(yuǎn)非主流，但液體冷卻將自己定位為高性能計(jì)算的冷卻解決方案。然而，其主流采用將取決于技術(shù)和芯片設(shè)計(jì)的進(jìn)步。

　　改造現(xiàn)有的數(shù)據(jù)中心對于某些形式的液體冷卻來說成本很高，而浸沒式水箱的重量使其對于許多當(dāng)前的高架地板設(shè)施來說不切實(shí)際。

　　浸沒式液冷與傳統(tǒng)風(fēng)冷相比的優(yōu)勢

　　1、節(jié)能性更加極致：冷媒與發(fā)熱器件直接接觸，換熱效率更高，且可實(shí)現(xiàn)全面自然冷卻，系統(tǒng)PUE<1.05;

　　2、器件散熱更加均勻：采用全浸沒方式，服務(wù)器內(nèi)部溫度場更加均勻，器件可靠性更有保障;

　　3、無泄漏風(fēng)險：采用絕緣、環(huán)保的冷卻液體，即使發(fā)生泄露對基礎(chǔ)設(shè)施硬件和外界環(huán)境均無任何風(fēng)險;

　　4、噪聲更低：服務(wù)器全部元器件均可通過液冷方式散熱，內(nèi)部實(shí)現(xiàn)無風(fēng)扇設(shè)計(jì)，滿載運(yùn)行噪音<45dB;

　　5、功率密度大幅提升：單機(jī)柜功率密度可達(dá)60kW以上。