目前IDC機房建設(shè)規(guī)模越來越大,服務(wù)器的集成度越來越高,數(shù)據(jù)設(shè)備的功率提升和其部署方式帶來了新的冷卻問題,這使得IDC機房內(nèi)的制冷空調(diào)問題,已經(jīng)超越電源,成為電信運營IDC的首要問題。文中針對IDC機房空調(diào)存在的主要問題進行分析,提出解決方案并對部分方案進行了實際應(yīng)用。
目前IDC 空調(diào)存在的主要問題
從目前IDC 運行情況來看,IDC 機房空調(diào)電源中斷、空調(diào)冷量設(shè)計、機房大環(huán)境氣流組織不合理、機柜內(nèi)部小環(huán)境氣流組織不合理、機柜熱量過大、機柜布置不合理等問題是導(dǎo)致機房過熱的主要原因和問題。對這些問題,本文從電源保障、空調(diào)配置、氣流組織和高密服務(wù)器布置等方面展開探討,提出解決方案,并在杭州IDC 機房建設(shè)中進行了實際應(yīng)用,在保障IDC 機房安全運行同時,達到節(jié)能減排的目的。
空調(diào)保障解決方案
1 空調(diào)電源保障
IDC 機房內(nèi)發(fā)熱厲害,溫度梯度變化也大,通風(fēng)降溫復(fù)雜,而空調(diào)使用的是市電,一旦停電,就會造成機房溫度迅速竄升。在一般的通信機房,由于功率密度低,柴油發(fā)電機啟動延遲和常規(guī)的電源倒閘操作是沒有問題的,但是對IDC機房來說,在電源中斷的這段時間內(nèi)是難以接受的,空調(diào)會停止制冷,特別是空調(diào)風(fēng)機的停機導(dǎo)致了氣流循環(huán)的中斷,據(jù)測試,在單機柜5kW 負(fù)載情況下,機房溫度會在發(fā)電機啟動延遲和電源倒換過程中會升高5~20°C;如果電源中斷時間過長,就會演變成為一場災(zāi)難??梢姡U螴DC 機房空調(diào)的電源可靠性和提升可用性是重中之重,必須制定可靠的空調(diào)電源保障方案,以防止空調(diào)電源中斷或盡量縮短電源中斷時間。
1) UPS 方案
由于空調(diào)的重要性,大負(fù)荷IDC 機房空調(diào)的供電等極應(yīng)不低于服務(wù)器設(shè)備的供電等級,因此采用UPS 供電也并不為過。在國外,大型數(shù)據(jù)中心的機房空調(diào)系統(tǒng)采用UPS 供電的方法越來越普遍;在國內(nèi),江蘇電信公司部分機房把專用空調(diào)的風(fēng)機接在UPS 上,這樣解決了停電后的短時間氣流組織中斷的問題,從使用效果來看還不錯。采用UPS方案不利的因素是存在投資過大的問題。
2) IDC 空調(diào)雙電源方案:
對IDC 機房,同一個機房的空調(diào)電源最好不要同時使用同一路電源,以防止一路電源中斷就會導(dǎo)致機房溫升過高。IDC 機房的空調(diào)配電屏,進線電源必須有兩路,兩路電源必須來自不同的低壓配電系統(tǒng),兩路電源間可以手動切換或者采用ATS 自動倒換,如果采用ATS 最好設(shè)置成不同的主路(但是在油機供電下,要注意ATS 的自動切換可能會引起部分油機的過載);一旦電源中斷,可以縮短中斷時間并減小影響面。圖1、圖2 和圖3 是杭州電信IDC 普遍使用的雙電源屏和雙ATS 電源屏。
3) 空調(diào)配電屏接線方法
相臨的空調(diào)應(yīng)該從不同的空調(diào)配電屏引出,如1 個機房布置16 臺空調(diào),兩塊空調(diào)配電屏,那1、3、5、7 等奇數(shù)空調(diào)就從配電屏1 引入(主用市電1),2、4、6、8 等偶數(shù)空調(diào)從配電屏2 引入(主用市電2)。這樣即使一路電源發(fā)生異常,影響到的空調(diào)是部分的,恢復(fù)的時間也很快。
4) 雙 ATS 電源柜+空調(diào)新型電源接線方法
這種方案是對方法2、3 的綜合應(yīng)用,即采用ATS 的同時采用雙電源屏方案。從實際使用效果來看,在兩路高壓引入的情況下,采用雙ATS電源柜+空調(diào)新型電源接線方法,比用UPS 供電更經(jīng)濟,而且可靠性也沒減少多少,由于同一機房的空調(diào)電源來自于不同的高壓系統(tǒng),如果這兩路高壓是真雙路的話,那同時停電的概率是很低的;而在停一路高壓的情況下,還有一半的空調(diào)在運行,最重要的是氣流組織不會中斷,在油機啟動倒電過程中機房的溫升還是可以接收的。一個大的IDC 機房最好有兩塊以上的空調(diào)配電屏,以方便上述方法的空調(diào)接線,如果僅采用一塊空調(diào)配電屏,空調(diào)配電屏內(nèi)部的空開要有備份和冗余。
2 空調(diào)配置
機房空調(diào)的冷量要大于機房的最大熱負(fù)荷并有富裕,空調(diào)的配置原則是根據(jù)機房總熱量總體規(guī)劃空調(diào)設(shè)計,按照N+1 原則配置空調(diào)數(shù)量??墒俏覀儠龅竭@樣一個問題:空調(diào)已經(jīng)按照N+1 配置,為什么IDC 機房溫度會打不下來?
1) 分區(qū)配置原則
傳統(tǒng)的配置是以機房為單位;采用的是房間級制冷,空調(diào)是以機房為單位進行制冷,但這種方法的配置和冗余并不適用于大型的IDC機房。
現(xiàn)在的IDC 機房由于建設(shè)規(guī)模大、面積大和機柜功率密度高,如果按照房間級配置空調(diào),一臺空調(diào)發(fā)生故障,由于冗余的空調(diào)相距過遠(yuǎn),氣流組織無法送達,會造成局部機柜設(shè)備過熱;因此大型IDC 機房的空調(diào)要進行分區(qū)配置,即把一個大型的IDC 機房劃分為若干個分區(qū),然后保證每一個分區(qū)內(nèi)的空調(diào)均有冗余,這樣空調(diào)發(fā)生故障后,每一塊區(qū)域內(nèi)的服務(wù)器才是安全的。杭州電信的興議、濱江等IDC 機房,就以四列的機柜為一個分區(qū),然后按照每個分區(qū)都滿足N+1 的冗余方式配置,是一種比較安全的辦法。
2) 空調(diào)冷量取值
機房空調(diào)的冷量計算要采用顯冷量,而不是空調(diào)全冷量。要保證機房空調(diào)的總顯冷量始終大于機房的熱負(fù)荷,但是機房空調(diào)的顯冷量在不同情況下是一個變值,它標(biāo)注的顯冷量是在23 度、50%下測定的,隨著機房濕度的增高,機房空調(diào)的顯熱比會下降。比如一臺制冷量標(biāo)注100KW 的機房空調(diào),測試工況下顯冷量90KW,當(dāng)機房現(xiàn)對濕度達到65%以上時,空調(diào)的顯冷量只有80KW 了,20%的冷量消耗在除濕過程中。設(shè)計過程中如果按90KW 或者100KW 的數(shù)據(jù)設(shè)計,夏季高溫高濕環(huán)境下,機房的冷量就會不夠。另外在較大的IDC 機房里面,由于混風(fēng)情況的存在,導(dǎo)致空調(diào)的送回風(fēng)溫差過小,空調(diào)顯冷量進一部下降。因此在確定空調(diào)的制冷總?cè)萘繒r,必須加大30%以上,目前的經(jīng)驗認(rèn)為,空調(diào)的總制冷量必須是機房熱負(fù)荷的1.3~1.6 倍,大型的IDC 必須取上限。
3) 合理的N 值
從IDC 運行情況來看,N+1 的N 數(shù)值要合適,N 大了,冗余度不夠,機房不安全;N 小了,機房會安全,但投資大且造成空調(diào)運行的能效比過小,如果采用冷備用空調(diào)(停機),部分冷風(fēng)也會從停機的空調(diào)回風(fēng)口跑出來,造成氣流短路或者氣流倒灌,影響機房的原有氣流組織,如果能夠以低速或者低風(fēng)量運行備用空調(diào),那總體風(fēng)機功率就可以下降,效率提升;IDC 機房空調(diào)的N 取值在4~5 之間是比較合理的,更高密度機房則要把N 取值再減低。
另外對于部分新建和擴建機房,由于負(fù)荷的不確定,空調(diào)無法一部安裝到位,是隨設(shè)備的增加而陸續(xù)增加的,這種情況要統(tǒng)一規(guī)劃好空調(diào)的位置,并跟蹤機房熱負(fù)荷變化情況,適時增配空調(diào),確保機房始終滿足N+1 原則。
空調(diào)配置多,可以提高機房的安全性,但會降低空調(diào)的能效比,導(dǎo)致耗電上升,如何以較少的備用機房空調(diào)在高密度機房情況下實現(xiàn)冗余是我們機房空調(diào)運行中必須關(guān)注的一個問題。
3 機房大環(huán)境氣流組織
這是IDC 規(guī)劃和設(shè)計的重點和難點,氣流組織的產(chǎn)生、氣流組織的配送和氣流組織的返回都要合理,一個高效有著良好氣流組織的IDC 機房是規(guī)劃和設(shè)計出來的,而不是靠后期改造出來的。對于一個新建的IDC,從有利于氣流組織的角度出發(fā),下面這些是必須注意的。
1) 機房布置
大型IDC 機房不宜正方形,而應(yīng)為長條形,這樣有利于空調(diào)布置,并減少空調(diào)的送風(fēng)距離和風(fēng)阻。
2) 送風(fēng)方式
新建的IDC 空調(diào)應(yīng)該是下送風(fēng)方式,冷熱風(fēng)道進行分離。
目前的送風(fēng)方式有上送下回、側(cè)送側(cè)回、上送上回及下送上回等多種方式,但是下送風(fēng)方式比上送風(fēng)更有利于機房的氣流組織和提高送風(fēng)效率,如圖4;冷熱通道分離是指各個機柜服務(wù)器均以面對面,背高背的方式進行布置。冷熱氣流組織隔離后氣流組織更合理,而且增大送風(fēng)和回風(fēng)之間的溫差,從而提高機房空調(diào)機組的效率。目前的研究表明,達到相同制冷效果的前提下,下送風(fēng)所需風(fēng)量比上送風(fēng)所風(fēng)量小,這也就說明了下送上回式風(fēng)比上送下回氣流組織效率更高。
3) 關(guān)注地板高度、樓房的凈高和機架間距
活動地板的高度對機房空調(diào)的空氣循環(huán)效率有著重大的影響,架空地板的高度應(yīng)根據(jù)負(fù)荷密度、機房面積綜合確定。所需的凈高度取決于機房的大小功率密度和空調(diào)的設(shè)計方案,對于氣流組織來說,活動地板高度是越高越好,大型IDC 機房建議地板凈高≥60cm(圖5),并根據(jù)機架負(fù)荷可以適當(dāng)加大機架間距。
IDC 機房的高度不宜太低,要保證回風(fēng)層的層高,如果這個高度如果太低,會影響空調(diào)的回風(fēng)效果,導(dǎo)致機柜內(nèi)部的熱量不容易返回到空調(diào),另外在市電中斷過程中,機房層高也會影響到服務(wù)器宕機的時間,因此要保障機房的層高,圖4 是建議的機房高度。
4) 風(fēng)道完整
要保證冷風(fēng)道的完整,這樣才能保證氣流組織,常規(guī)的解決措施如下:
封閉地板上所有不必要的開口,包括未安裝服務(wù)器的機柜、UPS 電源和空調(diào)電源柜等下部的開口,防止冷風(fēng)風(fēng)道氣流泄露;
靠近墻面和電纜井的地方也需要進行封閉。
實際使用中,如果發(fā)現(xiàn)機房某處的溫度明顯過低,就表明該點的附件存在冷風(fēng)泄露,要找出泄露點并進行封閉。
5) 開口地板的布置
開口地板應(yīng)該布置在需要冷風(fēng)來對設(shè)備進行冷卻的位置。不要在機房空調(diào)機組附近放置開口地板,否則空調(diào)送出的冷風(fēng)很容易返回到空調(diào),開口地板與空調(diào)機組之間應(yīng)保持至少2M 的間距。
1) 冷通道封閉
各機柜以面對面成排方式布置,在冷通道上機柜的頂部和整列機柜的兩端進
行封閉。這樣送風(fēng)和回風(fēng)之間就實現(xiàn)了完全的隔離,冷風(fēng)通過活動地板送到密閉的冷通道內(nèi),熱風(fēng)離開機柜進入機房環(huán)境,再返回到機房空調(diào)機組(圖7),機房本身處于一個較高的溫度水平。
要注意的是整個IDC 機房內(nèi)的所有冷通道都必須被密閉,這樣才可以體現(xiàn)封閉的優(yōu)勢,僅僅封閉機房內(nèi)的部分冷通道沒有太多的作用和意義,因為在沒有封閉的地方,跑出的冷風(fēng)都可以與熱風(fēng)混合從而抵消預(yù)期的節(jié)能效果。封閉冷通道后,空調(diào)的送回風(fēng)溫度均可以提升,使制冷系統(tǒng)運行在高效情況下面。
但是在實際運行情況下,冷通道被封閉后,機房其余的空氣溫度會變得更熱了(在27℃~35℃),在這種高溫下,用戶會以為是空調(diào)發(fā)生故障,即使事先溝通,知道該情況機房空調(diào)未發(fā)生故障,進入機房巡視的人感覺也會很不舒服,因此要和用戶充分溝通,讓他們認(rèn)識并接收這種觀念。否則用戶就會要求降低空調(diào)
設(shè)置溫度,這樣一來,節(jié)下的能量又回去了。
2) 熱通道封閉
各機柜以面對面成排方式布置,在熱通道上機柜的頂部和整列機柜的兩端進
行封閉,以管道或者天花板的形式把熱風(fēng)引會到空調(diào)機組內(nèi),這樣送風(fēng)與回風(fēng)之間也實現(xiàn)了隔離(圖8)。
由于冷風(fēng)送到整個機房,機房處于一個較平均的溫度水平,而熱通道能夠保持較高的溫度?,F(xiàn)有資料顯示:在典型的高熱機房中,服務(wù)器熱風(fēng)和機房室溫的溫差一般在17℃左右。如果機房溫度按ASHRAE TC9.9 要求保持在22℃,那么17℃的溫差可以使服務(wù)器的排風(fēng)溫度達到39℃。但在實際的熱風(fēng)封閉系統(tǒng)中,制冷機組的送風(fēng)量往往會比服務(wù)器需求量要多,而且會有少量的機房空氣進入熱通道,這樣導(dǎo)致回風(fēng)溫度略有下降,但仍然達到38℃,這樣高的回風(fēng)溫度使得與制冷盤管的熱交換更充分,制冷設(shè)備利用率更好,總效率也更高?;仫L(fēng)溫度的提高對制冷機組制冷量的影響適用于幾乎所有的空調(diào),所有的制冷系統(tǒng)在回風(fēng)溫度較高時都將具有更大的制冷量。
3) 通道封閉需要考慮的因素
通道封閉會增加建設(shè)成本;在機柜的前方和后方安裝密封盲板均會增加成本。
通道封閉會造成回風(fēng)溫度升高;密封越好,空調(diào)的回風(fēng)溫度越高,要關(guān)注空調(diào)設(shè)備和用戶工作環(huán)境溫度的運行限制。
通道封閉要不影響到現(xiàn)有的消防系統(tǒng)。在對冷熱通道封閉的過程中,會對消防系統(tǒng)產(chǎn)生影響,一旦火警,消防氣體不容易進入封閉的通道內(nèi),影響消防系統(tǒng)的使用,針對這種情況,杭州電信的技術(shù)人員在東冠IDC 中心采用了可以自動敞開的柜頂(圖9),在柜頂安裝有電磁鐵(圖10),正常情況下,電磁閥線圈得電,吸住柜頂擋板;電磁線圈和消防聯(lián)動,一旦火警,電磁線圈失電,柜頂擋板在重力作用下自動打開,冷通道從封閉模式變成敞開模式。
這樣做帶來兩個好處,一是解決了消防的問題,另一個是和市電聯(lián)動,在市電中斷過程中,敞開的通道可以延長服務(wù)器的宕機時間。
5 機柜內(nèi)部氣流
對于服務(wù)器來說,如果空調(diào)總的制冷量和機房大環(huán)境氣流可以滿足機房要求,最后還要保證機柜內(nèi)部的服務(wù)器的溫度正常,換句話說就是機柜內(nèi)服務(wù)器產(chǎn)生的熱量要能通過機柜內(nèi)部的小氣流組織及時帶走;在機柜里面,一方面,空氣氣流會選擇流阻最小的路徑,我們要阻止機柜內(nèi)熱空氣同冷空氣混合,另一方面,在一個機架內(nèi),冷氣是從下部送入,自下而上流動,機架最上部服務(wù)器溫度往往是最高的,如果機柜內(nèi)部的小氣流組織不合理,或者冷風(fēng)進風(fēng)量不夠,就會造成服務(wù)器局部過熱。
1) 消除氣流回流
在氣流回流存在的情況下,機架正面的垂直溫度梯度會很大,部分機架前部的上下溫度差可達10°C.因此要使用盲板或擋板來封閉服務(wù)器被拆除或者未安裝的空間,防止部分冷空氣直接跑到熱風(fēng)風(fēng)道內(nèi),另一方面也可以防止服務(wù)器的熱風(fēng)通過這些部位回到服務(wù)器的冷風(fēng)風(fēng)道內(nèi),造成氣流組織短路……安裝擋板可以防止冷卻空氣繞過服務(wù)器上的入口形成熱空氣循環(huán),在機柜上層服務(wù)器的入口溫度有了明顯下降,圖11美國電力轉(zhuǎn)換公司對安裝盲板前后的服務(wù)器進風(fēng)溫度對比情況。
2) 新型工藝機柜:
這種機柜是專門對機柜內(nèi)進行優(yōu)化和機柜氣流組織設(shè)計,直接在機柜內(nèi)部進行送風(fēng),采用盲板和漂浮式盲板來封閉機柜上未使用的單元,機柜的前門和服務(wù)器形成一個單獨的冷通道,熱風(fēng)從機柜的后面和上端排出,避免了機柜內(nèi)氣流短路,氣流組織比較合理。根據(jù)這個原理,浙江電信分公司在2008年專門研制了新型工藝機柜,并在杭州電信的IDC 機房進行應(yīng)用,如圖12,在單機柜功率4KW情況下,這種機柜冷卻良好并起到很好的節(jié)能效果。
5. 更高密度服務(wù)器布置
在IDC 運行情況看,我們會遇到兩種不同的熱點問題,一種是在高密度區(qū)域布置更高密度服務(wù)器造成的局部溫度過高,如在平均機柜5KW 的機房布置10KW以上的機柜;另一種是整體熱點問題,一個機房的所有服務(wù)器均是高密度設(shè)備,如單機柜平均功率10KW 以上,造成整個機房溫度過高問題。對于前者,最好是不要這樣布置,如果逼不得已,那最好能采取一些特殊的補救措施;對于后者,建議重新設(shè)計IDC 機房。
1) 局部更高密度布置方案
不同功率密度的服務(wù)器不宜布置在同一機房,尤其是在固定密度區(qū)域布置更高密度服務(wù)器,會導(dǎo)致機房局部熱點問題突出。但在實際過程中,往往又不可避免,比如用戶一定要這樣布置,而溝通無效的情況,如何解決這些問題?
方法一:在現(xiàn)有的運行空間內(nèi)加強冷卻能力
如果用戶無法對他的高密度服務(wù)器進行分散,這種情況下,就要想辦法增加冷卻能力,如杭州電信就在機房里額外增加了部分空調(diào)(圖13),并在高熱區(qū)域增加開口地板數(shù)量,也可以安裝地板下氣流輔助裝置(圖14),個別機房安裝了特制的回流管道(圖15),確保高密度服務(wù)器可以得到足夠的冷量,同時服務(wù)器排出的熱量可以順利返回到空調(diào)。
方法二:分散高密度機架
但在實際情況中,由于機房空間的限制,增加空調(diào)冷量的方法很難實現(xiàn),因此將高密度負(fù)載進行分散是一個比較有效的方法,這樣分開的高密度機架可以有效地“借用”鄰近機架的冷量來進行冷卻。杭州東冠IDC 機房,用戶要在機柜設(shè)計功率4.5KW 的機房放置部分12KW 的核心網(wǎng)絡(luò)設(shè)備(cisco N7K),在解決這個問題時就采用了熱量分散原則,將兩個機架布置在不同的兩列,并留出三個機柜的位置用來冷卻這個高密度機架,這樣機房平均功率密度控制在設(shè)計的范圍內(nèi),如圖16:
2) 整體高密方案
如果所有服務(wù)器均是高密設(shè)備,必須重新設(shè)計IDC 機房,但是我們會面臨一個問題,就是風(fēng)冷空調(diào)的冷卻極限(目前在6KW/㎡),如果機柜的發(fā)熱過大(現(xiàn)在一個機柜的熱量就輕松突破20KW),我們應(yīng)該如何解決這個問題呢?
采用增加機柜的間距或者減低服務(wù)器的放置密度,從而降低整個機房的平均功率密度,可以把功率密度控制在風(fēng)冷極限的范圍以內(nèi)。在杭州電信濱江IDC機房,某服務(wù)器單機柜銘牌功率20KW(圖17),實測13KW,機柜發(fā)熱嚴(yán)重。而用戶又很著急,為了完成這個任務(wù),杭州電信在規(guī)劃這個機房時,加大了冷風(fēng)道和熱風(fēng)道的間距,將冷風(fēng)道從1.2 米提升到4.8 米(圖18),并增加了熱風(fēng)道的間距,這樣一來,單位功率密度就下降了一半;另外增加了機房空調(diào)數(shù)量,空調(diào)的冷量采用了2N 配置;同時提升了地板高度,把地板高度提升到1.2 米,并啟用了柵欄地板,保證了機柜所需的冷風(fēng)風(fēng)量。
從使用效果看,該機房冷卻效果良好,圓滿的解決了用戶的需求。但是這種解決方案存在投資成本過高的問題,這種解決方法在對成本不敏感的情況下使用才是合理的。
總結(jié)
由于篇幅的限制,只能對上述IDC建設(shè)和運行一些比較容易遇到的主要問題進行交流探討和摸索,或許上面提到和采用的方法并不一定是最好或是最完善的,但希望這些做法可以給同行借鑒和參考,避免走彎路和減少不必要的浪費,IDC的系統(tǒng)設(shè)計、建設(shè)和運維,還有很長的路要走;對目前廣泛普及的高密度機架進行冷卻還有待我們的探索和經(jīng)驗積累;另外IDC的節(jié)能降耗,也是任重道遠(yuǎn)的任務(wù)和工作。希望在以后的日子里,大家齊心協(xié)力,促進電信IDC的發(fā)展,并為IDC的節(jié)能減排貢獻自己的一份力量。
文章來源:機房專用空調(diào)m.keenjuche.com.cn