不吹不黑!年均PUE 1.1的百度首個(gè)自建超大型數(shù)據(jù)中心是什么水平?
2018-10-10 作者:admin
在百度上搜索“百度”會(huì)搜到什么,搜索、網(wǎng)盤(pán)、地圖、百科、知道、圖片等等,這些C端的應(yīng)用構(gòu)成了普通用戶對(duì)百度的固有印象,但少有人了解,支撐百度等大型互聯(lián)網(wǎng)公司數(shù)以億計(jì)用戶使用的C端應(yīng)用背后,互聯(lián)網(wǎng)數(shù)字底層基礎(chǔ)設(shè)施不啻于另一條更激烈的競(jìng)爭(zhēng)賽道,這其中遍布全國(guó)甚至全球的數(shù)據(jù)中心是最重要的一環(huán)。
百度第一個(gè)自建數(shù)據(jù)中心位于李彥宏老家山西陽(yáng)泉,命名為百度云計(jì)算(陽(yáng)泉)中心,園區(qū)占地約360畝地,總建筑面積約12萬(wàn)平方米,包括8個(gè)高標(biāo)準(zhǔn)模組,我們走進(jìn)了百度云計(jì)算(陽(yáng)泉)中心,獲悉百度甚少展示的另一面。
PUE 1.1如何煉成?
出北京沿京昆高速一直走,經(jīng)過(guò)保定、石家莊即到山西陽(yáng)泉,從地理位置、氣候條件、網(wǎng)絡(luò)設(shè)施和電價(jià)等因素上考量,陽(yáng)泉不是傳統(tǒng)意義上受青睞的數(shù)據(jù)中心選址地,百度第一個(gè)自建超大型數(shù)據(jù)中心定在此地很大程度是因?yàn)殛?yáng)泉為李彥宏老家。
不過(guò)這并不是唯一的因素。一方面,技術(shù)的演進(jìn)擴(kuò)大了數(shù)據(jù)中心的選址范圍,減少了對(duì)一些硬性指標(biāo)的需求,陽(yáng)泉的各項(xiàng)條件整體過(guò)硬;另一方面,由于李彥宏的緣故,陽(yáng)泉并不失為最適合百度的數(shù)據(jù)中心選址。
PUE(數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗,越接近1表明能效越高)是數(shù)據(jù)中心領(lǐng)域衡量能源效率的權(quán)威指標(biāo),記者了解到,百度云計(jì)算(陽(yáng)泉)中心單模組PUE低至1.1,1.1是什么概念?
目前國(guó)內(nèi)PUE比較低的數(shù)據(jù)中心大多在1.3以下,之前參觀的大多較為先進(jìn)的數(shù)據(jù)中心也是這個(gè)水平,在國(guó)內(nèi)PUE在1.2左右的數(shù)據(jù)中心表現(xiàn)已經(jīng)算很不錯(cuò)。坦白說(shuō),聽(tīng)到百度陽(yáng)泉數(shù)據(jù)中心整體年均PUE是1.1時(shí),我們還是有一些懷疑的。其一,陽(yáng)泉沒(méi)有特別得天獨(dú)厚的的氣候條件,其二,其他不少頂級(jí)互聯(lián)網(wǎng)公司的數(shù)據(jù)中心PUE也沒(méi)有到這個(gè)水平,何況PUE 1.1是百度陽(yáng)泉數(shù)據(jù)中心單模組年均水平,而不是最低值。
百度云計(jì)算(陽(yáng)泉)中心負(fù)責(zé)人、百度系統(tǒng)部高級(jí)經(jīng)理顧鵬
如建筑圖所示,百度云計(jì)算(陽(yáng)泉)中心整體外觀設(shè)計(jì)既可以說(shuō)是百度的經(jīng)典熊掌標(biāo)志,也可以視作一個(gè)綠色節(jié)能的燈泡樣式,和百度云計(jì)算(陽(yáng)泉)中心的文化衫映襯,8個(gè)模組示例特別用了綠色,這些小細(xì)節(jié)也體現(xiàn)出百度技術(shù)文化。
在實(shí)地探訪過(guò)程中,百度數(shù)據(jù)中心負(fù)責(zé)人顧鵬告訴雷鋒網(wǎng),百度云計(jì)算(陽(yáng)泉)中心能做到1.1的PUE主要包括兩點(diǎn),一個(gè)是電氣架構(gòu)的改變,一個(gè)是空調(diào)末端的改變,另外配合高溫服務(wù)器和調(diào)優(yōu)等措施使PUE低至1.1。
百度陽(yáng)泉數(shù)據(jù)中心機(jī)房
在電氣架構(gòu)層面,傳統(tǒng)數(shù)據(jù)中心的建設(shè)基本上采用雙路UPS的設(shè)計(jì),現(xiàn)在越來(lái)越多的新建數(shù)據(jù)中心采用電力效率更高的架構(gòu)。如上圖所示,電力架構(gòu)的改變帶來(lái)的是電源效率的層層提升,PUE在1.2和1.3左右的數(shù)據(jù)中心很多采用市電+HVDC在線、市電+UPS ECO架構(gòu)。
早在2010年,百度M1數(shù)據(jù)中心就率先在國(guó)內(nèi)使用了一路市電+一路UPS架構(gòu),效率能達(dá)到95%。百度在陽(yáng)泉數(shù)據(jù)中心采用了四種架構(gòu),市電+UPS、市電+HVDC在線、市電+UPS ECO、市電+HVDC離線,也體現(xiàn)了其電氣架構(gòu)經(jīng)歷的四代改進(jìn),從二期項(xiàng)目開(kāi)始采用的都是電源效率高達(dá)99.5%的市電+HVDC離線架構(gòu),也是數(shù)據(jù)中心行業(yè)內(nèi)世界首例采用這種供電架構(gòu)的數(shù)據(jù)中心。
了解到,所謂離線(Offline),是指正常情況下市電直供IT設(shè)備,HVDC僅為蓄電池提供浮充,市電中斷后,轉(zhuǎn)由蓄電池供電,在這種架構(gòu)下,正常情況為IT設(shè)備供電的電能不經(jīng)過(guò)HVDC轉(zhuǎn)換,此部分損耗幾乎可以忽略,因此節(jié)能效果顯著。
“打個(gè)比方說(shuō),我們?cè)热绻?00度電,可能實(shí)際上有10度電是由UPS損耗掉了,但是現(xiàn)在我們只有0.5度電被損耗,所以效率還是相當(dāng)高的”,顧鵬說(shuō)道。不過(guò)離線架構(gòu)要求定制IT設(shè)備電源,所以百度陽(yáng)泉數(shù)據(jù)中心基本上都采用的是整機(jī)柜服務(wù)器。
水冷背板機(jī)柜
百度陽(yáng)泉數(shù)據(jù)中心的另一個(gè)節(jié)能大改進(jìn)在于暖通架構(gòu),據(jù)顧鵬介紹,陽(yáng)泉數(shù)據(jù)中心采用了高溫服務(wù)器及新型的氣流組織結(jié)合的零功耗的新型空調(diào)末端,充分利用了天然的冷源,冷卻模式分為機(jī)械制冷、預(yù)冷和自然冷卻三種模式,陽(yáng)泉數(shù)據(jù)中心全年免費(fèi)冷卻能達(dá)到96%,相當(dāng)于每年全部用冷機(jī)的時(shí)間只有兩周,即三百多個(gè)小時(shí),剩下的大部分時(shí)間都是免費(fèi)冷卻狀態(tài)。
百度陽(yáng)泉數(shù)據(jù)中心采用水冷精密空調(diào)(CRAH)、AHU、OCU和IDEC這四種空調(diào)末端形式,經(jīng)過(guò)不斷實(shí)踐,陽(yáng)泉數(shù)據(jù)中心5個(gè)模組采取了OCU制冷模式。
百度自研置頂冷卻單元OCU(Overhead Cooling Unit)新型空調(diào)末端,與預(yù)制模塊技術(shù)結(jié)合,冷卻模塊垂直安裝在機(jī)架上方,空調(diào)末端無(wú)風(fēng)扇、零功耗,利用空氣對(duì)流原理,抽走“熱通道”熱空氣的同時(shí),送出冷空氣給“冷通道”;AHU(Air Handle Unit)風(fēng)墻冷卻技術(shù),通過(guò)與高溫耐腐蝕服務(wù)器配合,采用全新氣流組織方案,解決了空氣污染及腐蝕難題;IDEC即間接風(fēng)側(cè)制冷,抽取室內(nèi)空氣和部分新風(fēng)以控制出風(fēng)溫度和風(fēng)量來(lái)維持室內(nèi)溫度。
除此之外還了解到,傳統(tǒng)服務(wù)器要求環(huán)境溫度為5~35℃,服務(wù)器一般運(yùn)行在25℃左右,百度特別研究的高溫服務(wù)器耐溫設(shè)計(jì)高達(dá)45℃,從而大幅提高自然冷卻時(shí)間。
百度AI時(shí)間
自2017年7月5日百度開(kāi)發(fā)者大會(huì)起,百度正式進(jìn)入了AI時(shí)間。“百度將All in AI,我們?cè)贏I時(shí)代的核心戰(zhàn)略就是開(kāi)放賦能,我們的將來(lái)必須建立在與每個(gè)開(kāi)發(fā)者共贏的基礎(chǔ)上”,李彥宏彼時(shí)如是說(shuō)。
陽(yáng)泉數(shù)據(jù)中心是百度AI的一個(gè)重要底座,8個(gè)模組滿載可容納16萬(wàn)臺(tái)服務(wù)器,記者了解到,百度陽(yáng)泉數(shù)據(jù)中心已經(jīng)承載了百度的搜索、地圖、網(wǎng)盤(pán)、人工智能、智能云、自動(dòng)駕駛等技術(shù),每天數(shù)據(jù)處理量近100PB,百度陽(yáng)泉數(shù)據(jù)中心提供著AI訓(xùn)練所需的大量計(jì)算能力。
顧鵬表示,百度GPU集群針對(duì)大數(shù)據(jù)、人工智能等場(chǎng)景設(shè)計(jì),廣泛應(yīng)用于語(yǔ)音、圖象、搜索、無(wú)人車(chē)、加速計(jì)算等業(yè)務(wù),百度率先采用引入深度學(xué)習(xí)和異構(gòu)計(jì)算集群,成為百度大腦的動(dòng)力引擎。
百度陽(yáng)泉數(shù)據(jù)中心液冷機(jī)柜
百度X-MAN2.0服務(wù)器就部署在陽(yáng)泉數(shù)據(jù)中心,用于加速云端人工智能訓(xùn)練,X-MAN2.0服務(wù)器為百度自研的AI計(jì)算機(jī),實(shí)現(xiàn)了GPU和CPU資源物理解耦按需配比,更是全球首個(gè)將液冷技術(shù)應(yīng)用到高功耗AI計(jì)算系統(tǒng)中的實(shí)例,能夠提升45%的散熱效能。
百度陽(yáng)泉數(shù)據(jù)中心不僅提供AI基礎(chǔ),自身也在實(shí)踐AI。顧鵬表示,陽(yáng)泉數(shù)據(jù)中心在實(shí)現(xiàn)自動(dòng)化的基礎(chǔ)上,已經(jīng)在向智能化進(jìn)行轉(zhuǎn)化,陽(yáng)泉數(shù)據(jù)中心全部采用無(wú)紙化智能巡檢,將相關(guān)數(shù)據(jù)上傳到遠(yuǎn)端電腦,專家系統(tǒng)通過(guò)對(duì)現(xiàn)場(chǎng)運(yùn)行數(shù)據(jù)分析來(lái)保障系統(tǒng)穩(wěn)定性。
百度把AI技術(shù)引入了數(shù)據(jù)中心,通過(guò)建立數(shù)據(jù)中心深度學(xué)習(xí)模型,比如冷水機(jī)組三種模式的運(yùn)行就通過(guò)AI自動(dòng)判斷,根據(jù)室外天氣濕度、溫度和負(fù)荷,切換制冷模式、預(yù)冷模式和節(jié)約模式,此外AI還能實(shí)現(xiàn)智能預(yù)警,通過(guò)負(fù)載預(yù)判設(shè)備運(yùn)行情況,給出維護(hù)策略。
“AI的智能化是后續(xù)數(shù)據(jù)中心運(yùn)營(yíng)的一個(gè)方向,最終將實(shí)現(xiàn)無(wú)人值守”,顧鵬表示。
綠色是百度陽(yáng)泉數(shù)據(jù)中心的另一個(gè)標(biāo)簽,百度陽(yáng)泉數(shù)據(jù)中心充分利用了模組屋頂剩余空間,安裝太陽(yáng)能電池板,光伏發(fā)電即發(fā)即用,陽(yáng)泉數(shù)據(jù)中心也是國(guó)內(nèi)首個(gè)應(yīng)用光伏發(fā)電的數(shù)據(jù)中心,陽(yáng)泉數(shù)據(jù)中心還大量采用風(fēng)電清潔能源?!?017年百度陽(yáng)泉數(shù)據(jù)中心的風(fēng)能和太陽(yáng)能一共將近用了2600萬(wàn)度,占比整個(gè)用電量的16%,2018年使用風(fēng)能和太陽(yáng)能可以達(dá)到5500萬(wàn)度,預(yù)計(jì)占比可能達(dá)到23%以上”,顧鵬介紹道。
百度陽(yáng)泉數(shù)據(jù)中心還采用了污水回收再利用技術(shù),數(shù)據(jù)中心既是耗電大戶,也是耗水大戶,百度將排污進(jìn)行收集,應(yīng)用超濾和反滲透技術(shù),除去水中的氯鈉鈣鎂等離子,顧鵬表示,污水回收系統(tǒng)全部投產(chǎn)以后,每年的回收能達(dá)到48萬(wàn)噸水的量,相當(dāng)于四千戶家庭一年的用水量。
百度陽(yáng)泉數(shù)據(jù)中心鋰電池機(jī)柜
百度陽(yáng)泉數(shù)據(jù)中心可以說(shuō)是整機(jī)柜服務(wù)器數(shù)據(jù)中心,約96%服務(wù)器均采用了百度北極2.0整機(jī)柜服務(wù)器,北極2.0采用了共享電源和風(fēng)扇的架構(gòu),供電實(shí)現(xiàn)標(biāo)準(zhǔn)化、模塊化、一體化,總成本降低了15%左右,北極2.0自研服務(wù)器平均每臺(tái)耗電量比普通的服務(wù)器下降的12%,交付率提升了20倍,每天交付能達(dá)到一萬(wàn)臺(tái)左右,傳統(tǒng)服務(wù)器一天最多交付數(shù)百臺(tái)。
陽(yáng)泉數(shù)據(jù)中心的參觀讓我們見(jiàn)識(shí)到一個(gè)數(shù)據(jù)中心上的百度,也可以說(shuō)AI上的百度。當(dāng)然了,陽(yáng)泉數(shù)據(jù)中心新建時(shí)百度還沒(méi)有完全轉(zhuǎn)向AI,還是“移動(dòng)優(yōu)先”,不過(guò)正如百度新戰(zhàn)略“夯實(shí)移動(dòng)基礎(chǔ),決勝AI時(shí)代”,移動(dòng)時(shí)代讓百度積累了先發(fā)優(yōu)勢(shì),在發(fā)令槍已經(jīng)響起的AI時(shí)代,百度正把其技術(shù)一面逐漸展現(xiàn),數(shù)據(jù)中心只是具象之一。(文章轉(zhuǎn)載于IDC圈)