天河2號由16000個節(jié)點(diǎn)組成,每個節(jié)點(diǎn)有2顆基于Ivy Bridge-E Xeon E5 2692處理器和3個Xeon Phi,累計(jì)共有32000顆Ivy Bridge處理器和48000個Xeon Phi,總計(jì)有312萬個計(jì)算核心。
每個Xeon Phi使用其中的57個核心,而不是使用全部的61個,因?yàn)槭褂?1個在運(yùn)算周期協(xié)調(diào)方面會有問題,而使用57個核心能夠加速4個執(zhí)行線程,并且在每個線程單周期可以達(dá)成4Gflops的運(yùn)算量,運(yùn)行在1.1GHz的Xeon Phi可以生產(chǎn)1.003 Tflops的雙精度運(yùn)算能力。如果考慮CPU,2 Ivy Bridge * 0.2112 Tflop/s 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2個Ivy Bridge 9個Xeon Phi單個節(jié)點(diǎn)可以有3.431 Tflops運(yùn)算能力,16000個節(jié)點(diǎn)總計(jì)可達(dá)54.9PFlops性能。每個運(yùn)算節(jié)點(diǎn)有256GB主存、而每個Xeon Phi板載8GB內(nèi)存,因此每個節(jié)點(diǎn)共有88GB內(nèi)存,總計(jì)16000個節(jié)點(diǎn)一共有1.404 PB內(nèi)存,而外部存儲器容量方面更是高達(dá)12.4PB.
在每個主板上有2個計(jì)算節(jié)點(diǎn),而每個框架則有16個主板,4個框架組成一個機(jī)柜,整個系統(tǒng)由125個機(jī)柜組成。每個計(jì)算節(jié)點(diǎn)主板分為兩塊,一塊CPU一塊APU,CPU上有4核Ivy Bridge、內(nèi)存和一個Xeon Phi協(xié)處理器,而APU基板上則承載著5個Xeon Phi協(xié)處理器.CPU和APU之間有5個水平插入的鏈接口,由Ivy Bridge內(nèi)置的PCI-E 2.0進(jìn)行連接,雖然Ivy Bridge內(nèi)置為PCI Express 3.0接口,但Xeon Phi僅支持2.0,單個通路為10Gbps帶寬。
計(jì)算節(jié)點(diǎn)的前端處理器為4096個FT-1500處理器,F(xiàn)T-1500處理器是由國防科技大學(xué)為天河1研發(fā),其可以說是天河1項(xiàng)目的最大收獲,其為16核心的Sparc V9架構(gòu)處理器,在40nm工藝情況下運(yùn)行頻率為1.8Ghz,峰值性能為144 Gflops/s,功耗為65W,但相比英特爾22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge還是有明顯差距。
天河2互聯(lián)方面采用自主研發(fā)的 Express-2 內(nèi)部互聯(lián)網(wǎng)絡(luò),其為有13個交換機(jī),而每個交換機(jī)有576個端口。連接介質(zhì)為光電混合。具體控制器是名為NRC的ASIC專用目的集成電路,其采用90nm工藝,封裝尺寸為17.16x17.16 mm,共有2577引腳。單個NRC的吞吐能力為2.56Tbps.而在終端方面網(wǎng)絡(luò)接口也采用類似結(jié)構(gòu)的NIC,但規(guī)模稍小,為10.76x10.76 mm, 675 pin,其采用PCIE 2.0方式連接,傳輸速率為6.36GB/s.并且在在12000節(jié)點(diǎn)的情況下延遲也很低,僅為85us.
而在計(jì)算能力方面,使用14336個節(jié)點(diǎn) 總計(jì)50GB內(nèi)存進(jìn)行LINPACK測試,理論性能為49.19Pflops,而實(shí)際測試性能為30.65Pflops,效率為62.3%.這個效率并不算高,還有很大優(yōu)化提升潛力。當(dāng)然也可能是被Xeon phi僅支持PCI Express 2.0帶寬不足限制。
上面測試使用了16000個節(jié)點(diǎn)中的14336個,運(yùn)用了90%的規(guī)模,基本可以代表天河2的整體性能表現(xiàn)。天河2的性能部件(處理器、內(nèi)存、互聯(lián))整體功耗為17.6MW,而整體的運(yùn)算能力為30.65PFlops,這樣計(jì)算每瓦的性能為1.935Gflops,這個性能/功耗比可以排在超算TOP500的前五,其整體性能/功耗比十分出色。
系統(tǒng)的整體功耗為17.6 MW,并且這個功耗還不包括水冷這樣的散熱系統(tǒng),如果考慮上整體功耗將高達(dá)24MW,廣州國家超算中心將采用城市供水系統(tǒng)構(gòu)建高散熱效能的冷卻系統(tǒng),有能力可以提供80KW系統(tǒng)的散熱能力。
天河二號超級計(jì)算機(jī)系統(tǒng)由170個機(jī)柜組成,包括125個計(jì)算機(jī)柜、8個服務(wù)機(jī)柜、13個通信機(jī)柜和24個存儲機(jī)柜,占地面積720平方米,內(nèi)存總?cè)萘?400萬億字節(jié),存儲總?cè)萘?2400萬億字節(jié),最大運(yùn)行功耗17.8兆瓦。天河二號運(yùn)算1小時,相當(dāng)于13億人同時用計(jì)算器計(jì)算一千年,其存儲總?cè)萘肯喈?dāng)于存儲每冊10萬字的圖書600億冊。相比此前排名世界第一的美國“泰坦”超級計(jì)算機(jī),天河二號計(jì)算速度是“泰坦”的2倍,計(jì)算密度是“泰坦”的2.5倍,能效比相當(dāng)。與該校此前研制的天河一號相比,二者占地面積相當(dāng),天河二號計(jì)算性能和計(jì)算密度均提升了10倍以上,能效比提升了2倍,執(zhí)行相同計(jì)算任務(wù)的耗電量只有天河一號的三分之一。
天河二號型號為TH-IVB-FEP
16,000個運(yùn)算節(jié)點(diǎn),每節(jié)點(diǎn)配備兩顆Xeon E5 12核心的中央處理器、三個Xeon Phi 57核心的協(xié)處理器(運(yùn)算加速卡)。累計(jì)32,000顆Xeon E5主處理器和48,000個Xeon Phi協(xié)處理器,共312萬個計(jì)算核心。
中央處理器為英特爾提供的,運(yùn)作時鐘頻率為2.2GHz的Xeon E5-2692 V212核心處理器,基于英特爾Ivy Bridge微架構(gòu)(Ivy Bridge-EX核心),采用22納米制程,峰值性能0.2112TFLOPS。
運(yùn)算加速上,使用基于英特爾集成眾核架構(gòu)的Xeon Phi 31S1P協(xié)處理器,運(yùn)行時鐘為1.1GHz,每個使用61個核心中的57個(因?yàn)槭褂?1個會存在運(yùn)算周期協(xié)調(diào)問題),每核心籍由特殊的超線程技術(shù)能運(yùn)作4個線程,產(chǎn)生峰值性能為1.003TFLOPS。
計(jì)算節(jié)點(diǎn)前端處理器為4096顆FT-1500 16核心SPARC V9架構(gòu)的處理器,40納米制程,運(yùn)作時鐘頻率1.8GHz,熱設(shè)計(jì)功耗65瓦,峰值性能144GFLOPS。
內(nèi)存
每個節(jié)點(diǎn)擁有64GB主存,而每個Xeon Phi協(xié)處理器板載8GB內(nèi)存,故每節(jié)點(diǎn)共88GB內(nèi)存,整體總計(jì)內(nèi)存1.408PB。
外存
12.4PB容量的硬盤陣列
主架
主板、機(jī)架與機(jī)柜均由浪潮集團(tuán)制造,共有125個機(jī)柜,每個機(jī)柜容納4個機(jī)架,每個機(jī)架容納16塊主板,每個主板設(shè)置有兩個計(jì)算節(jié)點(diǎn)。每個機(jī)柜還裝有負(fù)載指示燈,根據(jù)機(jī)柜內(nèi)主機(jī)的運(yùn)算負(fù)載變更發(fā)光二極管的發(fā)光顏色。
每塊主板上分為APU模塊和CPM模塊兩部分,APU部分承載5塊Xeon Phi,CPM部分承載1塊Xeon Phi 4顆Xeon E5。
APU模塊和CPM模塊之間以CPU內(nèi)部提供的PCI-E 3.0 16x接口進(jìn)行連接,但實(shí)際由于Xeon Phi的硬件限制,僅支持至PCI-E 2.0 16x,單通道數(shù)據(jù)傳輸速率為10Gbps。
使用光電混合傳輸技術(shù)(Optoelectronics Hybrid Transport Technology),使用自制的TH Express-2主干拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)連接,以13個大型路由器通過576個連接端口以光電傳輸介質(zhì)與各個運(yùn)算節(jié)點(diǎn)互聯(lián),控制器名為NRC,使用90納米制程,單個控制器的數(shù)據(jù)吞吐量2.56Tbps,終端網(wǎng)絡(luò)接口使用名為NIC的控制器,以PCI-E 2.0接口鏈接,數(shù)據(jù)傳送速率6.36GB/s。
麒麟操作系統(tǒng)、基于SLURM(Simple Linux Utility for Resource Management,資源管理用單一Linux公用程序)的全局資源管理。
Ubuntu Linux。(Ubuntu OpenStack運(yùn)行在256個高性能節(jié)點(diǎn)上,而且在接下來的數(shù)月將會增長至超過6400個節(jié)點(diǎn)。OpenStack和Ubuntu的編制工具Juju都將運(yùn)行在天河二號上,使國防科技大學(xué)的合作伙伴和聯(lián)盟機(jī)構(gòu)能夠快速部署和管理高性能云環(huán)境)
整機(jī)功耗17,808千瓦,在搭載水冷散熱系統(tǒng)以后,功耗將達(dá)到24兆瓦,無論水冷系統(tǒng)的搭載與否,都是目前TOP500里功耗最大的
天河二號電費(fèi)每年達(dá)1億人民幣
以6月17日公布的數(shù)據(jù)推算,每瓦性能為1.901GFLOPS,仍不及泰坦的每瓦2.143GFLOPS和IBM紅杉每瓦2.177GFLOPS的成績,但比"京"的每瓦0.830GFLOPS每和天河一號每瓦僅0.668GFLOPS都要高不少。
天河二號是當(dāng)今世界上運(yùn)算速度第二快的超級計(jì)算機(jī),綜合技術(shù)處于國際領(lǐng)先水平。
它有五大特點(diǎn):一是高性能,峰值速度和持續(xù)速度都創(chuàng)造了新的世界紀(jì)錄;二是低能耗,能效比為每瓦特19億次,達(dá)到了世界先進(jìn)水平;三是應(yīng)用廣,主打科學(xué)工程計(jì)算,兼顧了云計(jì)算;四是易使用,創(chuàng)新發(fā)展了異構(gòu)融合體系結(jié)構(gòu),提高了軟件兼容性和易編程性;五是性價比高。
2013年6月,天河二號以峰值速度(Rpeak)每秒54,902.4TFLOPS(萬億次浮點(diǎn)運(yùn)算)、持續(xù)速度(Rmax)33,862.7TFLOPS,超越泰坦超級計(jì)算機(jī)(Rpeak 27,112.5TFLOPS,Rmax 17,590.0TFLOPS),成為當(dāng)今世界上最快的超級計(jì)算機(jī)。這個成績于2013年6月17日提交至TOP500。實(shí)際上,在早前的運(yùn)行測試中,僅使用16,000個運(yùn)算節(jié)點(diǎn)中的90%,亦即14,336個節(jié)點(diǎn),LINPACK運(yùn)算速度就達(dá)到30.65PFLOPS的性能水準(zhǔn),超過前任“泰坦”的74%。國際TOP500組織2013年11月18日公布了最新全球超級計(jì)算機(jī)500強(qiáng)排行榜榜單,“天河二號”以比第二名美國的“泰坦”快近2倍的速度登上榜首。
同樣在2013年6月,天河二號以2,061GTEPS的成績在Graph500上排名第六。Graph500是一個對超級電腦的數(shù)據(jù)密集型運(yùn)算處理性能進(jìn)行的一個排行榜,在此榜單上排位第一的是IBM紅杉,成績是15,363GTEPS。
“天河二號”的系統(tǒng)存儲總?cè)萘肯喈?dāng)于600億冊每冊10萬字的圖書。假設(shè)每人每秒鐘進(jìn)行一次運(yùn)算,“天河二號”運(yùn)算一小時,相當(dāng)于 13億人同時用計(jì)算器算上1000年。
天河二號已應(yīng)用于生物醫(yī)藥、新材料、工程設(shè)計(jì)與仿真分析、天氣預(yù)報、智慧城市、電子商務(wù)、云計(jì)算與大數(shù)據(jù)、數(shù)字媒體和動漫設(shè)計(jì)等多個領(lǐng)域,還將廣泛應(yīng)用于大科學(xué)、大工程、信息化等領(lǐng)域,為經(jīng)濟(jì)社會轉(zhuǎn)型升級提供重要支撐。
天河二號逐步在生命科學(xué)、材料科學(xué)、大氣科學(xué)、地球物理、宇宙、經(jīng)濟(jì)學(xué),以及大型基因組組裝、基因測序、污染治理等一系列事關(guān)國計(jì)民生的大科學(xué)、大工程中“大顯身手”。此外,國家超算廣州中心積極推動國際交流與合作,利用天河二號為國外研究機(jī)構(gòu)提供高性能計(jì)算服務(wù)。
據(jù)悉,科技部近年不斷加大對超算應(yīng)用軟件研發(fā)的投入?!笆濉币詠淼南嚓P(guān)研發(fā)投入已超過2億元。預(yù)計(jì)“十三五”期間投入將進(jìn)一步加大。
根據(jù)該專項(xiàng)“面向大規(guī)??茖W(xué)計(jì)算的高性能多核CPU”課題計(jì)劃安排,2011年中國將采用FT-1500CPU構(gòu)建全自主國產(chǎn)千萬億次計(jì)算機(jī)——“天河二號”。
借助天河二號的“計(jì)算神功”,國產(chǎn)C919大型客機(jī)開展了高精度外流場氣動計(jì)算;中科院上海藥物研究所開展了75萬個小分子化合物的結(jié)合親和力評估,完成了600多個各類藥物的體內(nèi)外活性測試評價。天河二號適配了廣州市電子政務(wù)數(shù)據(jù)管理系統(tǒng)和云盤存儲系統(tǒng)等,為智慧城市建設(shè)搭建高效可靠的承載平臺……
2009年,中國首臺千萬億次計(jì)算機(jī)“天河一號”研制成功,
運(yùn)行“核高基”專項(xiàng)支持研制的銀河麒麟操作系統(tǒng),名列當(dāng)年的國際超級計(jì)算機(jī)TOP 500排行榜世界第五位、亞洲第一位的排名,并使中國成為繼美國之后世界上第二個能夠研制千萬億次超級計(jì)算機(jī)的國家。
2010年時,我國研制的首臺千萬億次超級計(jì)算機(jī)“天河一號”曾在全球TOP 500超級大型計(jì)算機(jī)排行榜中排名第一,但在2011年時被日本最新研發(fā)的超級計(jì)算機(jī)“京”超越了。到了2012年,美國的“泰坦”又超越了日本的“京”。
“天河二號”由280人歷時兩年多研制完成,耗資約1億美元。研發(fā)耗資約1億美元,由國家科技部、廣東省人民政府、廣州市人民政府共同出資建設(shè)。
2013年下半年,它將在廣州超級計(jì)算中心投入運(yùn)行,其先導(dǎo)系統(tǒng)已開始為生物醫(yī)藥、新材料等領(lǐng)域用戶提供服務(wù)。
從2010年11月14日天河一號排名世界第一到2013年6月17日天河二號再登世界超算之巔,從天河一號4.7千萬億次到天河二號5.49億億次,從超級計(jì)算機(jī)由千萬億次級(1015)邁入億億次級(1016)計(jì)算速度,這是國防科技大學(xué)天河團(tuán)隊(duì)再次創(chuàng)造的“中國速度”。
目前,天河二號超級計(jì)算機(jī)在國家超算廣州中心已正式投入運(yùn)行,為120多家用戶提供了300多項(xiàng)典型應(yīng)用計(jì)算。同時,為用戶培訓(xùn)了一批超算應(yīng)用技術(shù)人才。
2015年5月,由北京師范大學(xué)、國防科技大學(xué)、加拿大理論天體物理研究所、北京大學(xué)、中科院高能物理研究所聯(lián)合組成的宇宙中微子數(shù)值模擬團(tuán)隊(duì),經(jīng)過一系列技術(shù)攻關(guān),在“天河二號”上成功進(jìn)行了3萬億粒子數(shù)中微子和暗物質(zhì)的宇宙學(xué)數(shù)值模擬,揭示了宇宙大爆炸1600萬年之后至今約137億年的漫長演化進(jìn)程。
2018年9月11日獲悉,國防科技大學(xué)吳俊杰團(tuán)隊(duì)與上海交通大學(xué)金賢敏合作,在國際上最先開啟了稱霸標(biāo)準(zhǔn)的研究,被稱為量子霸權(quán)。
2019年11月4日,國防科技大學(xué)計(jì)算機(jī)學(xué)院吳俊杰帶領(lǐng)的QUANTA團(tuán)隊(duì),聯(lián)合信息工程大學(xué)等國內(nèi)外科研機(jī)構(gòu),提出了量子計(jì)算模擬的新算法。該算法在“天河二號”超級計(jì)算機(jī)上的測試性能達(dá)到國際領(lǐng)先水平,谷歌的工作也引用了這項(xiàng)結(jié)果的預(yù)印版論文。當(dāng)?shù)貢r間4日,國際權(quán)威期刊《物理評論快報》正式在線發(fā)表了該成果。
目標(biāo)是到2020年,形成中國高端通用芯片和基礎(chǔ)軟件產(chǎn)品的自主研發(fā)與產(chǎn)業(yè)體系。面向3G移動通信網(wǎng)絡(luò)的智能手機(jī)嵌入式軟件平臺以及3G應(yīng)用網(wǎng)絡(luò)化運(yùn)行平臺的研發(fā)及產(chǎn)業(yè)化,"核高基"專項(xiàng)安排了"智能手機(jī)嵌入式軟件平臺研發(fā)及產(chǎn)業(yè)化"和"面向新型網(wǎng)絡(luò)應(yīng)用模式的網(wǎng)絡(luò)化操作系統(tǒng)"課題,已經(jīng)取得較大進(jìn)展。”
2013年,在德國萊比錫舉辦的2013年度全球超級計(jì)算機(jī)技術(shù)大會,負(fù)責(zé)調(diào)查有關(guān)全球各國研發(fā)大型超級計(jì)算機(jī)排行情況的國際大型超級計(jì)算機(jī)TOP500組織,公布了最新全球超級計(jì)算機(jī)TOP500強(qiáng)排行榜榜單;在本次大會上由中國政府國家科技部與中國國防科學(xué)技術(shù)大學(xué)共同研制的名為“天河二號(”又稱銀河2號)的大型超級計(jì)算機(jī)以每秒33.86千萬億次的浮點(diǎn)運(yùn)算速度成為全球最快的超級計(jì)算機(jī)。
2014年6月,由國防科技大學(xué)研制并落戶國家超級計(jì)算廣州中心的天河二號超級計(jì)算機(jī),23日再次榮登全球超級計(jì)算機(jī)500強(qiáng)排行榜榜首,獲得世界超算“三連冠”。天河二號超級計(jì)算機(jī)是國防科技大學(xué)承擔(dān)的國家“863”計(jì)劃和“核高基”國家科技重大專項(xiàng)項(xiàng)目。
2014年11月,在美國新奧爾良市召開的世界超級計(jì)算機(jī)大會上,天河二號在國際TOP500組織首次正式發(fā)布的超級計(jì)算機(jī)高性能測試排行榜上位居世界第一。此前,由該組織發(fā)布的第44屆世界超級計(jì)算機(jī)500強(qiáng)排行榜中,天河二號以峰值計(jì)算速度達(dá)每秒5.49億億次、持續(xù)計(jì)算速度達(dá)每秒3.39億億次位居榜首,獲得“四連冠”。
2015年7月13日,國際TOP500組織在德國舉行了2015年國際超級計(jì)算機(jī)大會,并在大會上發(fā)布全球超級計(jì)算機(jī)500強(qiáng)最新榜單,中國“天河二號”以每秒33.86千萬億次的浮點(diǎn)運(yùn)算速度第五次蟬聯(lián)冠軍,獲得“五連冠”。
2015年10月16日,新一期全球超級計(jì)算機(jī)500強(qiáng)榜單在美國公布,“天河二號”超級計(jì)算機(jī)以每秒33.86千萬億次連續(xù)第六度稱雄。
2016年6月20日,新一期全球超級計(jì)算機(jī)500強(qiáng)榜單公布,使用中國自主芯片制造的“神威太湖之光”取代“天河二號”登上榜首,中國超算上榜總數(shù)量也有史以來首次超過美國名列第一。
據(jù)國際TOP500組織當(dāng)天發(fā)布的榜單,“神威太湖之光”的浮點(diǎn)運(yùn)算速度為每秒9.3億億次,不僅速度比第二名“天河二號”快出近兩倍,其效率也提高3倍。更重要的是,與“天河二號”使用英特爾芯片不一樣,“神威太湖之光”使用的是中國自主知識產(chǎn)權(quán)的芯片。
2016年11月,新一期全球超級計(jì)算機(jī)500強(qiáng)(TOP500)榜單,“天河二號”依然以每秒33.86千萬億次的浮點(diǎn)運(yùn)算速度排名第二。
2017年6月19日,全球超級計(jì)算機(jī)500強(qiáng)榜單公布,“天河二號”以每秒3.39億億次的浮點(diǎn)運(yùn)算速度排名第二?
2017年11月13日,新一期全球超級計(jì)算機(jī)500強(qiáng)榜單發(fā)布,中國超級計(jì)算機(jī)“神威·太湖之光”和“天河二號”連續(xù)第四次分列冠亞軍,且中國超級計(jì)算機(jī)上榜總數(shù)又一次反超美國,奪得第一。此次中國“神威·太湖之光”和“天河二號”再次領(lǐng)跑,其浮點(diǎn)運(yùn)算速度分別為每秒9.3億億次和每秒3.39億億次。
2018年11月12日,新一期全球超級計(jì)算機(jī)500強(qiáng)榜單在美國達(dá)拉斯發(fā)布,中國超算“天河二號”位列第四名。
2019年11月18日,全球超級計(jì)算機(jī)500強(qiáng)榜單發(fā)布,中國超算“天河二號”排名第四位。
天河二號的實(shí)用性、效率難令人滿意。,2014年6月公布的世界超算500強(qiáng)天河二號計(jì)算效率為61.7%,效率排名第一的IBM nx360M4效率高達(dá)99.8%,速度排名第四的日本k計(jì)算機(jī)以93.2%效率排名效率第十八。
2015年4月9日,美國商務(wù)部發(fā)布報告,決定拒絕英特爾公司向中國的國家超級計(jì)算廣州中心出售至強(qiáng)芯片用于天河二號系統(tǒng)升級的申請。國家超級計(jì)算長沙中心、廣州中心、天津中心和國防科技大學(xué)四家國家超算中心被列入出口管制名單。
電機(jī)電子工程師學(xué)會認(rèn)為天河二號的落成以及重登TOP500第一“標(biāo)志著中國堅(jiān)定承諾將在超級電腦領(lǐng)域發(fā)起一輪軍備競賽”。目前,在總覽TOP500內(nèi)中華人民共和國擁有66組超級電腦,僅次于美利堅(jiān)合眾國的252組系統(tǒng)。
TOP500排行榜主要編撰人之一、美國田納西大學(xué)計(jì)算機(jī)學(xué)教授杰克·唐加拉對新華社記者說:“‘天河二號’是一個非常強(qiáng)大的計(jì)算系統(tǒng),它在第一名的位置上再占據(jù)一年時間,我也不會感到驚訝的。
世界上速度最快的超級計(jì)算機(jī):由中國國防科技大學(xué)研制的超級計(jì)算機(jī)“天河2號”是世界上速度最快的計(jì)算機(jī),在Linpack基準(zhǔn)上的運(yùn)算速度為每秒33.86千萬億次。(吉尼斯世界紀(jì)錄)