0 引言

　　 2020年全球信息与通信技术(ICT)行业的温室气体排放约占全球温室气体排放总量的3%～6%,预计2030年将达到全球温室气体排放总量的23%左右^[1]。ICT行业的能源消耗主要来自使用手机、计算机、电视等终端设备及网络设施和数据中心等，其中数据中心能耗最大。2019年我国数据中心年耗电量约为600亿～700亿kW·h, 占全社会用电量的0.8%～1.0%,预计2030年我国数据中心的总规模将是2019年的2～3倍，其耗电量将达到社会总用电量的1.5%～2.0%^[2],而数据中心的制冷空调系统用电量占整个数据中心的30%～50%^[3],按照《中国区域电网基准线排放因子》中的加权平均值(0.587 4～0.779 8)来计算^[4],数据中心制冷空调系统用电产生的碳排放量相当大，碳减排是实现碳中和的4种主要途径(碳替代、碳减排、碳封存及碳循环)之一^[5]。为了实现数据中心制冷空调系统的节能减排，业界在通道封闭^[6]、风墙^[7]及各类气流组织^[8]上，在热管^[9]、江湖水^[10]、乙二醇动态自然冷却^[11]、冷却塔^[12]、风冷冷水机组^[13]、制冷剂泵^[14]、间接蒸发冷却^[15]、转轮换热^[16]及新风直接自然冷却^[17]等制冷方式上做了大量的相关研究。液冷技术可以直接利用自然冷却，显著降低耗电量，有利于减少数据中心的碳排放。另外，云计算、大数据、5G网络建设带来了诸如5G交互式增强现实(AR)、天量的数据处理等高通量的计算业务，使得服务器芯片的散热受到严重挑战，芯片热封装壳温也在不断提高，达到了风冷散热的极限^[18]。而液体的比热容为空气的1 000～3 500 倍^[19,20],导热性能是空气的15～25倍^[21],所以对于更高热密度的散热，热容量更大、热传导更快的液冷就成了不二选择。随着国家^[22]及地方政策^[23,24,25]层面的推动，液冷技术在数据中心的应用也将取得长足的发展，开展数据中心液冷技术的应用研究具有重要意义，本文就液冷技术在数据中心的应用研究进行梳理。

1 数据中心液冷

　　 电子设备是指由集成电路、晶体管、电子管等电子元器件组成，应用电子技术软件发挥作用的设备。液冷技术是利用液体介质与热源直接或间接接触进行换热，再由冷却液体将热量传递出去的冷却技术。由于液体介质具有换热系数高、流动性好及稳定性高的特点，在电子设备冷却上得到了越来越多的应用。

1.1 电子设备液冷技术

　　 电子设备液冷技术有直接冷却和间接冷却，直接冷却有射流冲击、喷雾冷却及浸没等方式，间接冷却主要指宏观循环水冷及冷板式液冷^[26]。

　　 射流冲击是直接将液态工质喷射到换热表面上，从而实现良好散热效果的一种技术^[27]。喷射流体通常是利用压差作用，通过一定形状的孔(圆形、矩形、椭圆形等)或狭缝后具有较高的流速，对散热冷板表面进行高速冲击^[28]。按照换热过程中液态工质是否发生相变，射流冲击分为相变换热及单相换热。射流冲击相变换热不仅减薄了流动边界层的厚度，而且利用了汽化时的相变潜热，具有更好的对流换热效果^[29]。射流冲击主要应用于电力电子器件上，几乎没有在数据中心的实际应用案例。

　　 喷雾冷却利用喷嘴将液态工质雾化成微小液滴，喷射到换热表面并形成一层连续的冷却薄膜，随着液膜流动或冷却液体蒸发带走热量^[30]。喷雾冷却常被用于飞机和宇航系统的散热，用以降低灌封的流体质量，国外EA-6B电子干扰机的雷达采用了该冷却技术^[31],Cray X-I号超级计算机散热冷却中也曾尝试应用该技术^[32]。喷雾冷却用于服务器上仍需在密封性及材料相容性方面做进一步的研究，无其他数据中心采用喷雾液冷的相关报道。

　　 宏观循环水冷系统是将储液箱的冷却液送至与热源直接接触的冷板，吸收热量后进入散热器，散热后重新进入储液箱，从而形成一个完整的冷却循环。这种水冷系统结构简单，稳定可靠，在军事电子设备上具有广泛应用^[33,34]。但是该系统的散热效率有待提高，系统设备的尺寸需进一步优化，无数据中心应用案例。

1.2 数据中心液冷种类

　　 数据中心服务器是计算机的一种，它比普通计算机运行更快、负载更高。服务器在网络中为其他客户机提供计算或应用服务，通常由中央处理器(CPU)、硬盘、内存及系统、系统总线等组成，也属于电子设备的范畴。服务器按照其外形及应用环境一般可分为塔式服务器、机架式服务器、刀片式服务器及机柜式服务器^[35]。塔式服务器外形及结构与平时使用的立式个人计算机(PC)类似，其机箱较大，占用空间大。机架式服务器外观按照统一标准设计，配合机柜统一使用，高度以U为单位(1 U=44.45 mm),通常有1、2、3、4、5、7 U几种标准^[36]。作为服务器关键部件的CPU,随着性能的提升，功耗增加非常显著，例如英特尔上一代的Sandy Bridge功耗为135 W,最新一代的Skylake功耗达到了240 W^[37],按照高密度服务器1 U高度4块CPU计算，则1 U服务器的散热量可以达到960 W,常规42 U机柜的散热量高达40.3 kW。依据文献[38]统计，42 U机柜的散热量甚至达到了50.4 kW。刀片式服务器通过机箱集成电源和气流分配模块，一个机箱包含多个刀片式服务器以缩小空间需求，每个刀片即一块系统主板，集成度更高，比机架式服务器更节省空间^[36]。随着刀片式服务器性能的持续发展，最初一个刀片上只有2块CPU,现在一个刀片上仅图形处理器(GPU)就有8块，高性能计算服务器单机柜发热量将在3年内达到60～100 kW,在5年内达到100 kW以上^[39]。部分服务器内部结构复杂、设备较多，有的还具有许多不同的设备单元，或者几个服务器放在一个机柜中，这种服务器就是机柜式服务器，适用于快速一体化部署应用场景^[35]。

　　 20世纪90年代，集成电路发展至互补金属氧化物半导体(CMOS),导致电子器件的功率及封装密度飞速增加，CMOS的运算能力远超之前的双极晶体管，高功耗和高封装密度带来了前所未有的冷却需求^[40]。事实上，在此之前，行业实践已经发现液冷是满足多芯片模块飞速增长的冷却需求的合适技术。最早的CPU液冷散热器利用直径4 cm的铝制散热片，出现在20世纪80年代末90年代初^[41]。经过多年的探索及发展，目前实际应用于数据中心的液冷主要有2种方式：浸没式及冷板式。浸没式液冷将服务器里面所有硬件直接浸泡在工程液体中，依靠流动的工程液体吸收服务器的发热量。按照工程液体散热过程中是否发生相变，可以分为单相浸没式液冷及两相浸没式液冷^[42]。单相浸没式液冷如图1a所示，冷却液在散热中始终维持液态，不发生相变，低温的冷却液与发热电子元器件直接接触换热，温度升高后进入板式换热器，被室外侧冷却循环冷却后重新进入液冷槽冷却服务器。整个散热过程中冷却液无挥发流失，控制简单。两相浸没式液冷如图1b所示，浸泡在液冷槽冷却液中的服务器产生的热量使冷却液温度升高，当温度达到其沸点时，冷却液开始沸腾，同时产生大量气泡。气泡逃逸至液面上方，在液冷槽内形成气相区，气相区的冷却液被冷凝管冷却凝结成液体后返回液冷槽液相区。冷凝管中与冷却液换热后被加热的水由循环泵驱动进入室外散热设备进行散热，冷却后的水再次进入冷凝管进行循环。两相浸没式液冷的冷却液在散热过程中发生了相变，利用了冷却液的蒸发潜热，具有更高的传热效率，但是相变过程中存在压力波动，控制复杂。

　　 图1 数据中心浸没式液冷架构示意图

　　  

　　 近两年，国内某厂家提出了如图2所示的喷淋式液冷系统^[43],用低温冷却液直接喷淋芯片及发热单元，吸热后的高温冷却液换热后重新成为低温冷却液，再次循环进入服务器喷淋，过程中无相变，与单相浸没式液冷大致类似，其基本思想也是冷却液与服务器直接接触散热，差异之处在于加强了对流换热，将冷却液集中收集在储液箱中，液冷柜中的冷却液量较浸没式少。理论上循环散热过程中冷却液无相变，但是在喷淋过程中遇到高温的电子部件冷却液会出现飘逸，从而对机房及设备环境产生影响。

　　 图2 数据中心喷淋式液冷架构示意图

　　  

　　 注：CDU为冷却液分配装置(coolant distribution unit)。

　　 冷板式液冷的冷却液不与服务器元器件直接接触，而是通过冷板进行换热，所以称之为间接液冷^[38]。为了增大换热系数，目前绝大多数的服务器芯片采用微通道冷板。与浸没式类似，依据冷却液在冷板中是否发生相变，分为单相冷板式液冷及两相冷板式液冷。两相冷板式液冷利用液泵驱动液态冷媒进入冷板，吸热后蒸发成气态，再利用水冷冷凝器冷却成液态，并将热量排入冷却水系统，冷却后的冷媒进入集液器进行气液分离后进入过冷器过冷，以确保液泵吸入口为液态冷媒，然后液泵驱动冷媒反复循环^[44],也可以利用压缩机循环，从冷板蒸发出来的冷媒通过压缩机压缩后再进入水冷冷凝器冷却，通常将液泵及压缩机2套系统设计成互为备用^[45]。两相冷板式液冷系统复杂，而且在狭小的冷板中蒸发汽化会影响冷却液的流量稳定，引起系统的压力及温度波动，最终可能导致过热^[46]。两相冷板式液冷在数据中心的实际应用案例并不多见。

　　 单相冷板式液冷是采用泵驱动冷却液流过芯片背部的冷板通道，冷却液在通道内通过板壁与芯片进行换热，带走芯片的热量。换热后的冷却液在换热模块中散热冷却。由于冷板只集中冷却CPU、集成电路、随机存取存储器(RAM)及GPU等核心发热部件，服务器的其他电气元件仍需风冷散热。数据中心常用冷板式液冷的应用架构如图3所示。

　　 图3 数据中心冷板式液冷架构示意图

　　  

　　 热管技术利用热传导原理与相变介质的快速热传递性质，通过热管将发热物体的热量迅速传递到热源外。典型的热管由管壳、吸液芯和端盖组成，将管内抽成负压后充以适量的工作液体，使紧贴管内壁的吸液芯毛细多孔材料中充满液体后加以密封。当热管的一端受热时毛纫芯中的液体蒸发汽化，蒸汽在微小的压差下流向另一端放出热量凝结成液体，液体再沿多孔材料靠毛细力的作用流回蒸发段。热管在数据中心有不同的应用形式，用于冷水机组的有重力热管^[47]、气泵驱动复合热管^[48],空调末端有吊顶热管^[49]、背板式热管^[50]、环路热管机柜^[51]等形式。这些热管应用于主机冷源侧，末端房间级、通道级或机柜级的冷却，冷却液并未进入服务器内部，未涉及芯片液冷，不在本文讨论范围内。用于数据中心液冷的芯片热管如图4所示^[52],其芯片液冷热管散热器由热沉、热管及冷板组成，与单相冷板式液冷相比，冷却液与芯片的物理距离远一些，有利于抵御漏水风险^[53],但是冷却液与热管中的冷媒再进行一次换热，换热就必定存在损耗，同时用于服务器中的热管尺寸小，相关的性能如压降、质量流量及散热量需要进一步探索优化^[54]。若把热管散热器看成一个整体，也可以认为是冷板式液冷。

　　 图4 液冷芯片热管

　　  

　　 由于服务器需要完全浸泡在冷却液中，故浸没式液冷需要专门的液冷槽，无法利用常规服务器机柜，而且要求地板承重在1 000 kg/m²以上；喷淋式液冷需要与喷淋式服务器配套的机柜；而板式液冷仅需将服务器芯片的风冷热沉替换为散热冷板，主流服务器厂商均可提供与常规风冷服务器尺寸一致的机架式、刀片式冷板液冷服务器，故冷板式液冷可以利用常规风冷服务器的机柜，甚至同一机柜中既可布置风冷服务器，也可安装冷板式液冷服务器。所以浸没式及喷淋式液冷适用于结构承重经过特殊加固的新建项目，冷板式液冷既适用于新建项目，也适用于改造项目^[55]。根据相关资料，喷淋式液冷目前单机柜最大负载为48 kW^[56],冷板式及浸没式液冷均有单机柜高达200 kW的解决方案^[57,58]。

1.3 冷却液

　　 无论哪种液冷形式，最终都是通过室外侧的循环水将热量带走，水低于0 ℃将凝固结冰，所以为了防止系统结冰胀管，极端最低温度低于0 ℃的地区均需在冷源侧散热水循环系统中加入乙二醇防冻剂。不同液冷形式对于使用侧冷却液的要求并不相同，单相冷板式液冷通过冷却液在冷板内吸热降低芯片温度，不允许出现汽化现象，相对于普通的绝缘液体和制冷剂，由于水的高沸点及良好的传热性能，使其成为单相冷板式液冷的理想冷却媒介。考虑出厂运输过程及投入使用后间歇运行的极端天气状况，单相冷板式液冷系统厂商通常要求在使用侧采用预混合25%丙二醇(PG)的冷却液。2种常用防冻剂的主要热物性参数及不同质量浓度水溶液的凝固点如表1所示。

　　 表1 常用防冻剂的主要热物性参数及不同质量分数水溶液的凝固点^[59]

　　  

　　  

	沸点/	凝固点/	密度/	比热容/	不同质量分数水溶液的凝固点/℃
	℃	℃	(kg/m3)	(kJ/(kg·K))	20%	25%	30%	35%	40%	45%	50%	55%	60%
乙二醇	198	-12.7	1 113	2.347	-7.8	-10.7	-14.1	-17.9	-22.3	-27.5	-33.8	-41.1	-48.3
丙二醇	187		1 036	2.481	-7.1	-9.6	-12.7	-16.4	-21.1	-26.7	-33.5	-41.6	-51.1

 

　　 注：表中为标准大气压下的数据，密度及比热容为20 ℃时的数据。

　　  

　　 两相冷板式液冷使用侧为微型机械制冷循环，适用的低沸点绝缘制冷剂较多。业内学者利用R134a^[60]、R236fa^[61]、R245fa^[62]及R407C^[63]等制冷剂进行了大量的两相冷板散热实验研究，得到了两相冷板式液冷的相关性能参数。表2汇总了部分适用于两相冷板式液冷的制冷剂的热物性参数。

　　 表2 部分两相冷板式液冷制冷剂的热物性参数

　　  

　　  

冷却液	沸点/ ℃	凝固点/ ℃	液相密度/ (kg/m3)	液相运动黏度/ (mm2/s)	液相动力黏度/ (10-3 Pa·s)	蒸发潜热/ (kJ/kg)	液相导热系数/ (W/(m·K))	液相比热容/ (kJ/(kg·K))	表面张力/ (10-3 N/m)
R134a	-26.0	-103.3	1 225	0.169 2	0.207 4	182	0.083 3	1.40	8.7
R236fa	-1.4	-93.6	1 376	0.220 4	0.303 5	148	0.074 3	1.23	10.2
R245fa	15.1	<-160	1 352	0.317 7	0.429 5	194	0.089 8	1.30	14.3
R407C	-43.6		1 159	0.141 7	0.164 2	195	0.086 4	1.51	7.2

 

　　 注：表中为标准大气压下20 ℃时的数值；参数来源于REFPROP软件。

　　  

　　 热管冷板式液冷冷板内实际上为朗肯制冷循环，热管内的工质需要考虑工作温度、传热性能及该工质与管壁、吸液芯的兼容性。甲醇^[64]、氨^[65]、丙酮^[66]及乙醇^[67]等都是合适的热管工质；制冷剂R141b^[64]、R123^[68]及R134a^[69]在热管冷板中也有良好的散热性能；事实上，水也是良好的热管工质^[52]。表3给出了部分热管冷板式液冷热管工质的热物性参数。

　　 表3 部分热管冷板式液冷热管工质的热物性参数

　　  

　　  

冷却液	沸点/ ℃	凝固点/ ℃	液相密度/ (kg/m3)	液相运动黏度/ (mm2/s)	液相动力黏度/ (10-3 Pa·s)	蒸发潜热/ (kJ/kg)	液相导热系数/ (W/(m·K))	液相比热容/ (kJ/(kg·K))	表面张力/ (10-3 N/m)
甲醇	64.5	-97.8	791	0.739 6	0.585 0	1 177	0.201 1	2.50	22.6
氨	-33.3	-77.7	610	0.219 1	0.133 7	1 186	0.481 0	4.74	21.7
丙酮	56.1	-94.6	790	0.419 0	0.331 1	539	0.155 5	2.13	23.3
乙醇	78.3	-114.0	789	1.511 5	1.193 1	926	0.164 4	2.40	22.4
R141b	32.1		1 243	0.347 8	0.432 5	228	0.092 0	1.15	18.8
R123	27.6	-107.2	1 477	0.299 7	0.442 6	173	0.077 9	1.01	15.8

 

　　 注：表中为标准大气压下20 ℃时的数值；参数来源于REFPROP软件。

　　  

　　 由于浸没式液冷系统的冷却液直接和电子器件接触，必须确保冷却液与电子器件的绝缘。同时，良好的热物理性能、化学及热稳定性、无腐蚀且环境友好也是该类冷却液非常重要的特性。两相浸没式液冷系统的冷却液需要合适的沸点、较窄的沸程范围及高汽化潜热。硅酸酯类、芳香族物质、有机硅、脂肪族化合物及氟碳化合物等都被尝试应用于两相浸没式液冷。由于氟碳类化合物具有更优的综合性能，是目前常见的电子设备液体冷却剂^[70]。单相液冷需要高沸点，矿物油可作为单相浸没式液冷的冷却液^[71]。实验证实，具有全氟碳结构的氟化液是良好的单相浸没式液冷冷却液。表4汇总了数据中心浸没式液冷系统部分常用冷却液的主要物性参数。表中并没有将喷淋式液冷冷却液单独列出，如前所述，喷淋式液冷可认为是一种特殊的单相浸没式液冷，故理论上单相浸没式液冷冷却液均可采用。当然，无论是用于冷板式还是浸没式液冷的冷却液，除了关注热物性参数外，还应考虑环保评价参数如臭氧消耗潜能(ODP)及全球变暖潜能(GWP),根据相关政策依法依规选用。

2 冷却温度

　　 表4 数据中心浸没式液冷部分适用冷却液的主要物性参数

　　  

　　  

	冷却液	沸点/ ℃	凝固点/ ℃	摩尔质量/ (g/mol)	液相密度/ (kg/m3)	液相运动黏度/ (mm2/s)	液相动力黏度/ (10-3 Pa·s)	蒸发潜热/ (kJ/kg)	液相比热容/ (kJ/(kg·K))	表面张力/ (10-3 N/m)	介电 常数	参考 文献
单相浸没式	HFE7300	98	-38	350	1 660	0.71	1.18	102	1.14	15.0	6.1	[72]
	HFE7500	128	-100	414	1 614	0.77	1.24	89	1.13	16.2	5.8	[72]
	HFE7700	167	-50	528	1 797	2.52	4.54	83	1.04	18.0	6.7	[72]
	FC-3283	128	-65	521	1 820	0.75	1.40	78	1.10	15.0	1.9	[73]
	FC-40	165	-57	650	1 855	2.20	4.10	68	1.10	16.0	1.9	[73]
	Noah3000	110～120		450	1 830	1.32		82	1.01	15.0		[70]
	矿物油				849.3	12.30			1.67			[71]
两相浸没式	HFE7000	34	-122	200	1 400	0.32	0.45	142	1.30	12.4	7.4	[72]
	HFE7100	61	-135	250	1 510	0.38	0.58	112	1.18	13.6	7.4	[72]
	HFE7200	76	-138	264	1 420	0.41	0.58	119	1.22	13.6	7.3	[72]
	FC-3284	50	-73	299	1 710	0.42	0.71	105	1.10	13.0	1.9	[73]
	FC-72	56	-90	338	1 680	0.38	0.64	88	1.10	10.0	1.8	[73]
	Noah2000	47	-80	300	1 620	0.37		97	1.28	11.0	1.9	[70]
	Novec649	49	-108	316	1 600	0.40	0.64	88	1.103	10.8	1.8	[74]

 

　　 注：引用文献[71]的黏度为40 ℃的参数，引用文献[72-74]中的参数均为25 ℃的数值。

　　  

　　 提高冷却温度，降低冷却系统的能耗是数据中心利用液冷的主要目的之一。大量实验研究表明，虽然液冷方式各不相同，但由于冷却液均更接近发热源，绝大部分液冷服务器的冷却液进口温度高于常规风冷服务器数据中心的供水温度，部分液冷服务器实验冷却液进口温度统计见表5。可以看出，除两相冷板式液冷外，其余液冷服务器实验的供液温度均高于30 ℃,部分实验的冷却液进口温度甚至高达60 ℃。

　　 表5 部分液冷服务器实验冷却液进口温度

　　  

　　  

研究人员	液冷方式	冷却液	进口 温度/℃
Wu等人[75]	冷板式(两相)	水/R134a(蒸发工质)	14
Marcinichen等人[76]	冷板式(两相)	水/R134a(蒸发工质)	18.23
Iyengar等人[77]	冷板式(单相)	水	45.2
Zimmermann等人[19]	冷板式(单相)	水	60
Carbó等人[78]	冷板式(单相)	水	40
高益兵等人[79]	冷板式(单相)	水	35
Lamaison等人[54]	冷板式(热管)	水/R134a(热管工质)	40
沈晶晶[69]	冷板式(热管)	水/R134a(热管工质)	40
杜雪涛[52]	冷板式(热管)	水/水(热管工质)	35
侯晓雯等人[53]	冷板式(热管)	水/-(热管工质)	40
Levin等人[80]	浸没式(单相)	MD-4.5	30
Chi等人[81]	浸没式(单相)	氟化液	33
Matsuoka等人[82]	浸没式(单相)	FC3283	33
Kanbur等人[83]	浸没式(两相)	水/HFE-7100(蒸发工质)	31.8
Tuma[84]	浸没式(两相)	水/Novec 774(蒸发工质)	62

 

　　  

　　  

　　 表6汇总了部分实际液冷项目的冷却液进(出)口温度。可以看出，不同项目冷源侧及使用侧的温差各不相同；另外，尽管数据中心液冷的理论进口温度高，但无论是在有关云计算、超算还是有关模拟器的具体项目上，为了确保服务器芯片工作温度距离极限温度有足够余量，冷源侧的供液温度通常不超过45 ℃^[85]。当然，实际运用过程中，可依据配置服务器的实际性能对系统冷却液进口温度作进一步调整，依据相关报道，德国慕尼黑莱布尼茨超算中心实际运行的冷源侧供液温度达到50 ℃^[86]。

　　 尽管液冷冷却液与电子元器件的温差可以远小于风冷散热，15 ℃温差即可满足散热需求^[19],但并不意味着可以一味提高进口温度。研究表明，冷却液进口温度升高，通信线路中的电阻和微处理器中的泄漏电流将增加，服务器的功耗随着冷却液进口温度升高而增加^[19,78]。文献[19]研究发现，冷却液的进口温度从30 ℃提升至60 ℃,服务器的功耗增加7%;Shoukourian等人对超算服务器进行测试，得到如图5所示的服务器节点功率与冷却液进口温度曲线图^[87]。尽管单个服务器节点的功率增加不大，但是中大型数据中心服务器节点数量多，全部节点增加的能耗也相当可观。

　　 提高冷源侧散热温度有利于扩大室外自然冷却温度范围，降低散热风机的功耗；增大换热温差、提高冷却液的进口温度有助于实现系统循环泵的节能。另一方面，提高冷却液的进口温度会增加服务器的运行功耗。所以在具体项目上，应合理设计服务器冷却液进口温度，进一步探讨冷源侧及使用侧的最优温差分布，以实现服务器及其散热系统的整体性能处于最佳状态。

3 节能效率

　　 表6 部分液冷项目冷却液进(出)口温度

　　  

　　  

项目地点	用途	液冷方式	散热量/kW	室外冷源侧供/回水(液)温度/℃	使用侧供/回水(液)温度/℃	文献
广州	云计算	冷板式	44.1	30/35	40/45	[88]
北京	云计算	冷板式	364	34/39	45/60	[89]
哥本哈根	超算	冷板式		40/-		①
波兹南	超算	冷板式		40/-		②
帕洛阿尔托	模拟器	冷板式	80	45/-		③
慕尼黑	超算	冷板式		45/-		[87]
北京	超算	冷板式		38/-		[90]
北京	超算	浸没式及冷板式	25 714	35/43		[91]
维也纳	超算	浸没式	540	43/-		④
东京	超算	浸没式	28.9	25/35	35/45	[92]

 

　　  

　　  

　　 图5 服务器节点功率与冷却液进口温度曲线图

　　  

　　 数据中心液冷系统的进口温度高，可以充分利用自然冷却，整套系统只有循环泵及室外散热风机的功耗，具有良好的节能效果。电能使用效率PUE(power usage effectiveness)是数据中心能效的指标，该数值定义为数据中心消耗的所有能源与IT负载消耗能源的比值^[93]。其值大于1,越接近1表明非IT设备耗能越少，即能效水平越好。而部分电能使用效率pPUE(partial power usage effectiveness)是某子系统内数据中心总能耗与IT设备总能耗之比^[94],不需要考虑数据中心其他子系统的性能，可以直观体现该子系统的节能情况。

　　 文献[55]按照全部风冷服务器、50%风冷与50%冷板式液冷服务器混搭及全部冷板式液冷服务器对某数据中心进行分析，发现3种不同方案的pPUE分别为1.39、1.29及1.18,若对原有机房改造，将风冷服务器改成液冷服务器，保持原风冷空调辅助散热，则散热系统的pPUE将低至1.13,所以无论是新建数据中心还是改造原有机房，采用冷板式液冷都将大幅降低制冷功耗。

　　 肖新文建立了冷板式液冷数据中心的能耗模型，对分布在我国不同热工区属的36个城市的液冷数据中心进行了节能分析，计算发现所有城市的pPUE均低于1.13,冷板式液冷系统在我国各地均具有显著节能潜力，同时指出降低液冷服务器的风冷辅助散热比例、提高风冷辅助散热系统的能效将进一步降低整体散热系统的pPUE^[95]。

　　 为了提高风冷辅助散热系统的性能，文献[21]提出了将冷板式液冷与动态自然冷却空调系统相结合的散热方案，该散热方案的计算pPUE可低至1.09。

　　 Chi等人实测了浸没式液冷原型机柜的性能参数，并假设IT负载满载运行的前提下，利用实验得到的相关参数对散热量为250 kW的数据中心进行了计算分析，结果发现该浸没式液冷数据中心的pPUE为1.14^[81]。

　　 严逊等人搭建了浸没式液冷实验台，利用假负载测试得到不同室外温度、不同负载功率下的pPUE在1.05～1.28之间，同时发现pPUE随着负载上升而降低^[96]。

　　 表7汇总了部分液冷项目的电能使用效率。可以看出，无论项目的规模大小、项目所处的纬度及气候区，液冷均可以明显降低数据中心的PUE,几乎所有项目的PUE都低于1.2;浸没式及喷淋式液冷不需要风冷辅助散热，具有更低的PUE^[38],大部分实际项目的PUE均低于1.1。另一个值得关注的是大部分项目是在满负载下的实测/计算PUE,Kanbur等人则做了部分负载下的测试，发现当负载降至37%(由9.17 kW降至3.4 kW)时，PUE由1.15显著提高至1.4^[83],变化趋势与文献[96]一致。室外散热设备及循坏泵通常按照设计流量及工况选型，部分负载下的性能表现有待提高。

　　 表7 部分液冷项目电能使用效率

　　  

　　  

项目地点	纬度	气候	液冷方式	液冷散热量/kW	研究方式	PUE	文献
瑞士苏黎世	47°22′N	温带海洋性	冷板式	7	实测	1.15	[19]
中国呼和浩特	40°82′N	中温带大陆性季风	冷板式	5.4	实测/计算	1.05～1.09	[53]
中国大连	38°90′N	暖温带半湿润大陆性季风	冷板式	5	实测	1.05～1.09	[69]
西班牙巴塞罗那	41°23′N	地中海气候	冷板式	94.4	模拟计算	1.10～1.21	[85]
中国北京	39°80′N	暖温带半湿润半干旱季风	冷板式	532	设计计算	<1.20	[89]
中国北京	39°80′N	暖温带半湿润半干旱季风	冷板式		实测	1.10	[90]
中国广州	23°17′N	海洋性亚热带季风	冷板式	60	实测/计算	1.10～1.20	[97]
韩国首尔	37°33′N	温带季风	冷板式	6 272	模拟计算	1.07	[98]
中国上海	31°40′N	亚热带季风	喷淋式	216	实测/计算	1.05～1.10	[90]
日本大阪	34°4′N	亚热带季风	浸没式	7	实测	1.04	[82]
新加坡	1°18′N	热带雨林	浸没式	9.17	实测	1.15～1.40	[83]
中国北京	39°80′N	暖温带半湿润半干旱季风	浸没式	38.8	实测	1.10	[90]
日本东京	35°69′N	亚热带海洋性季风	浸没式	28.9	实测	1.09	[92]
中国杭州	30°23′N	亚热带季风	浸没式		设计计算	1.09	[99]
中国上海	31°40′N	亚热带季风	浸没式	249	实测	1.04	[100]
中国张北	41°15′N	中温带大陆性季风	浸没式	2 000	实测	1.07	[101]
奥地利维也纳	48°12′N	温带海洋性	浸没式	540	实测	1.02～1.03	①
法国沙特尔	48°26′N	温带海洋性	浸没式		实测	1.03～1.04	[102]
美国奥格登	41°13′N	温带大陆性	浸没式	25.7	实测	1.037	②

 

　　  

　　  

4 热回收性能

　　 数据中心发热量大，若直接冷却排入大气，不仅造成能源浪费，也会造成全球气候变暖。合理回收余热有利于降低数据中心碳足迹，数据中心热回收利用方式有区域供热、直接发电、间接发电、吸收式制冷、海水淡化及生化质能提炼等^[103]。

　　 风冷服务器数据中心的废热温度区间通常在25～35 ℃,而液冷系统可在靠近CPU等集中发热的部位捕获热量，这些部件的工作温度较高，CPU的工作温度上限通常为85 ℃^[104,105],即使冷却液冷却温度高达60 ℃,仍能保持部件温度低于极限温度。液冷系统可以在40～60 ℃温度下利用废热，此温度区间的余热回收品位更高。

　　 为了确定采用的热回收技术及应用策略，Zimmermann等人通过分析，引入了基于电力和矿物燃料成本、热回收效率和特定应用效用函数的余热回收经济价值指标——热经济价值(V_H),其计算式如式(1)所示^[106]。

　　 VH=UCffCelη1st         (1)VΗ=UCffCelη1st         (1)

　　 式中 U为应用效用函数，不同的热回收应用值不同；C_ff为燃烧化石燃料产生1 kW·h热量的成本；C_el为1 kW·h的电力成本；η_1st为热回收效率。

　　 由式(1)可以看出，回收热量的应用经济价值是由使用电力和化石燃料的成本确定的，不同国家及地区的数值并不一致；而热量则是数据中心运行温度的函数，取决于热回收效率；热量的实际价值应根据所选的热回收应用方式进行评估，不同应用方式的应用效用函数不同。设定Sigmoid函数在特定的温度范围内从0变为1,然后保持不变，与热水供暖特性相符，可用于数据中心余热回收供暖热经济价值的效用函数。

　　 文献[106]按照欧洲平均电力及化石燃料成本计算得到了如图6所示分别基于石油及天然气的热经济价值曲线。同时，将以卡诺效率因子作为单位热量标准量的热力学价值及基于朗肯循环(效率为50%)的发电价值曲线也绘制在该图中。由图6可见，回收数据中心余热供暖，可直接利用热量，而无需转换为机械功，经济价值高于其热力学价值。

　　 图6 热经济价值曲线

　　  

　　 Davies等人对采用风冷、液冷+风冷及全液冷等不同冷却散热系统的样本数据中心进行热回收效益分析，发现利用热泵回收3.5 MW全液冷数据中心的余热作为区域供热的热源可以每年减排二氧化碳4 102 t^[107]。

　　 文献[108]建立了利用全热回收冷水机组回收位于上海的某冷板式液冷数据中心的余热作为区域供热热源的方案模型，对该样本进行效益分析后发现，每个供暖季可节省标准煤约3 657 t, 而且液冷系统水温高，热回收耗电效率是风冷散热的2.78倍，热回收效益大。

　　 绿色网格组织(TGG)及ISO提出采用能源重复利用系数ERF(energy reuse factor)来量化数据中心消耗能源的再利用情况，可用于评价数据中心的余热回收性能，如式(2)所示。

　　 ERF=EreEDC         (2)ERF=EreEDC         (2)

　　 式中 E_re为回收重复使用的能源；E_DC为数据中心消耗的所有能源，不仅包括IT设备消耗的能源，也包括数据中心辅助设施如冷却散热、照明及配电等系统的所有耗能。

　　 由式(2)可知，ERF越大，表明热回收重复利用的能源越多。

　　 Oró等人提出回收冷板式液冷数据中心的余热用于泳池加热，利用TRNSYS软件对全部液冷服务器并联、每2台液冷服务器串联、每3台液冷服务器串联及每4台液冷服务器串联4种不同的连接方式进行热回收效益分析，得到如图7所示的热回收性能^[85]。可以看出，4台服务器串联的方式具有更优的热回收性能，ERF超过0.45,冷却液与服务器芯片充分换热，冷却液温度越高越有利于回收更多余热。

　　 图7 不同应用连接方式的年能耗、热回收量及能源重复利用系数

　　  

　　 再生能源利用效率ERE(energy reuse effectiveness)是另一个用于评估余热回收的性能指标，其计算式为^[109]

　　 ERE=Ec+Ep+El+EIT−EreEIT         (3)ERE=Ec+Ep+El+EΙΤ-EreEΙΤ         (3)

　　 式中 E_c为数据中心制冷消耗的能源；E_p为数据中心配电消耗的能源；E_l为数据中心照明消耗的能源；E_IT为数据中心IT设备消耗的能源。

　　 其中E_c、E_p、E_l及E_IT合计为数据中心消耗的所有能源E_DC,故ERE与ERF及PUE的相互关系可以表示为^[109]

　　 ERE=(1−ERF)PUE         (4)ERE=(1-ERF)ΡUE         (4)

　　 由式(4)可以看出，若数据中心无热回收等再生能源，即ERF为0,则ERE的数值与PUE一致，ERE越高，表明再生能源利用效率越低。

　　 尽管冷却液温度越高越易于热回收，但冷却液温度升高，服务器的功耗会随之增加，从而影响实际运行PUE。Zimmermann等人通过能效理论分析，得到了如图8所示的ERE与冷却液进口温度曲线^[19]。可以看出，冷却液进口温度越高，理论再生能源利用效率反而越低，由于理论分析将数据中心绝热一并考虑在内，当冷却液温度升高时，数据中心与周围环境的温差增大，散热量大，热回收效率反而降低，因而ERE增大。故数据中心余热回收同样需要统筹兼顾液冷温度、PUE及ERE。

　　 图8 再生能源利用效率与冷却液进口温度曲线

　　  

5 结论与展望

　　 本文综述了数据中心液冷技术在冷却温度、节能效率及热回收性能三方面的应用研究进展，可以得出如下结论：

　　 1) 液冷冷却温度高，理论冷却液进口温度可高达60 ℃,无论应用于云计算、超算还是模拟器，实际项目中设计冷却液进口温度通常不超过45 ℃,可充分利用自然冷却，实际运行供液温度可作进一步调整。

　　 2) 液冷可以明显降低数据中心的PUE,无论项目的规模大小、所处的纬度及气候区，几乎都可以将PUE控制在1.2以内，浸没式液冷具有更低的PUE,大部分浸没式液冷项目的PUE不超过1.1。

　　 3) 余热回收将是数据中心液冷的又一应用趋势，相较于风冷散热，液冷系统可以在更高的温度区间进行余热回收，具有更优的热回收性能，且热回收供暖的经济价值远高于其热力学价值。

　　 尽管电子设备的液冷技术研究已经开展了几十年，但是数据中心液冷技术的应用时间并不长，尚未展开大规模的应用。冷板式液冷利用其在超算及模拟器上长期积累的项目经验，正逐步向云计算数据中心推进；而浸没式液冷近几年才开展数据中心的应用，尤其是喷淋式液冷目前仅有零星展示实验项目。数据中心液冷技术的应用发展需要持续不断地探索实践，仍然存在诸多问题和挑战需要应对，以下将是未来数据中心液冷应用研究的发展方向：

　　 1) 冷板式液冷仍需要部分风冷辅助散热，扩大冷板散热的冷却范围，降低风冷散热的比例；结合高效风冷散热系统，进一步降低冷板式液冷数据中心的散热pPUE需要持续研究与实践。浸没式液冷需要进一步提高系统稳定性、维护便利性，优化承重荷载，降低初投资。而喷淋式液冷则需要提高单机柜散热能力，解决冷却液散逸问题，进一步优化系统，提高系统成熟度，同浸没式液冷一致，冷却液与服务器部件的兼容性需要持续验证。

　　 2) 提高液冷散热温度有利于增加全年自然冷却时间，降低室外散热设备的风机运行功耗；加大换热温差，可降低冷却液流量，从而进一步实现系统循环泵的节能。但过高的冷却液进口温度会增加服务器的运行功耗。合理设计服务器冷却液进口温度、科学分配散热温差、实现服务器及其散热系统的节能最大化将是后续液冷应用研究的重要方向。

　　 3) 液冷系统通常按照满负载工况设计，合理配置系统设备、加强运维过程调适、提高部分负载下液冷系统的节能性有待进一步研究。

　　 4) 冷却液温度越高越易于热回收，但冷却液温度升高，服务器的无用功耗也会随之增加，继而影响实际运行PUE,而且理论再生能源利用效率也会降低。故进一步深入研究冷却温度、节能效率及热回收性能三者之间的最佳耦合关系具有较好的指导意义。

　　 随着应用研究的持续深入和工程实践经验的不断积累，数据中心液冷技术在高性能、高密度、节能减排、余热回收上的优势会愈发凸显，必将为数据中心行业碳中和贡献更大力量，取得新的更大发展。

　　

参考文献

　　 [1] 王元丰．实现碳中和，别忽视互联网企业[N]．环球时报，2021-02-22(15）．

　　 [2] 郭丰，王娟．中国绿色数据中心发展报告（2020)[R]．北京：中国电子学会，2020:10-11．

　　 [3] ZHANG H,SHAO S,XU H,et al.Free cooling of data centers:a review[J].Renewable and sustainable energy reviews,2014,35:171-182．

　　 [4] 李勇．能耗指标与数据中心的关系研究[J]．南方能源建设，2020,7(3):23-27．

　　 [5] 邹才能，熊波，薛华庆，等．新能源在碳中和中的地位与作用[J]．石油勘探与开发，2021,48(2):1-9．

　　 [6] ZHANG M,AN Q,LONG Z,et al.Optimization of airflow organization for a small-scale date center based on the cold aisle closure[J].Procedia engineering,2017,205:1893-1900．

　　 [7] 肖新文，魏赠，曾春利．间接蒸发冷却空调箱机组制冷的数据中心气流组织探讨[J]．制冷与空调（四川），2020,34(1):62-69．

　　 [8] CHU W X,WANG C C.A review on airflow management in data centers[J].Applied energy,2019,240:84-119．

　　 [9] HE Z,XI H,DING T,et al.Energy efficiency optimization of an integrated heat pipe cooling system in data center based on genetic algorithm[J].Applied thermal engineering,2021,182:115800．

　　 [10] LING L,ZHANG Q,ZENG L.Performance and energy efficiency analysis of data center cooling plant by using lake water source[J].Procedia engineering,2017,205:3096-3103．

　　 [11] 肖新文．数据中心动态自然冷却空调系统及其应用[J]．建筑节能，2019,47(1):39-44．

　　 [12] DONG K,LI P,HUANG Z,et al.Research on free cooling of data centers by using indirect cooling of open cooling tower[J].Procedia engineering,2017,205:2831-2838．

　　 [13] 肖新文，曾春利，邝旻．数据中心用风冷冷水机组技术研究及应用进展[J]．制冷技术，2018,38(4):48-58．

　　 [14] DONG J,LIN Y,DENG S,et al.Experimental investigation of an integrated cooling system driven by both liquid refrigerant pump and vapor compressor[J].Energy and buildings,2017,154:560-568．

　　 [15] 肖新文．间接蒸发冷却空调机组应用于数据中心的节能分析[J]．暖通空调，2019,49(3):67-71．

　　 [16] ZHANG Y,WEI Z,ZHANG M.Free cooling technologies for data centers:energy saving mechanism and applications[J].Energy procedia,2017,143:410-415．

　　 [17] 肖新文．新风直接冷却空调箱应用于数据中心的节能分析[J]．暖通空调，2021,51(1):70-75．

　　 [18] 孙志刚，秦振．中兴未来电信IT设备应对5G时代巨通量计算[N]．通讯产业报，2018-03-19(18）．

　　 [19] ZIMMERMANN S,MEIJER I,TIWARI M K,et al.Aquasar:a hot water cooled data center with direct energy reuse[J].Energy,2012,43(1):237-245．

　　 [20] HAYWOOD A M,SHERBECK J,PHELAN P,et al.The relationship among CPU utilization,temperature,and thermal power for waste heat utilization[J].Energy conversion and management,2015,95:297-303．

　　 [21] 肖新文．液冷与动态自然冷却的综合运用技术探讨[J]．制冷与空调（四川），2018,32(6):636-642．

　　 [22] 工业和信息化部，国家机关事务管理局，国家能源局．关于加强绿色数据中心建设的指导意见[EB/OL].(2019-02-14)[2021-04-22].http：∥www.gov.cn/xinwen/2019-02/14/content_5365516.htm．

　　 [23] 上海市经济和信息化委员会．上海市经济信息化委关于印发《上海市数据中心建设导则（2021版）》的通知[EB/OL].(2021-04-08)[2021-04-22].http：∥app.sheitc.sh.gov.cn/xxfw/688540.htm．

　　 [24] 杭州市发展和改革委员会．关于数据中心建设有关事项的通知[EB/OL].(2020-08-04)[2021-04-22].http：∥www.hangzhou.gov.cn/art/2020/8/4/art_1684085_7022.html．

　　 [25] 北京市经济和信息化局．关于《北京市数据中心统筹发展实施方案（2021-2023年）》（征求意见稿）公开征求意见的公告[EB/OL].(2021-01-21)[2021-04-22].http：∥www.beijing.gov.cn/hudong/gfxwjzj/zjxx/202101/t20210121_2228741.html．

　　 [26] 雷俊禧，朱冬生，王长宏，等．电子芯片液体冷却技术研究进展[J]．科学技术与工程，2008,8(15):4258-4263,4269．

　　 [27] 刘宁，郭振铎，路向阳，等．高热流密度芯片冷却的冷板设计[J]．低温与超导，2016,44(8):79-83．

　　 [28] 张忠江，夏国栋，马晓雁，等．高效微射流阵列冷却热沉传热特性[J]．工程热物理学报，2007,28(3):448-450．

　　 [29] 姚磊，吴辉，冯钊赞，等．基于冲击相变技术的IGCT冷板研究[J]．真空与低温，2021,27(2):152-158．

　　 [30] 季爱林，钟剑锋，帅立国．大热流密度电子设备的散热方法[J]．电子机械工程，2013,29(6):30-35．

　　 [31] 刘永，陈德祥，陈恩．舰船电子设备冷却技术研究[J]．制冷，2018,37(4):14-18．

　　 [32] KIM J.Spray cooling heat transfer:the state of the art[J].International journal of heat and fluid flow,2007,28(4):753-767．

　　 [33] 解金华，邹吾松．某机载S形深孔液冷板优化设计[J]．电子机械工程，2014,30(4):1-4．

　　 [34] 王建峰．大型地面固定式相控阵雷达液冷系统设计及实现[J]．电子机械工程，2016,32(2):17-19．

　　 [35] 数据中心运营管理．服务器概念、组成、分类和架构之争[EB/OL].(2020-06-19)[2021-07-24].https：∥www.sohu.com/a/402956924_470046．

　　 [36] 刘圣春，刘章，何为，等．数据中心刀片式服务器不同冷却方式的模拟对比[J]．制冷学报，2019,40(5):90-95．

　　 [37] 郭亮，李洁．液冷：数据中心制冷变革大幕开启[N]．人民邮电，2018 03-15(7）．

　　 [38] KHEIRABADI A C,GROULX D.Cooling of server electronics:a design review of existing technology[J].Applied thermal engineering,2016,105:622-638．

　　 [39] ROSS S.Direct liquid cooling has a long history,and has made a big impact on data centers and in HPC[EB/OL].(2021-04-06)[2021-07-24].https：∥www.datacenterdynamics.com/en/opinions/20-years-of-liquid-cooling/．

　　 [40] ELLSWORTH M J,CAMPBELL L A,SIMONS RE,et al.The evolution of water cooling for IBMlarge server systems:back to the future[C]∥200811th Intersociety Conference on Thermal and Thermomechanical Phenomena in Electronic Systems.California,2008:266 274．

　　 [41] 郑周，叶晓江，侯志坚，等．碳纳米管纳米流体对液冷式CPU换热性能的改善[J]．武汉工程大学学报，2016,38(6):594-598．

　　 [42] 明哲工作室．图解液冷技术[EB/OL].(2019-07-18)[2021-04-22].http：∥www.360doc.com/content/19/0718/23/61974897_849654820.shtml．

　　 [43] 潘洋洋，向军，肖玮．基于喷淋液冷系统的数据中心节能降耗研究[J]．通信电源技术，2019,36（增刊1):192-194．

　　 [44] MARCINICHEN J B,THOME J R,MICHEL B.Cooling of microprocessors with micro-evaporation:a novel two-phase cooling cycle[J].International journal of refrigeration,2010,33(7):1264-1276．

　　 [45] MARCINICHEN J B,OLIVIER J A,THOME J R.On-chip two-phase cooling of datacenters:cooling system and energy recovery evaluation[J].Applied thermal engineering,2012,41:36-51．

　　 [46] KHALAJ A H,HALGAMUGE S K.A review on efficient thermal management of air-and liquid-cooled data centers:from chip to the cooling system[J].Applied energy,2017,205:1165-1188．

　　 [47] 董静．“自然冷却”空调制冷系统在建筑节能中的应用[J]．建筑科学，2004,20(4):58-60．

　　 [48] SUN Y,WANG T,YANG L,et al.Research of an integrated cooling system consisted of compression refrigeration and pump-driven heat pipe for data centers[J].Energy and buildings,2019,187:16-23．

　　 [49] NADJAHI C,LOUAHLIA H,LEMASSON S.Areview of thermal management and innovative cooling strategies for data center[J].Sustainable computing:informatics and systems,2018,19:14-28．

　　 [50] DING T,HE Z G,HAO T,et al.Application of separated heat pipe system in data center cooling[J].Applied thermal engineering,2016,109(part A):207-216．

　　 [51] TIAN H,HE Z,LI Z.A combined cooling solution for high heat density data centers using multi-stage heat pipe loops[J].Energy and buildings,2015,94:177-188．

　　 [52] 杜雪涛．水冷型热管散热系统在数据中心的应用研究[D]．广州：华南理工大学，2016:18,23,71-75．

　　 [53] 侯晓雯，杨培燕，刘天伟．液冷服务器在数据中心的研究与应用[J]．信息通信，2019(9):48-51．

　　 [54] LAMAISON N,ONG C L,MARCINICHEN J B,et al.Two-phase mini-thermosyphon electronics cooling:dynamic modeling,experimental validation and application to 2U servers[J].Applied thermal engineering,2017,110:481-494．

　　 [55] 肖新文，曾春利，邝旻．直接接触冷板式液冷在数据中心的运用探讨[J]．制冷与空调，2018,18(6):67-72．

　　 [56] 广东合一．IDC芯片级精准喷淋液冷数据中心[EB/OL].(2018-05-25)[2021-07-24].http：∥www.heone.com/chanpin/showimg.php?lang=cn&id=49．

　　 [57] Coolitsystems.CHx200 CDU[EB/OL].[2021-07-24].https：∥www.coolitsystems.com/product/chx200-cdu/．

　　 [58] GRC.ICEraQmicro-modular,rack-based immersion cooling system[EB/OL].[2021-07-24].https：∥www.grcooling.com/iceraq/．

　　 [59] 尉迟斌．实用制冷与空调工程手册[M]．北京：机械工业出版社，2005:50-51．

　　 [60] MADHOUR Y,OLIVIER J,COSTA-PATRY E,et al.Flow boiling of R134ain a multi-microchannel heat sink with hotspot heaters for energy-efficient microelectronic CPU cooling applications[J].IEEEtransactions on components,packaging and manufacturing technology,2011,1(6):873-883．

　　 [61] AGOSTINI B,THOME J R,FABBRI M,et al.High heat flux flow boiling in silicon multimicrochannels:part I:heat transfer characteristics of refrigerant R236fa[J].International journal of heat and mass transfer,2008,51(21/22):5400-5414．

　　 [62] MAURO A W,THOME J R,TOTO D,et al.Saturated critical heat flux in a multi-microchannel heat sink fed by a split flow system[J].Experimental thermal and fluid science,2010,34(1):81-92．

　　 [63] LEO H L S L,NASCIMENTO F J D,RIBATSKIG.Flow boiling heat transfer of R407C in a microchannels based heat spreader[J].Experimental thermal and fluid science,2014,59:140-151．

　　 [64] MAYDANIK Y F,DMITRIN V I,PASTUKHOVV G.Compact cooler for electronics on the basis of a pulsating heat pipe[J].Applied thermal engineering,2009,29(17/18):3511-3517．

　　 [65] MAYDANIK Y F,VERSHININS V,PASTUKHOV V G,et al.Loop heat pipes for cooling systems of servers[J].IEEE transactions on components,packaging and manufacturing technology,2010,33(2):416-423．

　　 [66] LIU Z,GAI D,LI H,et al.Investigation of impact of different working fluids on the operational characteristics of miniature LHP with flat evaporator[J].Applied thermal engineering,2011,31(16):3387-3392．

　　 [67] 崔晓钰，段威威，乔铁梁，等．两组元乙醇基混合工质振荡热管的传热性能[J]．化工学报，2014,65(10):3852-3860．

　　 [68] 崔晓钰，王妍，翁建华，等．不同工质振荡热管的传热性能[J]．上海理工大学学报，2009,31(6):539-543．

　　 [69] 沈晶晶．超算集群CPU重力热管散热系统研究[D]．大连：大连理工大学，2019:34-46．

　　 [70] 韩文锋，陶杨，陈爱民，等．数据中心高效绿色冷却技术[J]．制冷与空调，2021,21(2):78-90．

　　 [71] SHAH J M,EILAND R,SIDDARTH A,et al.Effects of mineral oil immersion cooling on ITequipment reliability and reliability enhancements to data center operations[C]∥IEEE.Proceedings of the15th IEEE Intersociety Conference on Thermal and Thermomechanical Phenomena in Electronic Systems.Las Vegas,2016:316-325．

　　 [72] 3M.Data center liquid cooling applications with3MTM NovecTMengineered fluids[EB/OL].[2021-07-24].https：∥multimedia.3m.com.cn/mws/media/1801351O/data-center-immersion-cooling-aplicationswith-3m-novec-engineered-fluids-line-card.pdf．

　　 [73] 3M.Data center immersion cooling applications with3MTMFluorinert TMelectronic liquids[EB/OL].[2021-07-24].https：∥multimedia.3m.com.cn/mws/media/1783283O/data-center-immersion-coolingaplications-with-3m-fluorinert-electronic-liquids-linecard.pdf．

　　 [74] 3M.Heat transfer applications using 3MTM NovecTMengineered fluids[EB/OL].[2021-07-24].https：∥multimedia.3m.com.cn/mws/media/1091997O/3mnovec-engineered-fluids-for-heat-transfer-line-card.pdf．

　　 [75] WU D,MARCINICHEN J B,THOME J R.Experimental evaluation of a controlled hybrid twophase multi-microchannel cooling and heat recovery system driven by liquid pump and vapor compressor[J].International journal of refrigeration,2013,36(2):375-389．

　　 [76] MARCINICHEN J B,WU D,PAREDES S,et al.Dynamic flow control and performance comparison of different concepts of two-phase on-chip cooling cycles[J].Applied energy,2014,114:179-191．

　　 [77] IYENGAR M,DAVID M,PARIDA P,et al.Server liquid cooling with chiller-less data center design to enable significant energy savings[C]∥IEEE.Proceedings of the 28th Semiconductor Thermal Measurement and Management Symposium.San Jose,2012:212-223．

　　 [78] CARBÓA,ORÓE,SALOM J,et al.Experimental and numerical analysis for potential heat reuse in liquid cooled data centres[J].Energy conversion and management,2016,112:135-145．

　　 [79] 高益兵，刘超杰，赵保周．刀片服务器液冷系统的设计和探究[J]．电子机械工程，2020,36(6):20-23,41．

　　 [80] LEVIN I I,DORDOPULO A I,DORONCHENKOY I,et al.Immersion liquid cooling FPGA-based reconfigurable computer system[J].IFAC-papers online,2016,49(25):366-371．

　　 [81] CHI Y Q,SUMMERS J,HOPTON P,et al.Case study of a data centre using enclosed,immersed,direct liquid-cooled servers[C]∥IEEE.Proceedings of the 30th Semiconductor Thermal Measurement and Management Symposium.San Jose,2014:164-173．

　　 [82] MATSUOKA M,MATSUDA K,KUBO H.Liquid immersion cooling technology with natural convection in data center[C]∥IEEE.Proceedings of the 6th International Conference on Cloud Networking.Prague,2017:1-7．

　　 [83] KANBUR B B,WU C,FAN S,et al.Two-phase liquid-immersion data center cooling system:experimental performance and thermoeconomic analysis[J].International journal of refrigeration,2020,118:290-301．

　　 [84] TUMA P E.The merits of open bath immersion cooling of datacom equipment[C]∥IEEE.Proceedings of the 26th Annual IEEE Semiconductor Thermal Measurement and Management Symposium.Santa Clara,2010:123-131．

　　 [85] ORÓE,ALLEPUZ R,MARTORELL I,et al.Design and economic analysis of liquid cooled data centres for waste heat recovery:a case study for an indoor swimming pool[J].Sustainable cities and society,2018,36:185-203．

　　 [86] 李少婷，张海妮．每经记者实探全球第九大超算中心：德国莱布尼茨超算中心温水冷却节能30%正寻求新突破[EB/OL].(2019-09-15)[2021-04-22].https：∥www.sohu.com/a/341050790_115362．

　　 [87] SHOUKOURIAN H,WILDE T,HUBER H,et al.Analysis of the efficiency characteristics of the first high-temperature direct liquid cooled petascale supercomputer and its cooling infrastructure[J].Journal of parallel and distributed computing,2017,107:87-100．

　　 [88] 伍晓峰．某数据中心液气双通道制冷系统节能技术应用[J]．建筑热能通风空调，2019,38(6):33-35．

　　 [89] 陈洁琼．高效能云计算中心制冷技术节能研究[J]．制冷与空调，2019,19(6):7-9．

　　 [90] 谢春辉，赵毓毅．液冷技术在通信行业中的应用及相关建议[J]．通信电源技术，2019,36（增刊1):158-161．

　　 [91] 王玉峰，陈露．北京市某超算数据中心的空调设计[J]．建筑热能通风空调，2019,38(5):92-95．

　　 [92] ENDO T,NUKADA A,MATSUOKA S.TSUBAME-KFC:a modern liquid submersion cooling prototype towards exascale becoming the greenest supercomputer in the world[C]∥IEEE.Proceedings of the 20th IEEE International Conference on Parallel and Distributed Systems.Hsinchu,2014:360-367．

　　 [93] LIU Y,WEI X,XIAO J,et al.Energy consumption and emission mitigation prediction based on data center traffic and PUE for global data centers[J].Global energy interconnection,2020,3 (3):272-282．

　　 [94] BRADY G A,KAPUR N,SUMMERS J L,et al.Acase study and critical assessment in calculating power usage effectiveness for a data centre[J].Energy conversion and management,2013,76:155-161．

　　 [95] 肖新文．直接接触冷板式液冷在数据中心的节能分析[J]．建筑科学，2019,35(6):82-90．

　　 [96] 严逊，于航，刘成，等．服务器浸没式液冷的换热效率及节能潜力[J]．建筑热能通风空调，2021,40(3):11-13．

　　 [97] 何其振，刘钧，王旭，等．基于热传导技术的数据中心冷却系统的研究与应用[J]．电信工程技术与标准化，2016(6):21-25．

　　 [98] KIM M H,HAM S W,PARK J S,et al.Impact of integrated hot water cooling and desiccant-assisted evaporative cooling systems on energy savings in a data center[J].Energy,2014,78:384-396．

　　 [99] 中国新闻网．全球规模最大的全浸没式液冷数据中心落地杭州[EB/OL].(2020-09-16)[2021-04-22].http：∥www.chinanews.com/cj/2020/09-16/9292633.shtml．

　　 [100] 冯帅，王国岩，何嘉俊，等．浸没式交换机液冷技术仿真与实验[J]．制冷学报，2021,42(3):135-144．

　　 [101] 上海市能效中心．节能产品：3M氟化冷却液[J]．上海节能，2021(2):214-215．

　　 [102] JUDGE P.Créditagricole opts for immersion cooling[EB/OL].(2020-11-20)[2021-07-24].https：∥www.datacenterdynamics.com/en/news/cr%C3%A9dit-agricole-opts-for-immersion-cooling/．

　　 [103] EBRAHIMI K,JONES G F,FLEISCHER A S.Areview of data center cooling technology,operating conditions and the corresponding low-grade waste heat recovery opportunities[J].Renewable and sustainable energy reviews,2014,31:622-638．

　　 [104] HUANG P,COPERTARO B,ZHANG X,et al.Areview of data centers as prosumers in district energy systems:renewable energy integration and waste heat reuse for district heating[J].Applied energy,2020,258:114109．

　　 [105] CAPOZZOLI A,PRIMICERI G.Cooling systems in data centers:state of art and emerging technologies[J].Procedia engineering,2015,83:484-493．

　　 [106] ZIMMERMANN S,TIWARI M K,MEIJER I,et al.Hot water cooled electronics:exergy analysis and waste heat reuse feasibility[J].International journal of heat and mass transfer,2012,55(23/24):6391-6399．

　　 [107] DAVIES G F,MAIDMENT G G,TOZER R M.Using data centres for combined heating and cooling:an investigation for London[J].Applied thermal engineering,2016,94:296-304．

　　 [108] 肖新文．直接接触冷板式液冷冷却数据中心的热回收探讨[J]．建筑节能，2020,48(2):69-73．

　　 [109] WAHLROOS M,PÄRSSINEN M,RINNE S,et al.Future views on waste heat utilization:case of data centers in Northern Europe[J].Renewable and sustainable energy reviews,2018,82:1749-1764. 

　　 作者简介：肖新文，男，1980年生，工学硕士，高级工程师201108上海市闵行区春常路18号1幢7楼E-mail:xiaoxinwen11@126.com;

　　 收稿日期：2021-04-25

　　 本文引用格式：肖新文．数据中心液冷技术应用研究进展［Ｊ］．暖通空调，2022,52（1）：52-65．