数据中心湖水源自然冷却系统现场性能测试分析
0 引言
随着物联网、大数据、人工智能及5G等信息技术的快速崛起，数据中心发展已成为全球经济发展的基石。《中国数据中心可再生能源应用发展报告(2020)》显示，2019年全国数据中心已建成7.4万个，机架总量达到227万架，用电量在600亿～700亿kW·h左右，占全社会用电量的0.8%～1.0%。预计到2030年，数据中心能耗总量将达到全社会用电量的1.5%～2.0%。我国2021年颁布的《国家发展改革委等部门关于严格能效约束 推动重点领域节能降碳的若干意见》(发改产业[2021]1464号文)中规定，新建大型、超大型数据中心电能利用效率不超过1.3。为了提供安全、高效的服务器工作热环境，冷却系统须全天候制冷运行[1],当前冷却系统能耗占数据中心总能耗的30%～50%[2]。冷却系统对数据中心安全、高效运行起着至关重要的作用。
目前，免费冷却技术因其在节能方面的优越性能而备受关注并被应用[3,4]。该技术通过利用来自外部的自然冷源(水或空气)来消除室内热量，替代了传统的能源密集型制冷机组，可显著减少冷却系统能耗[5]。例如，东江湖数据中心、阿里巴巴千岛湖数据中心、瑞典北部的Facebook数据中心及美国纽约的YAHOO数据中心。然而，相比于模拟仿真和实验研究，数据中心冷却系统实际测试研究较少，冷却系统运行性能的研究较少。本文以东江湖数据中心湖水源自然冷却系统为对象，测试分析数据中心冷却系统的运行效率，并讨论其节能性，旨在为数据中心自然冷却工作提供思路。
1 系统概况
东江湖位于湖南省郴州市资兴市，湖水面积160 km2,蓄水量81.2亿m3,水面下25～75 m处水温常年低于5 ℃,冷水资源极为丰富。东江湖水库大坝坝高157 m, 水库采用底部排水方式。根据鲤鱼江水电站水文数据监测，小东江(位于东江湖下游)近20年历史最低流量为40 m3/s, 最高流量为598 m3/s, 最高水位为147.35 m, 最低水位为145.25 m, 取水处径流量充沛，水位较为稳定，可为数据中心冷却提供充足的自然冷源。鲤鱼江水电站水文监测资料——小东江历史水温如图1所示，常年处于11～16 ℃。需要指出的是，鲤鱼江水电站位于东江湖数据中心取水口下游100 m处，水文资料——水温采集点为小东江水面，受太阳辐射及环境温度影响，采集温度会略微高于东江湖数据中心取水温度。
图1 鲤鱼江水电站水文资料——小东江历史水温
东江湖数据中心于2017年建成并投入运营，规划机架数约为2 500个，单机架功耗为4 kW,截至2020年10月，实际安装机架数为1 000个左右，且单机架平均负荷率为27%,即数据中心实际总负荷率仅为10.8%。当前，数据中心冷却系统设置了一套机械制冷系统及一套湖水源自然冷却系统。在机械制冷系统中，考虑到当前数据中心初期负荷较低，因此建设方仅安装了1台冷量为4 420 kW的离心式冷水机组、2台冷水泵(流量860 m3/h, 扬程44 m, 功率160 kW,一用一备)、2台冷却水泵(流量960 m3/h, 扬程27 m, 功率132 kW,一用一备)及相应的附属设备、管道。然而，在实际运行中，由于湖水温度适宜，满足数据中心全年制冷需求，机械制冷系统未启用。因此，机械制冷系统无运行测试数据，本文测试数据只针对湖水源自然冷却系统。
自东江湖数据中心投入运营以来，其数据中心散热全年采用湖水源自然冷却系统，该冷却系统由取水系统、冷水系统及末端空调系统组成，如图2所示。东江湖数据中心取水口在大坝下泻10 km、水面下1～2 m处，湖水在重力作用下自流至沉淀池，之后经由湖水提升水泵抽取并送往冷水机房，经板式换热器与机房的冷水换热，带走机房热量。冷水由冷水泵送入模块化数据机房和变配电室，与空调末端换热设备进行换热，维持室内温度。其中，数据机房空调末端采用冷通道封闭的架空地板下送风形式，每个机房根据IT设备功耗配置不同数量的水冷型精密空调(CRAH),将冷却后的循环空气通过架空地板送至各个机柜冷通道对服务器进行降温，最后服务器的风扇将换热升温后的空气排入热通道，由CRAH机组冷却降温，循环使用。变配电室的空调末端采用水冷多联分离式热管空调机组，热管空调的风扇将室内热风吸入，通过制冷剂的相变换热将其降温后排入室内对设备进行冷却。冷却系统主要设备参数如表1所示，其中蓄水罐作为应急备份冷源。
图2 湖水源自然冷却系统示意图
2 测试内容与数据采集
对数据中心湖水源自然冷却系统运行性能进行测试分析，采用综合性能系数(GCOP)评价数据中心冷却系统运行性能。该系数在空调系统性能系数(COP)的基础上结合了数据中心冷却系统的特殊性，其表达式为[6]
表1 冷却系统主要设备基本参数
设备名称 |
数量 | 设备型号 | 设备规格 |
| 板式换热器 | 2 | AC190/273/PN10/304/E | 额定换热量4 800 kW |
自动定压补水排气装置 |
1 | DLDY-800-L-1-0.6-2 | 功率35 kW,补水量150 m3/h, 额定压力0.6 MPa, 补水箱容积1.5 m3 |
智能水处理器 |
1 | DLAP-350 | 额定电压220 V,最大流量700 m3/h, 额定压力1.0 MPa |
大型提升水泵 |
1 | KP1415 | 流量1 500 m3/h, 扬程34 m, 功率180 kW |
小型提升水泵 |
1 | KP8015 | 流量800 m3/h, 扬程34 m, 功率110 kW |
冷水泵 |
2 | KP80172-17A069 | 流量860 m3/h, 扬程44 m, 功率160 kW |
精密空调 |
38 | SCU1300 | 制冷量110 kW |
热管空调 |
30 | 制冷量40 kW | |
蓄水池 |
2 | 容积180 m3 |
GCOP=Ecost,dc−Ecost,csEcost,cs (1)GCΟΡ=Ecost,dc-Ecost,csEcost,cs (1)
式中 Ecost, dc为数据中心全年整体能耗，包括IT设备能耗、冷却系统能耗、配电能耗、UPS能耗、机房照明等其他能耗；Ecost, cs为冷却系统能耗。
本文的测量值以满足冷却系统需要为目的，在能反映系统实际运行状态的关键设备及能耗水平的位置布置测点，其主要测点及测量仪器包括：
1) 测点1～6:
测量冷却系统湖水侧进出水温度、冷水供回水温度、蓄水池水温及湖水温度。测点布置位置如图2所示。6个测点温度皆采用水温电子传感器测量，测量范围为-50～110 ℃。水温电子传感器每15 min记录1次，温度数据通过数据采集器传至监控平台。
2) 室外测点：
测量数据中心室外空气温度及相对湿度。采用温湿度记录仪测量，温度测量范围为-20～70 ℃,相对湿度测量范围为0～100%,温湿度记录仪每15 min记录1次。
3) 测点A、B、C:
测量数据中心各用电设备的耗电量。测点布置位置如图3所示，其中A1测市电的耗电量，A2测柴油发电机的耗电量，B1～B4分别测UPS、取水系统、机房照明系统及其他耗电量，C1～C4分别测UPS连接的IT设备、精密空调、热管空调及冷水泵能耗。各用电设备的耗电量皆采用电能表测量，测量精度为0.5级。电能表每15 min记录1次设备用电功率，功率数据通过数据采集器传至监控平台。将每小时记录的电能表功率相加并除以4,作为各用电设备单位小时的耗电量。
图3 东江湖数据中心用电设备及测点分布
注：“其他”能耗主要包括公共照明及办公区能耗。
3 测试结果及分析
3.1 全年整体能耗分析
如图4所示，2019年11月至2020年10月期间，数据中心运行工况下全年累计耗电量为12 245 880 kW·h, 月均耗电量为1 020 490 kW·h。小东江取水口附近湖水月平均温度变化趋势如图5所示。可以发现，全年东江湖水的水温基本保持恒定，东江湖数据中心全年采用湖水自然免费冷却。在当前IT设备运行功耗下，数据中心电能利用效率PUE(PUE=数据中心耗电量/IT设备耗电量)月平均值均不大于1.20,年平均值为1.18,该值远低于目前全国数据中心平均PUE。此外，如图5所示，实际测试发现数据中心月平均PUE与湖水月平均温度变化趋势并不一致，其原因是东江湖数据中心的功耗随时间不断变化，负荷率对PUE的影响较大。
图4 东江湖数据中心总耗电量逐月变化趋势
图5 东江湖湖水温度与数据中心PUE的逐月变化趋势
3.2 冷却系统GCOP测试分析
为了详细分析湖水源自然冷却数据中心的实际运行性能，2020年10月16—23日期间，对东江湖数据中心冷却系统进行了性能测试。测试期间的室外气象参数变化较为明显，蓄水池温度及室外温湿度如图6所示。可以发现，在16—19日期间，室外干球温度在20～35 ℃范围有较大变化，而蓄水池中的水温基本保持恒定，低于15 ℃;在20—23日期间，室外干球温度从23 ℃逐渐下降至8 ℃时，而沉淀池水温下降小于0.5 ℃。总之，和室外干球温度具有较大波动特性不同，湖水温度波动幅度小，基本保持恒定，自然冷源供应能力稳定。
图6 测试期间的蓄水池温度及气象参数
经过数据统计分析，得到数据中心各用电设备测试期间每小时平均耗电量如表2所示。可以发现，每小时数据中心总耗电量为1 474.9 kW·h。由式(1)可以计算出GCOP=11。结果表明，湖水源自然冷却系统的运行性能优异，节能效果显著。
表2 测试期间数据中心各用电设备每小时平均耗电量
kW·h
IT设备 |
冷却系统 | 配电损耗 | UPS损耗 | 其他 |
1 247.5 |
123.0 | 22.0 | 77.8 | 4.7 |
图7 数据中心IT设备及辅助设备用电构成图
3.3 冷却系统分项能耗及运行参数测试分析
图7显示了冷却系统设备及其他用电设备的能耗占比。测试结果表明，在湖水源自然冷却条件下，IT设备为数据中心主要耗电项，冷却系统仅消耗不到10%的电量。需要注意，在自然冷却系统中，末端空调的能耗占比最高，占冷却系统总能耗的50%以上。因此，有效降低末端空调的能耗，可进一步降低数据中心能耗，提高冷却系统GCOP。
为进一步评价自然冷却系统的运行性能，测试了冷却系统水泵的运行频率、湖水进出水温度及冷水供回水温度。在测试期间，湖水泵及冷水泵处于固定频率运行，其值为30 Hz。当前的水泵运行频率较低，随着数据中心IT设备功耗上升，提高水泵频率可进一步提高冷却系统GCOP。
图8显示了数据中心冷却系统板式换热器的湖水进出水温度及冷水供回水温度变化趋势。由图8可知，冷水供回水温度变化与湖水进出水温度的变化规律一致。湖水进出水平均温差为3.7 ℃,冷水供回水平均温差为1.7 ℃。可以发现，当前冷却系统的湖水侧及冷水侧的换热温差较小，如果将换热温差都加大到5 ℃,湖水侧及冷水侧的水流量将分别减少到原来的0.74及0.34,从而降低湖水泵及冷水泵运行频率，进一步减少冷却系统能耗。
图8 湖水进出水及冷水供回水温度
3.4 经济效益
以东江湖数据中心为例，对比我国工信部2021年发布的“十四五”信息通信行业发展规划通知，“十四五”期间的新建大型和超大型数据中心运行电能利用效率(PUE)应小于1.3。将国家政策要求能效与东江湖数据中心湖水源自然冷却系统现行能效(GCOP=11)作对比，在IT设备耗电量相等的基础上，对比2种冷源系统全年运行状态下所需要的费用。
1) 初投资。
湖水源自然冷却系统包括2台板式换热器(约2台×30万元/台=60万元)、蓄水池(约30万元)和相应管道、湖水提升泵及工程施工(约120万元),共计210万元。如果采用高效机械制冷系统，需要配置4台4 420 kW/台的冷水机组(约4台×120万元/台=480万元)、4台冷却塔(约4台×25万元/台=100万元)、4台冷却水泵(约4台×10万元/台=40万元)及相应附属设备和施工费(约180万元),投资总计为800万元。因冷水系统和末端设备相同，只对比冷源方案，湖水冷源相比高效机械制冷的初投资可减少590万元。
2) 运行费用。
国家政策要求的PUE为1.3,GCOP按5.0计算，其全年的运行能耗约为1 530 万kW·h。本文的湖水源自然冷却系统全年耗电量为1 290万kW·h, 与高效机械制冷系统相比，可进一步降低能耗16%。以目前郴州市大工业用电电价0.586 7元/(kW·h)计算，其全年运行费用可节约141万元。
4 结论
1) 东江湖数据中心全年采用自然湖水免费冷却，在部分负荷运行状态下，数据中心全年平均PUE约为1.18,冷却系统的GCOP约为11,和国家政策要求能效(PUE=1.3、GCOP=5.0)相比，冷却系统能耗可进一步降低16%。
2) 末端精密空调能耗占自然冷却系统总能耗50%以上，有效降低末端空调能耗是未来自然冷却系统节能的关键。
3) 东江湖水取水温度全年基本保持恒定且低于15 ℃,可作为良好的自然冷源，提供数据中心全年自然冷却需求。实际测试发现，东江湖数据中心月平均PUE与湖水月平均温度变化趋势并不一致，机房负荷率对PUE的影响较大，提高低负荷工况下的运行效率是降低数据中心冷却系统能耗的重要措施。
4) 将自然湖水作为数据中心冷源时需要注意：
① 在湖水源自然冷却系统中，取水点需设置自流式装置和沉淀池，可有效减少输送管道的浮游生物及泥砂，减少管道及换热器堵塞，保持换热器高效换热性能。
② 由于自然冷源的波动特性，需对自然水源的历史水文参数进行调研和论证，根据水温及水量情况，核算数据机房承载量及可自然冷却时长。此外，通过增加制冷机、蓄冷水池或者蓄水罐等设备配置，作为数据中心冷源的安全保障措施，以提高数据中心冷却系统的可靠性和可用性。
参考文献
[1] 中国制冷学会数据中心冷却工作组.中国数据中心冷却技术年度发展研究报告2017[R],2017:19- 20.
[6] 程亨达，陈焕新，邵双全，等.数据中心冷却系统的综合COP评价[J].制冷学报，2020,41(6):77- 84.
作者简介：张宁，女，1990年生，大学，注册设备工程师（暖通空调）;*王加强，（通信作者）410083湖南省长沙市麓山南路932号中南大学能源科学与工程学院E-mail:jiaqiangwang@csu.edu.cn;
收稿日期：2021-03-22
本文引用格式：张宁，张泉，张泉，等．数据中心湖水源自然冷却系统现场性能测试分析［Ｊ］．暖通空调，2022,52（2）：70-74．