该项目位于安徽省滁州市。机房按照GB 50174—2017《数据中心设计规范》中规定的A级数据中心设计,总建筑面积为25 551.5 m²;主机房区域主体地上3层,局部地上4层。共有2 446个机柜(含列头柜、普通机柜、网络核心机柜),全部为功率4.4 kW的低密柜。1层共480个机柜,2层网络交换机房共100个机柜,2层数据机房共916个机柜,3层共950个机柜。

　　 为保证设备的安全性,冷源制冷设备采取N+1设置,满足容错需求;每个标准机房模块恒温恒湿空调机组按N+2设置;冷水管路设计为环状管网,满足空调系统在线维护(任一设备或线路可以按计划进行替换而不引起计算机设备停机)和连续不间断运行的要求,提高空调系统的可靠性;空调冷源系统设置蓄冷罐,能提供连续不间断冷源,可提供数据中心空调系统15 min的冷水供应,保障数据中心供冷安全。

　　 冷水机组采用磁悬浮变频冷水机组,相比传统的冷水机组无机械摩擦,噪声低、能耗低、效率高,能效比可提升20%以上;主机房主要功能区进行CFD模拟。

　　 空调系统制冷机组、水泵、冷却塔以及末端精密空调等主要设备,选择满足现行国家和国际标准的标准化产品;该项目数据机房各模块之间设备标准统一。

　　 冷水适用性:冷水机组能效比较高,设备摆放位置集中,便于管理,较容易实现自然冷却方案,有效减少运行费用。封闭通道的适用性:冷热气流相对分离,提高冷空气的利用率,同时可减少风机的耗电量,节省电费,有良好的经济效益和社会效益。

　　 数据中心空调负荷主要包括设备负荷、机房照明负荷、围护结构负荷、人员散热负荷及新风负荷等,应通过逐项逐时的负荷计算得到。数据中心因安装的均为发热量大的服务器设备,热负荷构成主要为设备的显热负荷,相比而言,围护结构的负荷占总负荷的比例较低。空调系统的冷负荷主要受服务器设备数量和机柜功率影响,因此,设计时必须充分考虑工艺专业提供的机柜设备负荷。数据中心具有高发热量、低散湿量的特点,其空调系统的负荷特点是显热负荷大、湿负荷小,具有极高的热湿比 ^[1]。

　　 自然冷却技术的可行性和节能效果均取决于当地的气候条件 ^[2]。GB 50019—2015《工业建筑供暖通风与空调调节设计规范》与GB 50736—2012《民用建筑供暖通风与空调调节设计规范》选用1971—2000年作为室外空气参数的统计期,形成室外设计空气参数。2017 ASHRAE handbook fundamentals选用1990—2014年作为室外空气参数的统计期,形成室外设计空气参数。ASHRAE所提供的空气参数极值一般大于GB 50019—2015和GB 50736—2012附录所提供的空气参数极值,因此建议采用2017 ASHRAE handbook fundamentals提供的气象参数进行数据中心空调设计。

　　 经计算,数据机房冷负荷为13 350 kW,占整个项目冷负荷的94%。因该项目对安全性要求较高,要求机房全年无故障运行,结合项目所在地极端高温天气,按照夏季室外计算干球温度39.4 ℃、湿球温度30.9 ℃配置冷却塔。数据中心主机房、辅助区及支持区等核心区室内设计参数见表1 ^[3]。

　　 该工程属于大型数据中心,数据中心的制冷系统能耗占机房总能耗的比例较大。通过计算,能耗各部分比例及空调系统各部分能耗比例如图1所示。从图1可以看出,空调系统占数据中心非IT能耗的80%,而制冷站(含冷水机组、冷却塔、水泵等)占空调系统能耗的74%以上。

　　 数据中心机房冷源形式的采用应根据项目所在地气象条件、能源条件等多方因素进行确定,应尽可能地利用自然冷源(冬季低温时采用自然冷却模式)。

　　 在相同制冷量情况下,风冷冷水机组耗电量比水冷冷水机组大,因此该项目采用水冷冷水机组。数据中心常见的水冷冷水机组形式有螺杆式、离心式及磁悬浮离心式等。磁悬浮冷水机组相比传统的冷水机组无机械摩擦,噪声低、能耗低、效率高,能效比可提升20%以上,对该项目电能利用效率PUE的降低起到重要作用。因此该项目采用水冷磁悬浮冷水机组。

　　 冷水机组是空调系统的主要用能设备,其能耗占空调系统总能耗的38%以上,是节能研究的主要对象。提高水冷式集中空调的供回水温度,可以提高冷水机组的性能。供回水温度越高,冷水机组的COP越高,所耗电能越少,节能效果越好。当冷却水供/回水温度不变(32 ℃/39 ℃)时,随着冷水温度提高,冷水机组的COP变大,效率提高;当冷水供/回水温度由7 ℃/12 ℃提高到18 ℃/28 ℃时,离心式冷水机组的COP提高了15%以上。另外随着供/回水温度的提高,利用自然冷却的时间也将进一步延长。因此该项目将冷水系统供/回水温度确定为18 ℃/28 ℃。

　　 该项目制冷站设置于1层,蓄冷罐设置于室外地面。空调冷源采用磁悬浮变频离心式冷水机组,单台制冷量为3 500 kW,制冷设备为4+1冗余设置,冷水供/回水温度为18 ℃/28 ℃。根据冷水机组的需求,夏季工况冷却水供/回水温度为32 ℃/39 ℃,冬季工况冷却水供/回水温度为16.5 ℃/22.5 ℃。制冷系统原理图见图2。

　　 空调冷源系统设置蓄冷罐,可提供数据中心空调系统15 min的冷水供应,保障数据中心供冷安全。蓄冷罐所需总的有效容积为400 m³,采用闭式蓄冷罐。

　　 由于数据中心需要连续运行,因此该项目冷水干管采用环状管网,满足空调系统在线维护(任一设备或线路可以按计划进行替换而不引起计算机设备停机)和连续不间断运行的要求,提高了空调系统的可靠性。冷水循环管道回路如图3所示。

　　 冷水系统考虑了自然冷却。水冷冷水系统根据全年室外季节变化,冷却水温度会不断变化,因此水冷系统冷水的制备将分为3种模式,即采用电制冷模式、部分自然冷却模式和完全自然冷却模式,3种模式切换由自控系统实现,具体工作方式如下:1) 当室外湿球温度t_s>22.5 ℃时,开启完全靠冷水机组制冷的模式,通过阀门控制使得板式换热器不工作;2) 当t_s≤12.5 ℃时,采取完全自然冷却模式,冷水机组关闭,通过阀门控制冷水和冷却水只通过板式换热器;3) 当12.5 ℃<t_s≤22.5 ℃时,开启部分自然冷却模式,冷却水和冷水要首先经过板式换热器,然后再经过冷水机组。

　　 基于滁州地区的累年气象参数统计 ^[4](见图4),全年约80.40%的时间可以采用自然冷却模式,其中48.26%的时间(4 228 h)为完全自然冷却模式,32.20%的时间(2 820 h)为部分自然冷却模式。

　　 该项目采用了高温大温差冷水(18 ℃/28 ℃),当湿球温度t_s≤22.5 ℃时即可利用自然冷却进行部分或者完全的免费供冷。全年约有176 d可以实现完全自然冷却,约有117.5 d可以进行部分自然冷却。节能优势明显,大大降低了该项目的PUE。

　　 模块机房及网络核心机房设有新风系统,设计新风换热次数不小于1 h^-1,以保证数据机房的正压需求。另外,新风机组设置粗效和中效空气过滤器,以保证主机房空气中粒子浓度满足要求。

　　 目前数据机房经常采用“冷热通道”的布置方式,以提高机房空调的利用率,进一步提高制冷效果。以某机房为例,通过CFD模拟分析冷通道封闭前后机房冷却效果的差异,如图5所示。根据流体力学的知识可知,风机的功率与风量的3次幂成正比,封闭通道后的通风量为未封闭通道时的80%,则封闭通道后风机的功率为不封闭时的50%,节能效果显著。

　　 采用热通道封闭有利于回风温度提高到35～40 ℃,送风温度控制在24～26 ℃范围内。送回风温度提高,可相应地提高冷水机组供/回水温度(18 ℃/28 ℃),延长自然冷却时间,进一步提高空调系统制冷效率,使PUE进一步降低。

　　 采取封闭热通道的气流组织模式,送风温度为24.1 ℃,回风温度为38.5 ℃。精密空调设置单独的设备间,机柜面对面摆放,冷热通道隔离并实现热通道封闭(防止冷气短路),如图6所示。现场安装示意图见图7。

　　 CFD模拟结果便于发现数据中心内是否存在热点,协助调整数据中心空调的气流组织形式、送风方式和气流速度等参数,以提高空调效率,例如在数据中心内增加格栅,通过格栅定向调节风量使其均匀,从而大大降低温度,节省电量。对机房主要功能区进行了CFD模拟,模块单元机房模型面积约为617 m²,包含234架IT机柜、12架列头柜及10台机房精密空调机组,8+2冗余设置,每台空调制冷量为150 kW。机房整体布局如图8所示。

　　 在模型0.3,1.0,1.8 m高度处均匀布置测点。距机柜底板不同高度处温度场如图9所示。

　　 从图9可以看出,机柜进风温度在24 ℃左右,出风温度为34.0～38.4 ℃,无热点,机柜进出风温度相差10.0～14.4 ℃。满足使用要求。

　　 图10显示了机柜过热情况。可以看出,机柜进风温度为24.0～24.5 ℃,无机柜过热情况,整体模块工作情况良好。

　　 以上温度云图显示:机柜的进风口温度处于18～27 ℃范围内,满足GB 50174—2017《数据中心设计规范》推荐的温度要求;机柜出风口最高温度为38.4 ℃,满足服务器的使用要求。机柜设备无过热情况,无局部热点。模块冷热通道相互隔离,冷热气流无交叉互串现象,气流组织良好。由此可知,机柜、密封通道和空调末端布局合理,空调选型配置准确,冷通道内温度符合ASHRAE标准要求,温度场均匀、无热聚集、无设备过热、整体气流组织良好,符合设计和使用要求。

　　 数据中心的节能实际上是在保证设备安全稳定运行的前提下,确定各部分能耗的最佳比例,确保服务器和网络存储等设备能效比的最大化。目前有很多评价数据中心能效的模型,其中比较有影响的是Malone等人提出的PUE模型 ^[5]。

　　 2019年2月12日,工业和信息化部、国家机关事务管理局、国家能源局三部门联合发布的《关于加强绿色数据中心建设的指导意见》中明确要求新建大型数据中心PUE达到1.4以下 ^[6]。该项目建设方设计输入文件中明确要求设计PUE<1.3。

　　 为了尽可能地降低设计PUE,满足建设方需求,该项目采取了以下节能措施:

　　 1) 采用自然冷却技术。随着室外环境条件改变,冷水的制备可根据制冷机出水温度在电制冷、部分自然冷却和完全自然冷却3种模式下切换。

　　 2) 提高空调的供/回水温度(18 ℃/28 ℃),同时采用大温差供冷。该措施大大增加了自然冷却的使用时长。

　　 3) 采用热通道封闭技术,较传统方式节能30%以上。

　　 4) 数据机房精密空调送/回风温度为25 ℃/39 ℃,自然冷却时间较传统的数据中心项目延长至少30 d以上。

　　 5) 机房使用独立式加湿器,采用湿膜加湿形式,机组布置在空调间回风区,根据空气露点控制加湿量。

　　 6) 冷水机组采用水冷磁悬浮变频离心机组,相比传统的冷水机组能效比可提升20%以上。

　　 该项目各部分能耗及设计PUE(数据中心总能耗/IT设备总能耗)见表2。通过表2可以看出,设计PUE=1.298 7,满足设计PUE值小于1.3的要求。

　　 该项目采用了18 ℃/28 ℃的高温冷水,目前在数据中心空调系统中鲜有这么高的供回水温度,但CFD模拟结果表明,该温度对于该数据中心项目来说是可行且可靠的。随着服务器功能的提升,数据机房环境温度越来越高,甚至会突破目前标准推荐的范围。在这种情况下,空调冷源的供回水温度还可以进一步提高,冷水机组能耗也将随之降低。磁悬浮变频冷水机组能效比高、能耗低,对于降低PUE效果显著。该项目目前尚未投入运行,实际使用效果需要进一步验证。