高可靠性绿色数据中心设计研究

作者:吴晓晖 赵春晓 张丽娟 陈玥
单位:中国建筑标准设计研究院有限公司
摘要:通过分析高可靠性绿色数据中心设计建设的发展方向,提出数据中心发展的可靠、高效、绿色和智能四个趋势。针对每一个趋势进行了详细的阐述和分析,为数据中心的规划设计提供了参考依据。
关键词:数据中心 绿色 节能
作者简介:吴晓晖,中国建筑标准设计研究院有限公司数据中心设计研发部副主任。; 赵春晓,中国建筑标准设计研究院有限公司数据中心设计研发部暖通工程师。; 张丽娟,中国建筑标准设计研究院有限公司数据中心设计研发部总工程师。; 陈玥,中国建筑标准设计研究院有限公司数据中心设计研发部建筑工程师。

 

1 数据中心占用能耗分析

1 数据中心占用能耗分析

 

2 数据中心的发展趋势

2 数据中心的发展趋势

 

1 研究背景

近年来,随着云计算、大数据、互联网+、人工智能等新兴信息技术的发展。数据中心的建设呈爆发式增长。由于其高能耗的特点,占全社会能耗的比例也将急剧增加,预计将对现在和未来的信息技术产生重大影响。数据中心的能源消耗为一般建筑的100倍以上,主要包括服务器、网络、通信等IT设备。在2011年,数据中心单位面积的平均能耗为872kW/m2,从2006至2011年数据中心服务器和相关基础设施设备的能耗在美国和全球翻了一番。此外,数据中心的平均功率密度目前约为每机架6kW。伴随着高功率密度服务器的快速发展,预计到2025年,数据中心的平均功率密度将达到每机架50kW[5]。据最新统计,数据中心行业的电量消耗已占世界总用电消耗的2%左右[2]。数据中心的总能耗中,大约52%的电力被IT设备消耗,38%由制冷设备消耗,其余的10%被配电设备、UPS、变压器等设备消耗。由图1可以看出能耗最大的是数据中心内的IT设备,其次是制冷系统,占数据中心总能耗的38%。

除能耗较大外,数据中心还有对安全、可靠性要求较高的特点。尤其是与我们日常生活息息相关的数据中心,如银行、电力、互联网购物网站等,其对系统的可用性要求较高,以保证其系统的连续性。

针对以上特点,我们认为数据中心将向可靠、高效、绿色、智能方向发展。可靠是指针对不同用户,建设出不同可用性的数据中心;高效是指能够使资源被合理规划、有效利用,建设部署得更加快速、便捷;绿色是指使用绿色节能技术有效降低数据中心PUE值,并在全生命周期内对环境友好;智能是指能够实现数据中心的智能化、自动化、无人化管理。下面就从这几个方面详细分析数据中心设计的发展趋势(图2)。

2 可靠

不管是国内标准还是国外标准,都对数据中心进行了级别的划分。国内的《数据中心设计规范》(GB 50174—2017)[4],根据使用性质、数据丢失、网络中断在经济或社会上造成的损失或影响程度,将数据中心分为A、B、C三级。国外的数据中心标准主要有美国Uptime Institute Tier Standard:Topology和美国通信工业协会发布的Telecommunications Infrastructure Standard for Data Centers(TIA—942—A—2017)[5]。其中以Uptime Institute Tier Standard:Topology[6]标准应用最为广泛。在其标准中将数据中心分为TierⅠ、TierⅡ、TierⅢ、TierⅣ四个级别。

(1)Tier I(基础级):

Tier I等级的数据中心没有冗余容量组件,且只有一个单一的非冗余分配路径来为关键环境提供服务。Tier I基础设施包括:一个IT系统的专用空间;一套不间断电源系统(UPS)用来滤除输入功率尖峰、电压骤降和瞬间电力中断的影响;专用供冷设备;避免IT功能受长期断电影响的现场发电系统(如引擎式发电机、燃料电池),用于现场发电(如引擎式发电机、燃料电池)的12h现场燃料储存。该级别数据中心的可用性为99.671%,也就是说每年至少有29h的中断或维护时间。

(2)Tier II(具关键冗余部件级):

Tier II等级的数据中心拥有冗余容量组件以及单一的非冗余分配路径来为关键环境提供服务。冗余组件是指额外的现场发电系统(如引擎式发电机、燃料电池)、不间断电源(UPS)模块和能量储存、冷水机组、排热设备、泵、冷却装置和燃料储存罐,支持“N”容量的12h现场燃料储存。Tier II等级的数据中心的可用性为99.741%,每年中断时间低于22h。

(3)Tier III(可并行维护级):

一个可同时维护的数据中心拥有冗余容量组件,及多个独立分配路径来为关键系统提供服务。对于电力中枢和机械分配路径,只需要一条分配路径来随时为关键环境服务。电力中枢是指从现场发电系统(如引擎式发电机、燃料电池)的输出到IT不间断电源(UPS)的输入的电力分配路径以及为关键机械设备服务的电力分配路径。机械分配路径是指将热量从关键空间移除到室外环境的分配路径,如冷冻水管路、冷却水管路、制冷剂管路等。所有IT设备都具有双电源且正确安装,与现场架构的拓扑相匹配。如不满足该要求则需使用转换装置如小型机架式转换开关,支持“N”容量的12h现场燃料储存。

Tier III级数据中心的冗余功能也不再局限于电气系统。通信、空调系统都具备冗余的组件,并且该级别数据中心对访问的控制也非常严格,在人为因素上降低了故障的可能性。Tier III级数据中心较之Tier II级数据中心的可用性大幅增加,达到了99.982%,每年中断时间低于105min。

(4)TierⅣ(容错级):

一个容错的数据中心同时具有多个独立的、物理隔离的系统来提供冗余容量组件以及多个独立的、多种不同的、主用的分配路径同时为关键环境服务。冗余容量组件和多种不同分配路径的配置应使“N”容量在任何基础设施故障后能继续为关键环境提供电力和冷却。所有IT设备都具有双电源,装置内部带有容错电力设计。如不满足该要求则需使用转换装置如小型机架式转换开关。互为备份的系统和分配路径必须相互之间进行物理隔离(分隔),以防止任意单一事件同时对两套系统或两路分配路径造成影响。系统要求连续供冷,依据《数据处理环境传热指南》(第三版)为所有关键空间提供一个满足IT设备ASHRAE最大温度变化范围的稳定环境工况。另外,连续供冷的持续时间应该能保证持续供冷至机械系统恢复在极端环境条件下运行所提供的额定制冷量。支持“N”容量的12h现场燃料储存。

Tier IV级数据中心的可用性需达到99.995%,甚至更高,服务中断只有在计划中的预防性演习或者非计划的灾难应急停电的情况下才会发生,每年的中断时间不超过10min。

可以看出,不管是国内标准还是国外标准,都进行了分级。国内标准依据是针对数据中心的重要性进行分级,而Uptime Institute是针对系统的设计,对不同级别的数据中心提出要求。这就为我们进行数据中心设计提供了依据,所谓数据中心的可靠性,可用性,笔者认为不是越高越好。在规划设计之初,应该根据数据中心的用途进行合理分级、分类。根据实际需要确定级别,级别定的太高,会大大增加数据中心的造价;级别定的太低则不能满足数据中心业务的要求。

例如金融行业的数据中心,其重要性不言而喻。短时间的中断将会造成不可估量的经济损失,所以银行业的数据中心一般设定为A级,并参照Uptime Institute TierⅢ或TierⅣ级别设计。再如超级计算中心,该类数据中心的特点为单机柜的密度较高,一般大于10kW,甚至几十kW。在设计时,应着重关注其制冷系统。同时该类数据中心一般用于科研机构,对可靠性的要求并不高,故该类数据中心在规划设计时一般定义于B级。

因此在数据中心初步规划设计时,应合理设定其级别,从而避免数据中心在后期运行时造成不可估量的损失。

3 高效

在数据中心中,机柜为最核心的资源,尤其是对于对外经营的IDC企业,多布置一台机柜意味着多一份收益。在数据中心的规划设计阶段,应该充分利用有限的空间,使布置机柜的数量最大化。在数据中心的建设阶段,应做到快速建设,后期机柜的上架做到有弹性,方便扩容,即为最大的高效。

3.1 机房模块空间的确定

对于主机房设定多大合适,理论上来讲单个空间越大越好,即单个空间越大越可以避免空间损失,能够最大量布置机柜。但是从建筑层面上来讲,单个房间最大面积受到建筑防火的限制。数据中心一般采用气体灭火,根据《气体灭火系统设计规范》(GB 50370—2005)的规定,气体灭火系统的防护区的设置应符合以下规定:1)防护区宜以单个封闭空间划分;同一区间的吊顶层和地板下需同时保护时,可合为一个防护区;2)采用管网灭火系统时,一个防护区的面积不宜大于800m2,且容积不宜大3 600m3;3)采用预制灭火系统时,一个防护区的面积不宜大于500m2,且容积不宜大1 600m3

3 数据中心各层次的标准化

3 数据中心各层次的标准化

 

4 典型数据中心标准层布置图

4 典型数据中心标准层布置图

 

5 单体数据中心建筑的标准化布局图

5 单体数据中心建筑的标准化布局图

 

大型的数据中心设计一般采用有管网的气体灭火系统,水冷数据中心的层高不宜小于5.4m,故根据规范的要求,采用气体灭火的数据中心单个主机房的合理面积为主机房+附属空调间的面积不应大于667m2(不含梁柱所占空间),所以可以确定一个主机房(含空调间)模块宜在600~700m2之间。

3.2 机柜的布置

主机房内部的柱网布置原则要考虑机柜的尺寸、通道尺寸等主要因素,机房内部建筑装饰材料多为装配式材料,如抗静电活动地板、金属墙板和金属顶板,标准模数通常为600mm(金属顶板也有100、300mm等,也符合600mm的模数)。为了机房布局的美观性,同时也减少材料的切割保证材料品质,建议机柜布局也最好符合600mm的模数,或者按照每两排面对面或背靠背的机柜组成一个单元,3 600mm(机柜单元宽度)×(L<15m机柜单元长度)mm的模数;并且使房间内的柱子能够卡在机柜中间,这样可以有效利用空间。

3.3 标准化、模块化设计

标准化是指在经济、技术、科学和管理等社会实践中,对重复性的事物和概念,通过制订、发布和实施标准达到统一,以获得最佳秩序和社会效益。对于数据中心的设计建设也是如此,标准化设计和建设能够降低建设成本,提高建设效率,并且通过相互独立的模块化设计,进一步促进数据中心的可靠性。从数据中心的发展进程来看,我们知道,数据中心的核心是机柜,一般标准机柜的尺寸为600mm×1 200mm×2 000mm(宽×深×高),故数据中心的各种设备和材料都是以此为基础。从目前的数据中心来看,从地板、吊顶、灯具到主要的设备、UPS、精密空调、配电柜,包括现在业界比较流行的微模块机房,都是朝着以600mm为模数的方向发展。因此,数据中心的发展历程也是不断标准化和模块化的历程。

从微观到宏观,标准化设计建设的趋势贯穿数据中心的整个过程。下面举例说明楼层布局和单栋建筑布局的标准化设计(图3)。

(1)楼层的标准化布局:

如图4所示为典型的数据中心标准层,为了保证核心区域机房的安全性,将其设置在本楼层的核心区域,数据中心配电模块和走廊设置在楼层周围区域。本楼层数据中心分四个机房模块,每一个模块包括机房模块和配电模块。机房模块内含制冷系统,配电模块内含变压器、UPS、电池等系统。当数据中心为B级时,A、B、C、D四个模块之间彼此独立,可以互相替代。因为模块之间互相独立,一个模块发生故障不会影响另一个模块,可以提高系统的安全性。当数据中心设定为A级时,A、B两个模块可以组合为一个模块。配电模块一为两个机房的A路电,配电模块二为两个机房的B路电,组成2N的供电架构,满足A级数据中心的供电架构要求。

(2)单体数据中心建筑的标准化布局:

如图5所示为典型的单体数据中心建筑的标准化布局图,将数据中心的主要支持区域(变电所、冷冻站、柴油发电机房等)放置在最底层,因为这些设备需要比较大的楼面载荷。上面各层为放置机房的标准层,放置主机房和为本层机房服务的电力电池室。如前文所述标准层设置,该种布置方式保证了楼层设计建设的标准化。

综上,从楼层到机房的模块化设计,一方面能够提高数据中心的安全性、可靠性,另一方面能够使数据中心的建设在建筑层面复制,前期阶段可提高设计效率,后期建设方面也能够大大提高建设速率。此外,因每个模块的配置统一,使得选用的大部分主要设备型号统一,相互之间可以替代,能够节省建设的初投资费用,后续运行阶段也能够使维护较为简便,有效节省运行费用。

4 绿色

数据中心由于存在高发热元件散热瓶颈、资源利用率低和能源效率低“三大难题”,就像一个个不冒烟的钢厂,是名副其实的“能耗巨兽”。所以其绿色节能亦非常重要,从国家层面到地方都对数据中心的能耗进行了引导和限制。

2018年,北京市发布新增产业的禁止和限制目录(2018年版),城六区禁止建互联网数据服务的数据中心,其他区域建设数据中心PUE应<1.4。2018年上海市发布《上海市推进新一代信息基础设施建设助力提升城市能级和核心竞争力三年行动计划(2018—2020年)》中要求,存量改造数据中心PUE不高于1.4,新建数据中心PUE限制在1.3以下。2019年深圳市发布《深圳市发展和改革委员会关于数据中心节能审查有关事项的通知》,提出强化技术引导,跟进PUE的高低,新增能源消费量给予不同程度的支持,PUE1.4以上的数据中心不享有支持,PUE低于1.25的数据中心可享受新增能源消费量40%以上的支持。2019年,《三部门关于加强绿色数据中心建设的指导意见》工信部联节[2019]24号文提出目标:建立健全绿色数据中心标准评价体系和能源资源监管体系,打造一批绿色数据中心先进典型,形成一批具有创新性的绿色技术产品、解决方案,培育一批专业第三方绿色服务机构。到2022年,数据中心平均能耗基本达到国际先进水平,新建大型、超大型数据中心的电能使用效率值达到1.4以下,高能耗老旧设备基本淘汰,水资源利用效率和清洁能源应用比例大幅提升,废旧电器电子产品得到有效回收利用。综上,可以看到不管是国家层面还是数据中心比较集中的北京、上海和深圳等地区,都对数据中心的能耗做出了要求。

数据中心的主要耗能为IT设备、配电系统和暖通空调系统。一个典型的数据中心,能耗主要由四大块组成:第一大块,是占数据中心总能耗约50%以上的IT设备系统,包括服务器设备、存储设备和网络通信设备等;第二大块,是占数据中心总能耗约38%的空调系统,其中,空调制冷系统约占总功耗的25%,空调送、回风系统约占总功耗的13%;第三大块,是占数据中心总能耗约10%的UPS供配电系统,其中UPS供电系统约占总功耗的5%,UPS输入供电系统约占总功耗的1%;第四大块,数据中心总功耗剩余的1%属于辅助照明系统。

由以上分析可以看出,数据中心的IT设备为最大的能源消耗,但该部分能源消耗取决于各种IT设备,如服务器、网络、存储等本身的功耗,当设备运行起来功率是恒定的,我们无法改变,节能潜力不大。数据中心内暖通空调系统的能耗占数据中心总能耗的37%以上,该部分为数据中心节能的最大潜力部分。

供电系统的能耗约占数据中心总能耗的10%,最大能耗来自于变压器、UPS等供配电系统的转换,其次是照明。因此要进行节能设计,应当在这两部分做出努力。

4.1 制冷系统节能

数据中心制冷系统究其原理,其散热可以分解为两部分。一部分为室内部分,通过风、水或制冷剂吸收室内的热量。另一部分为室外部分,冷源部分负责将室内吸收的热量传至室外(图6)。

根据以上原理,可以为数据中心空调系统的规划设计指明方向。由原理图可以看出,室内部分发热的根源为芯片,传统的散热方式为芯片的热量通过热管传递至服务器,服务器通过风扇将热量传递至机柜或房间内,最后再由房间级空调、背板空调或行级空调带出室外。从发热根源到排至室外,要经过多次热交换,每一次热量交换都会造成能量的损失。所以要提高室内部分的换热效率,究其根本是要消除中间环节。目前业界比较热门的液冷就是将散热直接做到芯片级,以此大大提高系统的换热效率(图7)。

6 数据中心冷却过程原理

6 数据中心冷却过程原理

 

7 液冷服务器

7 液冷服务器

 

8 直接蒸发冷却原理图

8 直接蒸发冷却原理图

 

对于室外部分,主要是冷源。目前的冷源主要有机械冷源和自然冷源两种形式。机械冷源以消耗一定的能量为基础,而由于数据中心需要常年制冷的特性,为其提供了利用自然冷源的可能性。要提高室外部分的节能效率,应根据数据中心的实际情况,最大限度地利用自然冷源,目前也出现了多种采用自然冷源的形式,如冷却塔供冷、氟泵空调、蒸发冷却、江水/湖水制冷等方式。

室内部分和室外部分也不是相互隔离的,如在室内部分消除了中间环节,减少了能量损失,就可以提高水冷系统中冷水的温度,为室外部分自然冷源的利用提供便利条件,将来甚至采用自来水就可以实现对数据中心的冷却。再比如直接蒸发冷却的制冷方式,是将数据中心一次冷却和二次冷却结合在一起的制冷方式,在我国西部较为干燥的地区较为适宜。如图8所示,室外的空气经过处理后和室内的排风进行混合,直接送至机房内进行制冷,因其没有压缩机等机械制冷设备,能够大大降低能耗。

4.2 供电系统节能

如前所述,供电系统主要在两个方面进行节能。一是减少变压器、UPS等电力转换部件的损耗,提高其转换效率。在供电架构上,积极探索新型的供电模式,如高压直流技术、市电直供技术等。传统的供电架构为市电(交流电)经UPS整流,再供给数据中心机柜的PDU内。在IT设备内部又通过整流模块,再将220V或380V的交流电转化为IT设备需要的直流电。高压直流供电技术也逐渐成熟,并在行业内有所应用。从供电效率上讲直流供电相比较UPS供电,少了逆变器和输出隔离变压器两个环节,工作效率至少提高10%;由于直流供电系统是模块化结构,单个模块可随时投入或退出运行,实际负载率可控制在高效运行区域,效率进一步得到提升;而实际测试显示UPS负载率35%时,效率为65%左右,负载率低于此数时效率更低,目前多数UPS实际负载率均低于此值;采用直流供电设备工作效率约在90%~95%,比UPS供电节约电能至少25%,可以有效节能(图9)。

4.3 照明系统节能

在数据中心中,照明能耗也占整体能耗的1%左右,也有不小的节能潜力。由于数据中心机房中几乎没有外来人员,平时只有工作人员在机房内巡视工作,而且人员相对较少,没有人员的时候机房内的照明灯具可以完全关闭。我们可以根据数据中心的场景对照明进行智能控制设计,如按照30%(节能)、50%(巡检)、100%(正常)三种模式开启,具体可根据业主的工作流程和项目的投资规模进行修正。

工作人员在公共走道停留的时间也较短,所以公共走道的照明完全没有必要处于常亮状态。可设置智能控制、自动感应,有人出现时灯具自动点亮,当人离开时灯具能够自动延时熄灭,达到节约能源的目的。同时当发生火灾情况时,能够自动点亮应急照明灯具,使人员及时疏散。

5 智能

降低运营管理成本是数据中心管理永恒的话题,智能化是数据中心未来发展的关键点之一,将人从数据中心繁琐的各类维护工作中解脱出来,使得有更多的时间去思考如何把数据中心技术和企业的业务应用更好结合起来。智能化还可大大降低数据中心的人力成本,同时减少人为故障,提升数据中心的运行可靠性,要知道数据中心发生的故障中大多数是人为故障,减少人的参与反而会提升数据中心运行的可靠性。

9 高压直流配电系统和传统UPS系统对比图

9 高压直流配电系统和传统UPS系统对比图

 

云计算技术的普及,也给数据中心带来了更多智能化,从而实现统一、智能管理,提供大平台满足大容量监测的需求,并提供大数据分析能力实现自动管理和维护,可以说智能化给数据中心带来了翻天覆地的变化。

在建设数据中心时,随着业务的不断发展,管理的任务必定会日益繁重。所以在数据中心的设计中,必须建立一套全面、完善的管理和监控系统。所选用的设备应具有智能化、可管理的功能,同时采用先进的管理监控系统,实现先进的集中管理监控,实时监控、监测整个中心机房的运行状况,实时灯光、语音报警,实时事件记录,这样可以迅速确定故障,提高运行性能的可靠性,简化数据中心管理人员的维护工作,从而为数据中心安全、可靠的运行提供最有力的保障。

数据中心设计与施工的优劣,直接关系到数据中心内部各种设备是否能够稳定可靠地运行,是否能够保证各类信息通畅无阻。数据中心既要保障机房设备安全可靠地运行,延长计算机系统使用寿命,又能为系统管理员创造一个舒适的环境。能够满足系统管理员对温度、湿度、洁净度、安全防护、电源配电和防雷接地的要求,所以一个现代化的机房是一个高度可靠性、舒适实用、节能高效和具有可扩展性的机房。

此外,对于智能化数据中心的建设,一方面,数据中心如何基于海量数据,利用人工智能的技术,进一步优化数据中心的运营;另一方面,数据中心会越来越多地去承载大数据的业务、人工智能训练的场景以及人工智能应用的场景,使得自身去适应新的智能化业务的需求[8]

6 结语

本文从数据中心发展的特点出发,解读数据中心未来发展将呈现出可靠、高效、绿色、智能的趋势,以期对大量数据中心的设计、建设、运营管理提供借鉴。

图片来源:图1,7,8来源于文献[3],其余为作者自绘。

 

 

参考文献[1] K Tupper. Making big cuts in data center energy use[EB/OL]. http://blog.rmi.org/blog_making_big_cuts_in_data_center_energy_use, 2012.

[2] Ebrahimi K, Jones G F, Fleischer A S. A review of data center cooling technology, operating conditions and the corresponding low-grade waste heat recovery opportunities[J]. Renewable and Sustainable Energy Reviews. 2017, 31:622-638.

[3] Nadjahia C, Louahliaa H, Lemasson S. A review of thermal management and innovative cooling strategies for data,Center[J]. Sustainable Computing:Informatics and Systems. 2018,19:14-28.

[4] 数据中心设计规范:GB 50174—2017[S].北京:中国计划出版社,2017.

[5] Telecommunications Industry Association:ANSI/TIA—942—A—2017[S]. 2017.

[6] 数据中心现场基础设施Tier Standard[S]. 2018.

[7]气体灭火系统设计规范:GB50370—2005[S].北京:中国计划出版社,2005.

[8] 智能化的数据中心到底该如何建设[EB/OL]. https://baijiahao.baidu.com/s?id=1619170368588082428&wfr=spi der&for=pc,2018.
Research on High Reliability Green Data Center Design
WU Xiaohui ZHAO Chunxiao ZHANG Lijuan CHEN Yue
Abstract: This paper analysis the development direction of the data center design and construction. It is believed that the development of data center has four trends: reliable, efficient, green and intelligent. Each trend is elaborated and analyzed in detail, which provides a reference for the planning and design of data center.
Keywords: data center; green energy; conservation;
811 0 0
文字:     A-     A+     默认 取消