第一篇 IT运维篇

第1章 云平台架构

1.1 数据中心

Q1.网络云资源池机房基础设施及配套要求是什么？

一、机房基础设施及配套要求

（一）集中网络云机房总体要求

（1）“面向未来、长远规划”，按照满足5～10年业务发展需求，先行规划建设集中网络云所在数据中心机房基础设施[1]。

（2）集中网络云所在数据中心机房应满足《中国移动数据中心机电工程建设指导意见》最新版中关于A级数据中心的相关规定。

（3）集中网络云所在数据中心机房所在机楼原则上应具备三条出局光缆，满足接入省份至本节点省份主用节点、备用节点路由需求。

（二）机房工艺要求

（1）尾纤槽道下线孔与机柜下线孔位置匹配，方便布线，减少路由迂回。

（2）为充分利用机架空间、提升装机率，服务器机柜（包括计算型、存储型）应采用密集部署方式装机。

（三）机房消防要求

在进行机房规划时，应该遵守国家关于消防安全的规定，不得设置对消防喷头有任何阻挡的设施，依据现行的《气体灭火系统设计规范》（GB 50370—2015）、《建筑设计防火规范（2018 年修订版）》（GB 50016—2014）、《火灾自动报警系统设计规范》（GB 50116—2013）、《消防给水及消火栓系统技术规范》（GB 50974—2014）、《自动喷水灭火系统设计规范》（GB 50084—2017）和《建筑灭火器配置设计规范》（GB 50140—2005）等的相关规定进行设计。

（四）机房环境监控要求

监控系统要对机房环境、安防等方面进行实时监控，并记录和处理相关数据，保障各类通信设备的安全运行。

二、机架、走线架及尾纤槽道要求

（一）机架要求

每个网络云节点省份内同一机房的机架为同一种样式：颜色深色系，统一要求新增机柜不设柜门。机架尺寸建议为600mm（宽）×1200mm（深）×2200mm（高）。

（二）走线架及尾纤槽道要求

机房线缆在布放时应采用走线架及尾纤槽道方式。

1.走线架要求

（1）机房线缆在布放时应采用走线架，走线架应选择开放式走线架，并应设置至少两层走线架；交流电缆、直流电缆、信号电缆严禁交叉混走，各走线架用途应有清晰标识。

（2）列走线架不应安装在热通道上方，应尽量安装在机架上方，以避免阻碍回风效果。

（3）水平安装的走线架距机架顶部不应小于0.1m。

（4）走线架多层敷设时，其层间距离应符合下列规定：电力电缆走线架间距离不宜小于 0.3m；通信电缆与电力电缆走线架间距离不宜小于 0.3m；通信电缆走线架间距离不宜小于 0.2m；走线架上部与顶棚、楼板或梁等障碍物间距离不宜小于0.3m。

（5）走线架敷设应满足机房内信号线缆双路由要求。

2.尾纤槽道要求

（1）考虑网络云设备信号线缆以尾纤为主，并且尾纤数量较多，尾纤槽道宽度要求原则上不低于240mm。

（2）列尾纤槽道敷设位置应保证其下线口与机架下线口对准。

（3）主尾纤槽道建议敷设在列尾纤槽道两端位置。

（4）尾纤槽道敷设应满足机房内信号线缆双路由要求。

3.机架排列要求

（1）在进行机房平面规划时，机架布置采用“面对面、背对背”的排列方式，相邻两列设备的吸风面（正面）安装在冷通道上，排风面（背面）安装在热通道上，实现冷热气流分隔，形成良好的气流组织，提高空调的制冷效率[2]。

（2）机架内未安装设备的 U 位，应安装挡风盲板，实现冷热气流分隔，形成良好的气流组织。

（3）工艺设备列间距要考虑工艺设备维护空间，还应根据机架装机功率密度的大小合理选择列间距。

（4）机架列间距根据设备发热量、送风方式、设备运输及维护要求等因素确定，标准机架正面维护净间距不小于1200mm，背面维护净间距不小于800mm。

4.机架加固要求

机架应根据《电信设备安装抗震设计规范》（YD 5059—2005）进行加固处理。

注：后续如发布更新的业务、网络系统对应机房级别划分相关规范，应按照最新规范要求执行。

Q2.网络云资源池供电系统如何管理？

一、电源设计要求

（一）机房电源要求

（1）电源配套建设标准应满足《中国移动数据中心机电工程建设指导意见》A级机房要求。

（2）网络云机房应采用双路高压直流、双路 UPS （Uninterruptible Power Supply，不间断电源）保障两种供电方式。UPS、高压直流采用2N系统。

（3）网络云设备应采用专用通信电源系统（高压直流电源系统+蓄电池组/UPS+蓄电池组）为网络云设备供电；蓄电池组按后备时间15分钟高功率型电池配置。

（4）应由相互独立的电源系统（高压直流电源系统+蓄电池组/UPS+蓄电池组）为A、B硬件分区设备分别供电。

（二）机架电源要求

（1）对于机柜PDU（Power Distribution Unit，电源分配单元），应按机房规划选择合适的规格。

（2）所有插座应为防脱插座，有效杜绝电源线松动。

（3）高压直流插座分路应配置相应的高压直流断路器，对于机架配电母线场景使用的PDU应配置总开关。

（4）单机架要求至少支持 7kW 的设备运行功耗，推荐采用机架配电母线替代传统列头柜配电，提高配电柔性，解决个别高功耗设备的配电需求。

二、电源建设现状

网络云电力电池室配UPS、低压配电柜、高压直流电源及蓄电池组。数据中心机楼进场电源为两路 10kV 市电，经一次高压、二次高压及机楼变压器等设备变为低压市电，送至各网络云机房配套电力电池室低压配电设备。

Q3.网络云资源池常用供电方式的区别是什么？

网络云资源池常用供电方式主要有 220V 交流电和 336V 直流电两种，其区别如下。

1.220V交流电

在三相四线制中，相线与零线之间的电压称为相电压，其标称有效值为220V，是目前交流设备常用的供电方式，在数据中心、通信机房中通常由 UPS为用电设备供电。

2.336V直流电

直接为用电设备提供336V直流电的供电方式，与UPS相比，结构简单，效率、可靠性更高，336V高压直流电目前主要应用于数据中心。

Q4.网络云资源池电源2N系统、3N系统的区别是什么？

一、2N系统

2N 系统又称双总线供电系统，由两套完全独立运行的 UPS 系统、LBS（LoadBus Synchronization，负载同步系统）、STS（Static Transfer Switch，静态转换开关）、输入及输出屏构成，当一套UPS系统出现问题时，另一套UPS系统可承担供电工作[3]。

二、3N系统

3N系统也称为三母线系统、三角形供电系统，即每三套UPS系统组成两两双总线分布冗余系统，三套UPS系统互为主备用，有三条母线同时对外输出电力[3]。当一套UPS系统异常时，另两套UPS系统可承担供电工作。

三、2N系统和3N系统的主要区别

（1）正常运行时的最大负载率要求。在2N系统中，每套UPS系统的负载率不应超过额定容量的 45%；在 3N 系统中，每套 UPS 系统的负载率不应超过额定容量的60%。

（2）故障时的最大负载率要求。在2N系统中，当其中一套UPS系统退出时，另一套UPS系统的最大负载率不应超过额定容量的90%；在3N系统中，当其中一套UPS系统退出时，另两套UPS系统的最大负载率不应超过额定容量的90%。

（3）3N 系统供电方式满足双总线供电系统的基本要求，面对相同的供电容量需求，3N 系统的供电方式需要的供电设备更少，相应地缩减了配电设备对机房空间的占用，有效地提升了通信设备的可安装面积[3]。

（4）相较 2N 系统，3N 系统在应用中容易出现负载三相不平衡、系统 UPS单机负载不平衡等现象，需要合理分配负载，否则会导致中性线零点漂移，严重时甚至会烧毁负载设备[3]。

Q5.网络云资源池制冷系统如何管理？

一、机房制冷系统设计要求

（一）机房空调要求

网络云新启用机房空调方式应为新型空调末端，制冷能力应满足设备功耗。

（二）机房散热要求

根据网络云资源池设备功耗统计，单机架最大运行功耗为 7kW，基本上可以满足所有硬件设备的散热要求。

对于列间空调方式：两列机架组成的一个封闭热通道（或封闭冷通道）是一套空调系统，一套系统承担机架总发热量不超过设计值即可，系统内个别机架发热量可不受限。

二、机房制冷系统建设现状

网络云机房冷站制冷系统采用数据中心集中供冷模式（见图 Q5-1），以河北节点省为例，保定数据中心集中供冷模式主要采用 10kV 高压离心冷水机组+板式换热器（简称板换）+冷却塔系统的形式。数据中心两栋机房楼分别设置一个冷站，每个冷站有三套制冷系统，两栋机房楼共六套制冷系统，通过地下母联管路形成“5+1”配置。每栋机房楼配置一个600m3的蓄冷罐。

每个冷站内三套制冷系统的冷冻水侧并入一个环网，冷机/板换与冷冻泵可交叉对应；三套制冷系统的冷却水侧分别为独立运行的系统，冷机/板换与冷却循环泵、管路、冷却塔一一对应（仅楼顶冷却塔之间可以互连）。

1.冷冻水供水路由

从冷机/板换降温后的冷冻水通过分水器、双路环管，送至各楼层末端。

2.冷冻水回水路由

从各楼层末端通过双路环管、集水器、冷冻泵，回到冷机/板换进行降温。

3.冷却水供水路由

从冷却塔蒸发散热后，温度相对较低的冷却水通过供水管路、冷却循环泵，回到冷机/板换进行热交换。

4.冷却水回水路由

从冷机/板换完成热交换的温度相对较高的冷却水通过回水管路、冷却塔进行蒸发散热。

制冷系统主要包括冷机、板式换热器、冷冻水循环系统、冷却水循环系统、冷却塔、蓄冷罐、末端空调等设施。

（一）冷机

每个冷站配置三台高压离心冷机，两栋机房楼共六台高压离心冷机，通过地下母联管路形成“5+1”配置。按照设计，数据中心满载时，A 楼运行三台冷机，B楼运行两台冷机。冷机供冷模式主要应用于非自然冷却时间。

（二）板式换热器

每栋机房楼三台板式换热器，两栋机房楼共六台板式换热器，通过地下母联管路形成“5+1”配置。按照设计，数据中心在满载时，A 楼运行三台板式换热器，B 楼运行两台板式换热器。板式换热器供冷模式主要应用于自然冷却时间。

（三）冷冻水循环系统

冷冻水管路在冷站内形成环路，每个冷站采用分水器、集水器以双管环路系统给机房楼二层至五层供应冷源（一楼为单路冷源）。但是，在管路爆管、冷冻水大量失水等故障情况下，故障点隔离、系统排气、补水等应急处置措施历时较长。

1.分水器

每个冷站配置两台分水器，以负荷分担方式运行。

2.集水器

每个冷站配置两台集水器，以负荷分担方式运行。

3.冷冻泵

每个冷站配置三台冷冻泵，以负荷分担方式运行。

4.定压补水装置

每个冷站配置一大（5m3/h）、一小（2m3/h）两套定压补水装置，以主备用工作方式运行。

（四）冷却水循环系统

每个冷站配置独立的三套冷却水循环系统，分别与三台冷水机组、三台板式换热器、三组冷却塔一一对应。

1.冷却循环泵

每栋数据楼配置三台冷却循环泵，独立运行，分别与三套冷却水循环系统一一对应。

2.冷却塔补水蓄水池

园区配置两个冷却塔补水蓄水池，以负荷分担方式运行，共1584m3，可在供水中断的情况下满足12小时用水需求。

（五）冷却塔

每栋数据楼配置三组制冷用冷却塔，其中，两组冷却塔每组有五个冷却塔，以负荷分担方式运行，一组冷却塔有三个冷却塔，同样以负荷分担方式运行。负荷冷却塔组之间也以负荷分担方式运行。

（六）蓄冷罐

每栋机房楼配置一个 600m3的蓄冷罐，可在紧急情况下提供 15 分钟冷源供应。

（七）末端空调

网络云业务机房末端空调为热管背板空调，每个机房配置244 台，共1220 台。按照系统设计，每个机房的制冷冗余量为35%。

电力电池室空调为上送风冷冻水型精密空调，每个空调间配置三台，以“2+1”模式运行。

Q6.数据中心常见的空调背板类型有哪些？

大型数据中心普遍采用集中水冷冷冻水空调系统，冷冻水送至机房末端空调，在空调内部表冷器与机房空气进行热交换，通过风机将冷风送至 IT 设备进风，抵消 IT 设备工作过程中产生的热量，使得机房处于合适的温度和湿度，提升IT设备工作的稳定性和使用寿命。

数据中心末端空调一般采用三种形式：热管空调、列间空调和水冷末端空调。其中，热管空调和列间空调通过冷媒或空气将冷冻水进水的冷量送至机房，热交换通过板式换热器完成；水冷末端空调的制冷过程无制冷剂参考，冷水的冷量与机房内热空气直接进行热量交换。

数据中心常见的空调背板为水冷背板和热管背板。水冷背板采用水作为载冷剂，水资源相对比较丰富，所以投资更少，水冷背板比热管背板减少了一次换热，效率更高。因为冷冻水进入了机房内，所以机房的风险变高，一旦出现漏水就会损坏设备。热管背板采用氟利昂作为载冷剂，投资偏高，又多了一次换热，系统效率略低，但是水不进入机房，安全性更高。