3.6 案例:OceanStor V3融合存储
华为OceanStor V3融合存储(以下简称V3存储)是面向企业级应用的新一代统一存储产品。凭借面向云架构的存储操作系统、强劲的新一代硬件平台和丰富的智能管理软件,V3存储在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好地满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求,广泛适用于政府、金融、电信、能源、媒资等行业。同时,V3存储能够提供高效、灵活、丰富的备份、容灾解决方案,有效地保证用户业务的连续性和数据安全,为用户提供卓越的存储服务(见图3-23)。
图3-23 华为OceanStor V3融合存储
3.6.1 新一代硬件
V3存储采用Intel全新多核处理器,支持16Gbps FC、10Gbps FCoE、56Gbps InfiniBand等主机接口;内部采用新一代PCI-E 3.0总线,并采用12Gbps SAS 3.0高速硬盘接口,可提供高达28GB/s的系统带宽,满足高带宽应用场景所需;提供百万级IOPS,性能及规格全面领先。
V3存储采用业界独有的SmartI/O卡,单张接口卡可根据用户需求设定不同的接口协议,支持8Gbps FC、16Gbps FC、10Gbps iSCSI和10Gbps FCoE等协议类型。
V3存储的重删压缩卡可支持性能无损的数据重删/压缩功能,有效降低数据存储成本,也可支持数据加密功能,确保用户数据安全无忧。
3.6.2 多控架构
V3存储的多控架构支持在线横向扩展,最大可在线扩展至8个控制器,1TB缓存容量及5PB存储空间,满足客户未来业务增长所需。多控架构可以实现控制器间负载均衡,消除单点故障,实现系统高可用,保护业务稳定在线。
3.6.3 融合设计
融合设计涉及以下内容。
● SAN与NAS的融合:一套设备兼容SAN和NAS两种服务,满足业务弹性发展,简化业务部署,提升存储资源利用率,有效降低TCO。块服务与文件服务由底层存储资源池直接提供,缩短了存储资源的访问路径,从而保证两种服务同样高效。
● 异构设备的融合:通过内置异构虚拟化功能,V3系列中端存储能高效接管其他主流厂商存储阵列,并整合成统一的资源池,实现资源的统一、灵活分配。
● 高中低端的融合:业界唯一高中低端互联互通,无须借助第三方系统,数据即可在不同型号设备中自由流动。
● SSD和HDD的融合:集成传统存储和全固态存储双重优势,可将不同类型介质的性能均发挥到极致,满足用户在性能和成本上的最优均衡。
● 主存与备份的融合:通过内置备份功能,用户无须额外购买备份软件即可实现高效的数据备份,有效降低备份方案的管理复杂度。
3.6.4 智能软件
智能软件包括以下内容。
● 多租户和服务级别:匹配企业组织架构,按用户需求实现云计算环境下的存储资源智能分配,根据不同部门的数据安全要求,实现数据隔离且提供不同的数据安全策略,如数据加密、数据销毁等。提供四种服务级别,按业务优先级调配存储资源,高优先级业务优先获得存储资源、保障性能和响应时间。
● Smart系列效能提升软件:V3系列中端存储采用SmartTier(自动分级存储)、SmartMotion(智能数据迅移)技术和融合创新的SmartVirtualization(异构虚拟化)等技术,实现了垂直、水平和跨系统的全方位数据流动,存储资源利用率提升3倍。
● Hyper系列数据保护软件:通过远程复制、快照、LUN拷贝等数据保护软件,满足用户本地、异地以及多地数据保护需求,最大程度地保障用户业务连续性和数据可用性。
3.6.5 统一便捷管理
统一便捷管理包括以下内容。
● 统一管理:一套管理软件可统一管理多型号产品,并提供全局拓扑展示、容量分析、性能分析、故障定位和端到端业务可视等强大功能。
● 便捷管理:精简的配置向导设计,初始配置设备只需5步,在40秒内即可完成;扩展容量仅需2步操作,15秒内即可完成。
● 移动管理:用户可使用Pad、手机即时管理存储系统,系统状态信息自动送达,无须专人值守。
3.6.6 RAID 2.0+块级虚拟化
V3存储采用RAID2.0+块级虚拟化技术。RAID2.0+采用底层硬盘管理和上层资源管理两层虚拟化管理模式,在系统内部,每个硬盘空间被划分成一个个小粒度的数据块,基于数据块来构建RAID组,使得数据均匀地分布到存储池的所有硬盘上,同时,以数据块为单元来进行资源管理,大大提高了资源管理的效率(见图3-24、图3-25)。
图3-24 RAID 2.0CKG切分原理
图3-25 RAID2.0 EXTENT、GRAIN切分原理
● V3存储支持三种不同类型(SSD、SAS和NL-SAS)的硬盘,这些硬盘组成一个个的硬盘域(Disk Domain),在硬盘域中,同种类型的硬盘按照一定的规则被划分为一个个的Disk Group(DG)。
● 在DG中,每个硬盘被切分成固定大小的数据块(chunk,也叫CK),OceanStor存储系统通过随机算法,将不同硬盘的chunk(CK)按照RAID算法组成chunk group(CKG)。
● CKG被划分为固定大小的逻辑存储空间(extent),extent是构成Thick LUN的基本单位;对于Thin LUN,会在extent上再进行更细粒度的划分(grain),并以grain为单位映射到Thin LUN。
3.6.7 SmartTier分级存储
SmartTier特性是华为公司在RAID2.0+技术之上自主研发的分级存储特性,根据不同的硬盘类型建立不同的存储层(tier),统计分析数据块的访问频率,并根据分析结果在不同存储层间自动迁移数据,以确保数据在合适的时间内存放于合适的存储介质中,从而提高存储系统性能并降低用户投资成本。
V3存储支持SSD、SAS和NL_SAS三种类型的硬盘。不同存储介质在存储成本和性能方面的差异很大,用户难以在存储成本和存储性能之间权衡。
● SSD:响应时间很短,单位存储请求处理成本很低,单位存储容量成本很高。
● NL-SAS:单位存储容量成本较低,单位存储请求处理成本很高。
● SAS:介于以上两者之间。
为了解决客户对于存储性能、容量、成本需求难以兼顾的问题,V3存储基于以下原则推出了SmartTier特性。
● 高性能,多承载:业务多样化,业务性能要求差异化。
● 灵活性,易用性:配置便捷,自动调整数据,选择最合适的介质。
● 高效率,低功率:绿色节能,高效利用空间。
SmartTier的分层属性,如表3-2所示。
表3-2 SmartTier分层属性
如图3-26所示,SmartTier进行LUN级别的智能化数据存放管理,将LUN数据按照默认4MB(512KB~64MB可调)的粒度划分,该粒度被称为“数据迁移粒度extent”。SmartTier以“extent”为单位,统计和分析数据的活跃度,将不同活跃度的数据和不同特点的存储介质动态匹配,并通过数据迁移将活跃度高的“繁忙”数据迁移至具有更高性能的存储介质(如SSD硬盘),将活跃度低的“空闲”数据迁移至具有更高容量且更低容量成本的存储介质(如NL_SAS硬盘)。
图3-26 SmartTier原理
一个完整的SmartTier业务流程经历以下三个阶段。
➢ 热点统计
SmartTier允许用户自定义I/O监控的时间段,在指定的时间段内,对写入和读取的数据进行统计。随着数据生命周期的推移,数据的活跃度会发生变化,存储系统根据两个extent的活跃度来判断一个数据块是否比另一个更“热”或更“冷”。每个extent的活跃度通过统计数据块的性能指标得出。
➢ 排布分析
排布分析阶段使用热点统计数据进行热点分析,分析结果会对存储池中的每个extent排序,顺序由高至低,从同一个存储池中的最热extent开始,直到最冷extent(排序在同一个存储池中进行),最终生成数据迁移方案。SmartTier在数据迁移之前根据最近一次生成的数据迁移方案决定extent的迁移方向。
➢ 数据迁移
SmartTier有两种迁移触发模式:手动触发和定时触发。手动触发的优先级高于自动迁移。手动触发可以根据需要立即触发迁移,定时触发是根据预先设定好的开始迁移时间和持续迁移时长进行自动触发迁移,可以预先设置每周的哪些天的什么时间开始触发迁移,以及迁移持续的时长。