【摘要】
本文介绍了IBM DS8100存储替换为国产华为闪存存储的一个实践案例。在当前各行各业的关键业务大力推行国产化自主可控设备替代的背景下，我行也在国产化设备替代方面进行探索和改革。通过从需求分析、项目建设难点、设备选配、数据迁移以及实践效果等方面的着重介绍了我行社在替代过程的各个阶段所遇到的问题和解决思路。希望本文能为同行在国产化设备替代的进程中起到抛砖引玉的作用。
【作者】关洋，
目前就职于某省级农信信息科技部，主要负责数据中心的服务器和存储设备等关键基础设施的运维工作，善于处理AIX和Linux系统方面的故障问题，在金融行业运维10余年，拥有IBM CATE专家技术认证。
一、前言
金融行业是中国信息化建设中最重要的一个行业，也是我国信息化建设程度最高的一个行业，IT技术已经成为金融企业的生命。目前，互联网、大数据、云计算、人工智能等新一代信息技术不断取得突破，金融科技发展正迎来浪潮，金融与科技深度融合已经成为一种趋势。银行业作为金融领域的重要组成部分，银行业的IT建设也将得到飞速发展。在此背景下，国家出台了一系列相关政策，为银行IT行业的发展提供政策助力，同时鼓励相关金融机构大力推广及使用国产化自主可控的相关软硬件产品进行信息系统的更新迭代和项目建设。
二、建设背景
我行数据中心信贷系统一直使用的是IBM小型机服务器、Informix数据库和IBM DS8100存储。但是随着时间的推移和业务数据的增长，IBM DS8100存储容量、IOPS等无法满足业务增长需求，同时根据本行设备生命周期管理办法的相关规定，对于重要信息系统的设备使用周期最长不应超过6年。而当前存储已经使用9年，设备故障处于高发期，对于该设备IBM厂家也已经停止更新支持。综述考虑该存储设备已经没有扩容的必要性，建议及时更新系统存储。
三、需求分析
本次存储更新工作需要在重要信息系统上进行国产化设备替代的尝试工作、满足监管对信息数据安全的要求、选择的产品支持多种存储协议合一的设备、支持多种数据场景的使用、支持满足多种磁盘类型合一的设备、支持免网关的SAN及NAS一体化双活场景配置、控制器升级全场无中断满足高业务连续性要求、同时要求所选产品有强大的后台研发技术支持团队，对客户突发情况有及时的现成响应能力等。
四、项目建设难点
1、项目建设的集成商和存储设备厂商是否能够提供存储数据迁移完整的解决方案，满足数据迁移过程中客户的个性化需求，保证数据迁移过程中业务无中断、零感知操作；
2、存储的兼容性，是否能够满足多种操作系统的存储需求，是否能够提供不同操作系统平台的专用多路径软件，同时满足SAN存储使用的FC协议、NAS存储使用的NFS协议和iSCSI协议等多种协议的连接需求；
3、如何在迁移过程中有效的保证数据完整性和一致性要求；
4、迁移过程中，存储需要有充足的IO资源保证迁移操作的IO对现有正常业务产生的IO无影响；
补充说明：在所有厂家交流过程中都是保障没有问题的，但后续往往落地的时候都会出现各种交付问题，不得不花费大量人力与精力参与问题的解决。
五、设备选配
在尝试国产化设备替代的情况下，根据如下几点要求进行了相关设备的选型工作。
1、要求国内主流存储品牌，国内存储占有率排名靠前；
2、要求该品牌在国内有强大的研发团队，能随时在最短时间内响应客户需求；
3、要求该品牌在设备使用地区有专门的技术服务团队，团队人数不得少于10人等。
在跟国内多家主流存储品牌厂商交流后，同时根据当前的项目建设预算综合评定后，最后选择了华为存储。存储型号选择的是1台华为OceanStor 5500F、2台华为OceanStor 5500。存储为统一存储，支持双活模式。考虑业务负载情况和最终的使用，决定把SAN存储和NAS存储功能分开使用。
六、数据迁移过程
|
|
|
|
|
|
|
|
|
AIX6.1，informi11，数据库的存储盘是使用的裸设备，通过HACMP实现双机主备冗余模式,划分到系统磁盘100GB |
|
|
|
|
|
|
|
64块146GB 15K FC磁盘
64块300GB 15K FC磁盘
|
存储Raid模式采用Raid5，实际可用容量20TB。
理论IOPS不超过10w。
|
|
|
|
在当前机构下的所有设备，主机端口、存储端口都是8Gbps SFP |
两台Power750服务器通过HACMP实现双机冗余互备模式，Informix数据库的存储磁盘使用lv裸设备，通过HACMP进行对共享卷组的迁移实现业务数据在两台设备上的主备冗余，实现数据库高可用模式。当发生主机故障时，可以通过手动或者自动切换卷组。系统的共享文件夹通过共享卷组创建，使用NFS协议进行文件夹导出使用。该系统上线的时间大约在2010左右，所以架构上使用的IBM最传统的HA冗余架构。该系统为信贷管理系统，负责全省的个贷和对公业务，存储性能基本可以满足正常业务需求，及时是夜间批量时间。
但是随着存储使用年限的增加，该存储故障率逐年增高，厂家也不在对该设备进行技术支持，对业务连续性带来巨大挑战，同时由于国产化设备替代工作的不断推进，进而需要采购新的存储对其进行替代工作。
|
|
|
|
|
|
|
|
|
SAN存储，用于更新DS8100，主用于信贷系统数据库。采用的Raid5模式，实际可用容量约86TB，理论IOPS约30w。 |
|
|
|
|
NAS存储，实现NAS双活模块，分别位于生产数据中心和同城数据中心 |
|
|
|
|
本次更新把业务层面使用的存储功能彻底分开，使SAN功能和NAS功能分别使用不同的专用存储。同时也可以为其它后续建设的业务系统提供相关的存储资源。
更新SAN存储时，厂家优先建议通过存储自身的存储虚拟化功能进行业务迁移，可以有效保障数据一致性的问题。但是这种方法要求存储业务需要中断一次，无法满足信贷信息系统的高业务连续性需求。存储同步功能也会要求新存储的磁盘和老存储的磁盘的容量大小一致，由于原先的存储LUN为100GB，如果在新存储上仍然使用100GB一个LUN，对于后期数据库扩容时，增加了系统管理人员的操作难度和在扩容过程中可能存在对业务正常io的影响。因为分配到系统上的磁盘将会多达150多块（操作系统本身是支持的），HACMP每次往共享卷组中增加磁盘同步的时候，都会把所有pv、lv等信息同步一遍，卷组中的pv和lv等越多，同步所花费的时间就会越长，可能会出现过多的io等待。最后决定使用AIX自身的LVM功能实现数据的迁移。
迁移过程中，新存储划分500GB一个LUN（便于后期的系统维护），系统识别后，通过rendev命令对新磁盘重新命名，防止后续操作中磁盘过多发生误操作。原卷组中增加的磁盘总容量大于原有卷组容量即可，通过HACMP中的C-SPOC功能把新盘添加到共享卷组中，使用LVM的mirrorvg功能对存在的lv裸设备进行镜像对复制，当全部复制完成后，对DS8100的磁盘进行unmirrorvg操作，并从共享卷组中剔除原有磁盘，系统层面进行删除磁盘操作。后续进行取消主机映射操作。至此，SAN存储更新全部完成，由于该系统的磁盘数据过多，同步操作过程中并不需要人工干预，为了降低复制过程中对现有正常业务正常IO的影响，本次操作基本上是全部在周末和夜间完成，最终间断性花了3天时间全部完成，实现业务层面零感知的存储切换。
新NAS存储功能上线，本次NAS存储建设时，考虑到了生产和同城的容灾需求，最终按照双活模式进行系统建设。本次建设存储的前端口均使用万兆网卡，并配置聚合模式增加网络带宽，使用4条复制链路，仲裁选择在生产中心（从网络安全角度，未考虑第三站点）。在进行数据迁移过程中，由于原有的NFS服务端为AIX系统，客户端为Linux系统。为了便于迁移，先把华为存储的共享目录挂载在客户端临时目录下，通过rsync命令进行数据可增量复制。在进行NAS切换时，需要短暂的业务中断，应用停止后，进行最后一次rsync数据同步操作，同步完成，进行目录切换。至此，原NFS共享目录成功切换至NAS存储上。
该阶段的特点：一是对存储兼容性要求低；二是对业务现有拓扑结构改动较小，本场景下可以无中断或者中断时间较短迁移；三是通过HACMP和AIX LVM功能进行迁移数据，会占有部分服务器资源；四是SAN迁移过程中，业务不会中断，可以持续进行，但会有性能损耗；五是使用rsync命令可以进行增量复制，不需要考虑已经复制过的目录有新数据写入，产生的数据不一致情况。
七、实践效果
存储迁移后系统运行良好，未出现影响业务系统正常运行的情况。华为的国产化存储设备已经满足金融机构多场景的使用需求。当前我行社投入使用的华为OceanStor 5500F 存储最大IOPS可以支持到30w+，除了运行信贷管理系统外，像涉农信息系统等其余9套系统均在此存储上运行使用，通过存储监控软件分析目前最大IOPS使用率才不到8w，系统性能良好，后续可以通过扩容磁盘的方式进一步提高存储的IOPS能力。由于当前架构内的SAN导向器的端口为8Gbps，限制了高带宽需求，个别时间段有部分存储端口利用率达85%，后续可以通过更新SAN导向器来降低存储端口利用率。同时我行社投入使用的华为OceanStor 5500一套双活NAS存储，目前已经接入业务系统达30套，其中重保系统有10套左右，系统运行良好。业务高峰时，OPS使用率不超过2000，带宽利用率不超过200MB/s，系统资源非常充足。
实践使用建议：一是SAN存储购买时，前端口不建议低于16Gb，保证系统有充足的前端口，充分发挥存储性能；二是华为存储选型时，对于金融机构的信息系统使用时，不建议存储型号低于华为OceanStor 5500系列且Cache容量不低于256GB，因存储的小系统内存无法手动分配，其根据存储型号和Cache不同而大小不同，小系统内存不足时会造成控制器宕机重启（每个控制器的小系统相对独立），及时存储的磁盘资源和Cache资源都充足的情况下，对于业务连续性会产生影响。三是NAS存储购买时，前端口不建议低于10Gb，保证系统有充足的前端口，不但可以提高带宽负载，而且可以实现用于不同的网络区域。四是NAS的仲裁网络网关与复制链路网络网关尽量属于不同的网关设备，防止极端情况下，网关设备故障，造成仲裁网络与复制网络同时不可用，进而影响业务不可用的情况发生；五是在配置NAS共享目录客户端IP地址的时，尽量填写具体IP地址，便于后期共享目录回收时，方便查找客户端服务器。
八、总结
存储迁移方案有很多，需要根据现有的业务环境以及停机窗口要求进行择优选择适用于当前场景的方法。对于金融机构来讲，数据的安全永远是第一位的。
点击文末
阅读原文
，可以到原文下留言交流
觉得本文有用，请
转发、点赞
或点击
“赏”
，让更多同行看到
欢迎关注社区
“存储”技术主题
，将会不断更新优质资料、文章。地址：
https://www.talkwithtrend.com/Channel/179
下载 twt 社区客户端 APP
长按识别二维码即可下载
或到应用商店搜索“twt”
*本公众号所发布内容仅代表作者观点，不代表社区立场
；封面图片由版权图库授权使用
