大数据时代，数据爆发式增长，根据IDC预测，海量数据中超过80%的数据都是非结构化数据。这也就对非结构化数据的存储、管理和使用提出了更高的要求。


早期很多企业在规划非结构化数据存储时，由于数据量比较小，都采用传统NAS来存储。随着业务创新速度加快，数据量成几何级增长，面对海量非结构化数据存储及大数据分析需求，存储容量难以弹性扩展和大规模小文件访问性能不足成为传统NAS存储的突出问题。源于互联网行业的对象存储，扁平化存储结构设计，对象之间相互独立，访问操作简单，对象检索路径短，具有高扩展、易管理、高安全、低成本、高并发等特点，能够很好的满足海量非结构化数据的存储需求，其使用范围正向各行各业快速扩展。


很多使用传统NAS存储的企业已经在规划存储转型，将原有NAS存储系统上的数据和业务迁移至对象存储的需求越来越普遍。企业IT部门在规划业务和数据迁移时，特别关注以下几点：

1.迁移过程中业务是否中断？

2.迁移效率如何？

3.迁移后原有设备是否可以利旧？


针对在线迁移，目前市场上使用较多的是下面两种技术方案：


    增量数据复制，将数据拷贝一份到新建存储。数据拷贝过程中业务还在正常运行，会不断有增量数据写入。完成首次数据复制后，需要中断业务，获取增量数据，做一次增量复制后，才能将业务切割到新存储系统。为了缩短业务中断时间，往往需要做多次增量复制，直到增量数据较少时才中断业务，快速完成最后一次增量复制。采用这种迁移方式，如果前端业务量比较大，则迁移周期会非常久，遇到原有存储系统容量不足、一时无法扩容，将难以达成业务在线迁移目标。


    增量元数据重建，扫描数据的元数据，并导入到新存储集群，建立对象与旧存储系统的数据映射关系后，再异步迁移数据。元数据重建过程中业务还在正常运行，会不断有增量元数据产生。完成首次元数据重建后，需要中断业务，获取增量元数据，做一次增量重建后，才能将业务切割到新存储系统。为了缩短业务中断时间，往往需要做多次增量重建，直到增量元数据较少时才中断业务，快速完成最后一次元数据增量重建。这种方案在完成元数据重建后就可迁移业务到新存储系统，元数据量比较小，迁移周期比前一种更短。

以上两种在线迁移方案都需要中断业务，只是业务中断时间窗口有长有短，本质上都不能保证核心业务的无中断迁移。


XSKY业务无中断迁移方案

基于XSKY对象镜像回源技术的迁移方案，可以真正实现业务无感知、零中断的无缝平滑在线迁移。
图片

首先，在新对象存储集群上配置镜像回源，选择原有存储平台（NAS存储、S3私有云、公有云等）作为回源的源站存储。


然后，将业务访问存储的入口切换至新对象存储集群。业务新数据写入新对象存储集群，原有存储上不再有增量数据写入。当业务从新对象存储集群中请求读取旧数据时，因数据在本地存储中不存在，此时触发回源，对象存储系统根据前面配置的回源信息，从源站存储读取所需数据后即时返回给应用，并在后台启动镜像任务，从源站存储上复制一份完整数据到本地存储，完成该文件的数据迁移。切换后，业务以新存储集群为统一访问入口，新老数据都能访问，完成业务从原有存储到新建存储的平滑迁移。


最后，从原有存储中一次性导出文件列表清单，向新建对象存储系统下发镜像回源任务，将原有存储系统中的数据复制新建对象存储系统，完成全部数据迁移。


在原有存储中只有少部分数据有利用价值，同时又无法提前筛选的场景，可以通过镜像回源，借助应用访问来触发数据迁移，避免全量迁移而浪费新集群存储空间。



XSKY业务无中断迁移案例

世界500强企业新华人寿保险，很早就启动规划业务数字化转型，认同分布式软件定义存储发展方向，经过多方选型论证，最终选择和XSKY星辰天合合作，初期部署了30多个节点的统一存储集群(集群A)，支撑集团线上APP业务、客户信息系统、门户业务系统、集团OA系统等。随着业务的不断发展，数据量快速增长。特别是对象存储承载的电子保单管理系统、双录系统、电子影像系统，每天都会产生大量非结构化数据，集群容量占用已接近预警线，扩容迫在眉睫。


然而，目前租赁的IDC机房已无足够空间容纳新设备上架，无法直接扩容现有集群。从长远规划考虑，客户最终决定新购一批设备，在自有IDC数据中心部署一套存储集群(集群B)，将核心业务及其存储的数据从托管IDC迁移至自有IDC。由于是核心业务，客户要求XSKY星辰天合提供无业务中断的迁移方案。


在与客户的沟通中，回源镜像数据迁移方案很快获得认可，并付诸实施。实施过程也非常简单：

第一步：在集群B上配置到集群A的镜像回源。

第二步：在DNS服务器上，将业务访问存储的域名所对应的IP地址从集群A变更为集群B。

第三步：业务端DNS缓存老化后，重新请求DNS域名解析时，获得集群B的地址，自动完成业务访问入口的切换。

第四步：从集群A获取对象清单，在集群B中下发镜像回源任务，完成数据迁移。


整个实施过程，都由IT部门操作完成，业务完全无感知、无中断，保障了客户业务快速切换上线，达到了业务和数据全部在线平滑迁移的目标。


同样的在线迁移方案，还被应用在东方明珠、随行付、天津数据湖等多个项目上。

IT 解决方案：

XSKY服务器虚拟化解决方案
XSKY私有云解决方案
XSKY容器解决方案
XSKY企业级应用解决方案
XSKY桌面虚拟化（VDI）解决方案
XSKY容灾解决方案
XSKY开发测试平台解决方案
XSKY分支机构解决方案
XSKY新建数据中心解决方案

应用场景：

双活,容器,大数据,云平台,云桌面

产品规格：
SDS 软件,XCBS 云后端存储,XEBS 块存储,XEUS 统一存储,XEOS 对象存储
XEDP 统一数据平台,SDS 一体化产品,XSCALER EXPRESS 2000：XE2020、XE2030,XE2050,XSCALER 3000

服务区域：

成都  xsky、绵阳  xsky、自贡  xsky、攀枝花  xsky、泸州  xsky、xsky品牌 ,XSKY胥昕

德阳  xsky、广元  xsky、遂宁  xsky、内江  xsky、乐山  xsky、

资阳  xsky、宜宾 xsky、南充  xsky、达州  xsky、雅安  xsky、

阿坝藏族羌族自治州 xsky、凉山彝族自治州 xsky、广安  xsky、巴中  xsky、眉山  xsky

服务内容：

软件安装部署服务
业务对接服务
故障处理与生产变更服务
SDS 架构咨询服务
数据迁移服务
现场保障服务
集群环境变更服务
健康巡检服务
集群环境优化服务
集群升级服务
接口开发服务
集群高级实施服务
文档开发服务
开源 SDS 升级服务
技术服务经理（TAM）

生产级分布式块存储，分布式存储 SDS 横向扩展存储，软件定义块存储系统

XSKY ：SDS，软件定义存储，分步式存储，分布式软件定义存储