全站搜索
资讯详情
xsky 金牌代理 科汇科技 解析 非结构化数据在线迁移,如何实现业务无中断?
作者:管理员    发布于:2021-08-11 05:28:13    文字:【】【】【

大数据时代,数据爆发式增长,根据IDC预测,海量数据中超过80%的数据都是非结构化数据。这也就对非结构化数据的存储、管理和使用提出了更高的要求。


早期很多企业在规划非结构化数据存储时,由于数据量比较小,都采用传统NAS来存储。随着业务创新速度加快,数据量成几何级增长,面对海量非结构化数据存储及大数据分析需求,存储容量难以弹性扩展和大规模小文件访问性能不足成为传统NAS存储的突出问题。源于互联网行业的对象存储,扁平化存储结构设计,对象之间相互独立,访问操作简单,对象检索路径短,具有高扩展、易管理、高安全、低成本、高并发等特点,能够很好的满足海量非结构化数据的存储需求,其使用范围正向各行各业快速扩展。


很多使用传统NAS存储的企业已经在规划存储转型,将原有NAS存储系统上的数据和业务迁移至对象存储的需求越来越普遍。企业IT部门在规划业务和数据迁移时,特别关注以下几点:

1.迁移过程中业务是否中断?

2.迁移效率如何?

3.迁移后原有设备是否可以利旧?


针对在线迁移,目前市场上使用较多的是下面两种技术方案:


    增量数据复制,将数据拷贝一份到新建存储。数据拷贝过程中业务还在正常运行,会不断有增量数据写入。完成首次数据复制后,需要中断业务,获取增量数据,做一次增量复制后,才能将业务切割到新存储系统。为了缩短业务中断时间,往往需要做多次增量复制,直到增量数据较少时才中断业务,快速完成最后一次增量复制。采用这种迁移方式,如果前端业务量比较大,则迁移周期会非常久,遇到原有存储系统容量不足、一时无法扩容,将难以达成业务在线迁移目标。


    增量元数据重建,扫描数据的元数据,并导入到新存储集群,建立对象与旧存储系统的数据映射关系后,再异步迁移数据。元数据重建过程中业务还在正常运行,会不断有增量元数据产生。完成首次元数据重建后,需要中断业务,获取增量元数据,做一次增量重建后,才能将业务切割到新存储系统。为了缩短业务中断时间,往往需要做多次增量重建,直到增量元数据较少时才中断业务,快速完成最后一次元数据增量重建。这种方案在完成元数据重建后就可迁移业务到新存储系统,元数据量比较小,迁移周期比前一种更短。


以上两种在线迁移方案都需要中断业务,只是业务中断时间窗口有长有短,本质上都不能保证核心业务的无中断迁移。


XSKY业务无中断迁移方案

基于XSKY对象镜像回源技术的迁移方案,可以真正实现业务无感知、零中断的无缝平滑在线迁移。
图片

首先,在新对象存储集群上配置镜像回源,选择原有存储平台(NAS存储、S3私有云、公有云等)作为回源的源站存储。


然后,将业务访问存储的入口切换至新对象存储集群。业务新数据写入新对象存储集群,原有存储上不再有增量数据写入。当业务从新对象存储集群中请求读取旧数据时,因数据在本地存储中不存在,此时触发回源,对象存储系统根据前面配置的回源信息,从源站存储读取所需数据后即时返回给应用,并在后台启动镜像任务,从源站存储上复制一份完整数据到本地存储,完成该文件的数据迁移。切换后,业务以新存储集群为统一访问入口,新老数据都能访问,完成业务从原有存储到新建存储的平滑迁移。


最后,从原有存储中一次性导出文件列表清单,向新建对象存储系统下发镜像回源任务,将原有存储系统中的数据复制新建对象存储系统,完成全部数据迁移。


在原有存储中只有少部分数据有利用价值,同时又无法提前筛选的场景,可以通过镜像回源,借助应用访问来触发数据迁移,避免全量迁移而浪费新集群存储空间。



XSKY业务无中断迁移案例

世界500强企业新华人寿保险,很早就启动规划业务数字化转型,认同分布式软件定义存储发展方向,经过多方选型论证,最终选择和XSKY星辰天合合作,初期部署了30多个节点的统一存储集群(集群A),支撑集团线上APP业务、客户信息系统、门户业务系统、集团OA系统等。随着业务的不断发展,数据量快速增长。特别是对象存储承载的电子保单管理系统、双录系统、电子影像系统,每天都会产生大量非结构化数据,集群容量占用已接近预警线,扩容迫在眉睫。


然而,目前租赁的IDC机房已无足够空间容纳新设备上架,无法直接扩容现有集群。从长远规划考虑,客户最终决定新购一批设备,在自有IDC数据中心部署一套存储集群(集群B),将核心业务及其存储的数据从托管IDC迁移至自有IDC。由于是核心业务,客户要求XSKY星辰天合提供无业务中断的迁移方案。


在与客户的沟通中,回源镜像数据迁移方案很快获得认可,并付诸实施。实施过程也非常简单:

第一步:在集群B上配置到集群A的镜像回源。

第二步:在DNS服务器上,将业务访问存储的域名所对应的IP地址从集群A变更为集群B。

第三步:业务端DNS缓存老化后,重新请求DNS域名解析时,获得集群B的地址,自动完成业务访问入口的切换。

第四步:从集群A获取对象清单,在集群B中下发镜像回源任务,完成数据迁移。


整个实施过程,都由IT部门操作完成,业务完全无感知、无中断,保障了客户业务快速切换上线,达到了业务和数据全部在线平滑迁移的目标。


同样的在线迁移方案,还被应用在东方明珠、随行付、天津数据湖等多个项目上。

IT 解决方案:

XSKY服务器虚拟化解决方案
XSKY私有云解决方案
XSKY容器解决方案
XSKY企业级应用解决方案
XSKY桌面虚拟化(VDI)解决方案
XSKY容灾解决方案
XSKY开发测试平台解决方案
XSKY分支机构解决方案
XSKY新建数据中心解决方案

应用场景:

双活,容器,大数据,云平台,云桌面

产品规格:
SDS 软件,XCBS 云后端存储,XEBS 块存储,XEUS 统一存储,XEOS 对象存储
XEDP 统一数据平台,SDS 一体化产品,XSCALER EXPRESS 2000:XE2020、XE2030,XE2050,XSCALER 3000

服务区域:

成都  xsky、绵阳  xsky、自贡  xsky、攀枝花  xsky、泸州  xsky、xsky品牌 ,XSKY胥昕

德阳  xsky、广元  xsky、遂宁  xsky、内江  xsky、乐山  xsky、

资阳  xsky、宜宾 xsky、南充  xsky、达州  xsky、雅安  xsky、

阿坝藏族羌族自治州 xsky、凉山彝族自治州 xsky、广安  xsky、巴中  xsky、眉山  xsky

服务内容:

软件安装部署服务
业务对接服务
故障处理与生产变更服务
SDS 架构咨询服务
数据迁移服务
现场保障服务
集群环境变更服务
健康巡检服务
集群环境优化服务
集群升级服务
接口开发服务
集群高级实施服务
文档开发服务
开源 SDS 升级服务
技术服务经理(TAM)

生产级分布式块存储,分布式存储 SDS 横向扩展存储,软件定义块存储系统

XSKY :SDS,软件定义存储,分步式存储,分布式软件定义存储


成都科汇科技有限公司( 星辰天合 SKY 软件定义存储  金牌代理商)

地址:成都市人民南路四段1号时代数码大厦18F

电话:400-028-1235

QQ:    1325383361

手机:180 8195 0517(微信同号)