2022
我们一起努力

网站数据迁移方案(大数据平台数据迁移方案)

目录:

  • 1、数据迁移的数据迁移的技术准备
  • 2、政府网站如何进行容灾备份
  • 3、凡科网站数据可以迁移嘛

数据迁移的数据迁移的技术准备

数据转换与迁移通常包括多项工作:旧系统数据字典整理、旧系统数据质量分析、新系统数据字典整理、新旧系统数据差异分析、建立新旧系统数据之问的映射关系、开发部署数据转换与迁移程序、制定数据转换与迁移过程中的应急方案、实施旧系统数据到新系统的转换与迁移工作、检查转换与迁移后数据的完整性与正确性。

数据转换与迁移的过程大致可以分为抽取、转换、装载三个步骤。数据抽取、转换是根据新旧系统数据库的映射关系进行的,而数据差异分析是建立映射关系的前提,这其中还包括对代码数据的差异分析。转换步骤一般还要包含数据清洗的过程,数据清洗主要是针对源数据库中,对出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据进行相应的清洗操作;在清洗之前需要进行数据质量分析,以找出存在问题的数据,否则数据清洗将无从谈起。数据装载是通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标数据库中。

对数据的检查包括以下6个方面。

(1)数据格式检查。检查数据的格式是否一致和可用,目标数据要求为number型。

(2)数据长度检查。检查数据的有效长度,对于char类型的字段转换到varchar类型中,需要特别关注。

(3)区间范围检查。检查数据是否包含在定义的最大值和最小值的区间中。例如年龄为300或录入日期为4000—1—1显然有问题。

(4)空值、默认值检查。检查新旧系统定义的空值、默认值是否相同,不同数据库系统对空值的定义可能不同,需要特别关注。

(5)完整性检查。检查数据的关联完整性。如记录引用的代码值是否存在,特别需要注意的是有些系统在使用一段时间后,为了提高效率而去掉了外键约束。

(6)一致性检查。检查逻辑上是否存在违反一致性的数据,特别是存在分别提交操作的系统。

政府网站如何进行容灾备份

随着进几年信息化技术飞速发展,政府行业数据也在与日俱增,相对于黑客、木马等攻击和入侵手段也层出不穷,被黑客攻击、盗取数据等事情屡见不鲜,给政府信息化的安全管理带来极大的威胁。同时政府网站也面临这非常严峻的考验,随时可能会出现业务被攻击、数据被修改、加密、内网被侵入等风险。所以要做好政府网站的信息化容灾备份。

l 政府网站容灾备份建设原则:

第一:数据可实时

为保证在灾难发生时,数据完整可用零丢失就需要RPO=0

RPO,Recover Point Object,恢复点指标,是指灾难发生后,容灾系统能把数据恢复到灾难发生前的任何一个时间点的数据,它是衡量企业在灾难发生后会丢失多少生产数据的指标。理想状态下,我们希望RPO=0,RTO=0即灾难发生对企业生产毫无影响,既不会导致生产停顿,也不会导致生产数据丢失。

第二:业务可连续

为保证在灾难发生时,业务可以在最短的时间内换到备份中心,就需要RTO尽可能小。

RTO,Recovery Time Objective,是指灾难发生后,从系统当机导致业务停顿之刻开始,到系统恢复至可以支持各部门运作,业务恢复运营之时,此两点之间的时间段称为RTO。一般而言,RTO 时间越短,即意味要在更短的时间内就可以将系统恢复至可使用状态。

第三:灾难可抗拒

为了防止一些不可抗拒的自然灾害或者大型事故所带来数据毁灭性的损坏。在有条件的情况下要满足数据源中心和备份中心相距三百公里以上,不在同一个地震带,不在同一个电网,不在同一个江河流域!

第四:兼容可扩展

备份虽然重要,但是它永远是备而不是主,不能因为备份而影响主系统的运行。所以在制定容灾备份系统方案的过程中要考虑容灾备份系统建设对原有业务系统以及构架带来的影响。并且还考虑是否与本单位下一步的信息化建设兼容。

第五:易用可维护

容灾备份系统的日常维护工作要尽可能轻,容灾备份系统的维护和管理是容灾切换成功的重要保证,在系统建设中,就必须要考虑系统的维护管理流程。

往往在灾难发生时,主要技术人员不能及时到达现场,为了顺利实现系统间的切换,应该让系统切换操作尽可能地简单; 并建立固定化的、标准化的切换流程,要求维护人员在切换演习时严格按照流程的指导步骤进行操作。

第六:安全可信任

很多企事业单位的数据本身就是敏感的,所以在采用备份软件时应该尽量使用本土的可控软件。防止引狼入室,避免因备份软件自身的后门和漏洞造成数据的泄密!推荐国产的容灾备份系统备特佳,和力记易公司自主研发的软件,在市场已经应用超过十余年时间。

第七:成本可控制

根据《信息安全技术 信息系统灾难恢复规范》确定所需要建设的灾难恢复能力等级以后,要做到整个的TCO (Total cost of ownership)合理可控。防止因为配套投入、重复投入、后期维护超预算而影响整个项目的运行!

l 建设政府网站容灾备份系统目标:

1、使用CDP持续数据保护技术实现数据零丢失 RPO=0

2、通过数据任意时间点回退用来修复任何的逻辑错误

3、通过业务接管来保障网站业务的连续性

4、采用两地三中心模式实现异地抗灾难性

凡科网站数据可以迁移嘛

不可以。凡科是自助建站程序,网站的url都是特定的,因此凡科网站数据不可以迁移。广州凡科互联网科技股份有限公司简称凡科,创建于2010年10月,是一家专注为中小微企业提供互联网服务的创新型企业,于2015年7月成功上市。

赞(0)
文章名称:《网站数据迁移方案(大数据平台数据迁移方案)》
文章链接:https://www.fzvps.com/173484.html
本站文章来源于互联网,如有侵权,请联系管理删除,本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。
图片版权归属各自创作者所有,图片水印出于防止被无耻之徒盗取劳动成果的目的。

评论 抢沙发

评论前必须登录!