原文《大数据云数据中心架构、大数据平台建设和运维综合解决方案》WORD格式。来源网络，旨在交流学习，如有侵权，联系速删，更多参考公众号：优享智库

大数据云数据中心设计原则

根据“先进、实用、稳定、可靠”的总原则，对云数据中心软硬件系统进行科学合理的设计，保证中心建设的顺利完成。

数据中心工程是智能弱电工程的重要组成部分。其基本要求可归纳为：保证系统运行的可靠性、保证系统的设计寿命、保证信息安全的要求、保证操作人员的工作环境。

设计一个好的数据中心，要以兼顾人机并重之原则，一个合格的现代化计算机数据中心，应该是一个安全可靠、舒适实用、节能高效和具有可扩充性的数据中心，设计应以运行条件、安全可靠作为首要的考虑因素。因此对数据中心建设要求遵循以下设计原则：

1． 高安全可靠性

为保证数据中心能为用户提供连续不间断的7×24小时服务， 数据中心必须具有高可靠性。在系统设计时应注意尽量减少单点故障的存在，对存在单点故障的环节，在设计上必须减少其对整个系统的影响。

由于该数据中心内部计算机系统涉及到机密信息，其泄密可能严重危害社会秩序，所以需要保证数据中心的安全性，必须具有安保系统以保证用户的设备和数据不受侵害。实现高安全性的措施包括：闭路电视监测、门禁系统、自动安全报警系统等。

中心软硬件系统要高度可靠，虚拟机出现故障要能自动迁移，数据要有冗余备份，可以从故障中及时恢复。。

2． 可扩展性

鉴于信息网络系统需求的不断发展与变化，技术也在不断提高，故在建设时应考虑这些变化对资源需求的改变，以使整个系统具有灵活的可扩展性，特别是精密空调、配电开关及配电柜、UPS及供电母线等。

中心的服务器、存储、网络都可以不用停机就线性扩容服务器、存储、网络等设备。

3． 易于管理

通过使用先进和可靠的管理工具来实现系统的高质量管理，以节约人力资源。由于数据中心内设备繁多，具有一定复杂性，随着业务的不断发展，管理的任务必定会日益繁重。所以在设计时，必须建立一套完善的数据中心管理和监控系统。实时监控、监测整个数据中心的运行状况、语音报警，实时事件记录，可以迅速确定故障，提高可靠性，简化数据中心管理人员的维护工作。

中心的资源池支持方便灵活地管理维护和审计。

4． 高性能价格比

数据中心所需设备的选型应该以适用为主，合理选择材料与设备；不要造成资源浪费；同时也要保证该数据中心的高可靠性。以较高的性能价格比设计数据中心，能以较低的成本、较少的人员投入来维持系统运转，提供高效能与高效益。

中心的软硬件设施选择合理，具有高性价比。

大数据平台建设

数据集中统一管理后，由于一体化业务为在线运行的系统，为避免大数据应用对现有生产系统造成影响，本期单独建设一套大数据平台，通过ETL将生产数据抽取到大数据平台中，进行分析处理，建立数据仓库，为上层应用提供支撑。

基于大数据等新先进理念，融合MPP、Hadoop、OLTP以及HDFS分布式文件系统等数据处理技术，构建具有海量数据处理能力的项目大数据平台技术支撑体系。有效汇总整合内外部数据资源，实现对数据资源的统一管理、高度共享和高效利用，解决数据资源海量化、异构化，应用需求多样化、复杂化等现实问题，进一步提升信息资源开发利用水平，提升信息资源服务的能力和服务品质，深层次满足上层业务应用、管理决策支持和信息再生应用的需要，达到强化情报信息数据支撑，服务实战应用的目的。

完整的大数据集群应当包含4大部分：ETL集群、MPP集群、Hadoop集群和数据仓库，提供从数据抽取、清洗、转换、加载到数据存储计算及数据仓库建设的一整套完整的大数据解决方案。各节点通过万兆网口连接，满足集群网络IO密集型的要求。

? ETL集群建议不少于1个节点，完成从各种数据源抽取、清洗、转化和加载数据到大数据集群的工作。

? MPP集群建议不少于2个节点。MPP集群负责结构化数据的存储与计算。

? Hadoop集群至少应包含6个节点，以满足数据多个备份的高可靠性要求。Hadoop集群负责非结构化和半结构化数据的存储与计算。

? 数据仓库节点，将ETL集群、MPP集群和Hadoop集群导入的高度提炼汇总后的数据进行存储和分析，满足专业应用需要。