服务器超融合技术(PVE&Ceph&Bcache 超融合项目之部署实施方案（一）)

项目整体规划过程略过，本文只记录实施流水账。这是给甲方的技术交底文档，写得很细，步骤记录也很全面，供参考，高手请划走。整个word文档有60多页，1万1千余字，在头条可能分3或4篇才能发全，看官们可以收藏起来，凑齐再看。

一、项目整体网络拓扑

研发测试生产一体化平台超融合项目整体网络拓扑，如图1所示，本项目所涉及的网络为紫色虚线框内部分。

图1 整体网络拓扑

节点服务器：节点1~3服务器采用超融合架构，主要用于研发测试生产一体化超融合平台，本次部署的3台服务器主要用于研发及测试，部署位置在XXXX云计算中心，建设内容包括：

1）服务器设备，在服务器机柜部署3台服务器硬件；

2）虚拟化套件，在服务器上部署1套虚拟化套件PVE；

3）分布式存储，在服务器上部署1套分布式存储套件Ceph。

三层交换机：在服务器机柜中部署4台锐捷RG-S6120三层交换机，该交换机由甲方提供，本项目建设内容包括：

1） 服务器集群接入，独立划分VLAN网段，用于实现节点1~3服务器集群接入；

2）接入既有网络，用于接入既有交换机H3C 10504，实现接入既有网络，通过既有网络实现服务器集群与互联网及办公开发网络互通。

注意，由于3个节点服务器组建成集群，且使用Ceph搭建分布式存储，为保证性能，保证虚拟机迁移速率，建议采用支持多链路聚合的全万兆交换机部署，并使用原厂光模块。

研发测试工位：研发工位与测试工位接入到既有交换机SG2210P，建设内容包括：

1）研发测试工位保持既有的上网IP地址和网关不变；

2）研发测试工位实现访问超融合服务器集群的业务虚拟主机。

既有服务器群：既有服务器运行着甲方的应用系统，如研发管理系统、测试管理系统、各类业务信息系统等等，既有服务器群与研发测试超融合平台暂不做互联互通，但要制定互通预案，在需要时可以随时切入生产环境。

二、服务器基础配置

裸金属服务器的管理、业务、存储网络的聚合、iDRAC网络相关配置详见第四节：物理网络的规划与配置。基础配置阶段只需要使用一张网卡，并连接外网。

本项目中通用服务器硬件采用的是Dell服务器R740xd是一款2U双路旗舰机架式服务器，以强劲的计算性能，完善的生态兼容，极致的空间扩展能力，满足各行业应用配置需求，适用于数据分析处理、云计算、分布式存储等多种应用场景。Dell服务器R740xd 如图2 所示。

图2 服务器R740xd

服务器R740xd 技术规格如表1所示：

表1服务器R740xd 技术规格

2.1RAID规划

本项目中R740xd服务器是20+4盘位，前八盘位插满 PM883，8-21盘位空闲，22、23盘位插有P4800X。如图3所示。

图3 R740xd服务器盘位

R740xd服务器共有24个盘位，安装有8块1.9TB SATA SSD磁盘，通过背板连接HBA330，另有14盘位空置，可用于日后升级扩容；有2块375GB NVMe SSD盘，安装在22、23盘位，通过内部转接卡连接系统总线；有一张PCI 接口BOSS卡，安装有2块480GB m.2接口SSD盘，组成RAID1，做系统盘用，外部不可见；有一张HBA卡，通过存储交换机连接现有的SAN存储。

2.1.1 系统盘

在每个节点服务器上，2块480GB SSD盘组成RAID1，通过PCI接口的BOSS卡提供给服务器作为系统盘。做RAID1之后，2块480GB SSD盘数据镜像备份，容量减半，虚拟化操作系统文件存放在RAID1盘中。除了2块480GB SSD盘做RAID1之外，其余SATA SSD盘、NvMe SSD盘均不做RAID。SAN存储单独挂载。

2.1.2 Ceph盘

本项目中，后端存储采用Ceph分布式存储搭建，为了保证可靠性，Ceph采用了数据多副本的存储方式，这意味着不再需要RAID，也就克服了 RAID 存在的诸多问题。换句话说，Ceph已经解决了容错问题，无需使用RAID。

红帽官网文档有关于构建Ceph存储集群时，不建议基于RAID盘创建OSD，除了系统盘之外，其余磁盘全部设置为非RAID模式。也就是说，Ceph不要与RAID混合使用，如果已经使用了Ceph的话，应该禁用RAID，或将RADI控制器配置为RAID0，本项目使用的是直通卡HBA330 ，符合要构建规范。如图4所示。

图4. 红帽官网Ceph章节对RAID使用建议

分布式存储本来就具有数据冗余和修复功能。如果在单个节点上做RAID，当出现故障的时候，要离线rebuild RAID。但不做RAID的话，换个硬盘就自动在线恢复了，业务完全不中断。

2.2 服务器网卡规划

本项目中，R740xd服务器一共有8张物理网卡，主板集成的双口X710，做一组聚合链路，提供ceph_public，ceph_mgr以及各业务网段使用。PCI插槽的四口 X710，另做一组聚合链路，提供给ceph_cluster专用。主板集成的I350双电口网卡，一个用于ceph_public调试用，另一个闲置备用。如图5所示。

图5 物理网卡实物图

2.3 服务器IDRac配置。

IPMI是智能平台管理接口（Intelligent Platform Management Interface）原本是一种Intel架构的企业系统的周边设备所采用的一种工业标准。

简单的说就是将配置好IP的IPMI口接入交换机，就可以通过电脑远程来管理服务器的一个接口IPMI 支持远程监视，不需要计算机操作系统的许可。IPMI 在连接到主板或服务器的单独硬件上运行。此单独的硬件是底板管理控制器（BMC）。

本项目DELL R740xD的iDRAC就封装了IPMI的功能，它提供的图形化界面简化了IPMI的配置工作。

通常情况下，默认用户名为：root，密码则贴在机箱前面板可抽拉的标签上。IPMI 主板集成管理芯片BMC的IP的首次设置，需要在服务器开启时按“DEL”键进入BIOS 设置，具体步骤省略。

当iDRaC接口的IP地址设置好之后，可通过WEB UI进入查看服务器监控系统，如节点1服务器的iDRaC接口的IP地址是192.168.78.41，使用https登录进入iDRaC监控系统，如图6所示。

图6. 服务器IDrac监控系统界面

2.4.服务器数据接口

有关服务器数据接口的IP 地址规划，详见表2。具体配置详见《5.3.2.业务网络配置》的章节，这里不再赘述。

2.5.服务器管理接口

有关服务器管理接口的IP 地址规划，详见表2。具体配置详见《5.3.1.管理网络配置》的章节，这里不再赘述。