对象存储迁移(对象存储迁移工具 ceph)

本文目录：

• 1、对象存储、文件存储和块存储有什么区别？
• 2、目前天翼云主机和对象存储迁移支持的场景有
• 3、对象存储又是什么鬼
• 4、oss对象存储会减小页面的资源大小吗
• 5、分布式存储极简艺术Minio解析
• 6、集群NAS和对象存储的区别

对象存储、文件存储和块存储有什么区别？

对象存储、文件存储和块存储区别为：存储设备不同、特点不同、缺点不同。

一、存储设备不同

1、对象存储：对象存储的对应存储设备为swift，键值存储。

2、文件存储：文件存储的对应存储设备为FTP、NFS服务器。

3、块存储：块存储的对应存储设备为cinder，硬盘。

二、特点不同

1、对象存储：对象存储的特点是具备块存储的高速以及文件存储的共享等特性。

2、文件存储：文件存储的特点是一个大文件夹，大家都可以获取文件。

3、块存储：块存储的特点是分区、格式化后，可以使用，与平常主机内置硬盘的方式完全无异。

三、缺点不同

1、对象存储：对象存储的缺点是不兼容多种模式并行。

2、文件存储：文件存储的缺点是传输速率低。

3、块存储：块存储的缺点是不能共享数据。

目前天翼云主机和对象存储迁移支持的场景有

天翼云主机和对象存储迁移支持的场景有本地数据中心物理机或者虚拟机快速迁移到天翼云弹性云主机。根据查询相关公开信息，天翼云非常适合网站应用、电子商务、自建数据库、大数据分析、图形渲染、深度学习、游戏部署，对象存储迁移支持的场景有本地数据中心物理机或者虚拟机快速迁移到天翼云弹性云主机。

对象存储又是什么鬼

对象存储，也叫做基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，这些离散单元被称作为对象。

就像文件一样，对象包含数据，但是和文件不同的是，对象在一个层结构中不会再有层级结构。每个对象都在一个被称作存储池的扁平地址空间的同一级别里，一个对象不会属于另一个对象的下一级。

文件和对象都有与它们所包含的数据相关的元数据，但是对象是以扩展元数据为特征的。每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象，而不必知道数据的物理地址。这种方法对于在云计算环境中自动化和简化数据存储有帮助。

对象存储经常被比作在一家高级餐厅代客停车。当一个顾客需要代客停车时，他就把钥匙交给别人，换来一张收据。这个顾客不用知道他的车被停在哪，也不用知道在他用餐时服务员会把他的车移动多少次。在这个比喻中，一个存储对象的唯一标识符就代表顾客的收据。[1]

由于对象存储将遍布于很多节点且最新的数据并非总是可用，这将成为对象存储最终一致性的问题。

所有的数据存储都涉及到简称为CAP的三个元素：一致性、可用性和分区。

如果只是执行了写操作从而改变了一个对象，但有人正在从另外的节点访问这个对象。节点可能会在不同的物理位置，因为对象存储支持很大的地理扩展。新用户可能正在读取对象，但那是旧版本。这就是对象存储的最终一致性问题，此时并没有及时的同步。

这将成为问题，特别是利用对象存储做协同的时候，厂商为保证对象存储的一致性做了很好的工作，像是Joyent以及他的Manta 存储服务，一旦对象更改将不支持读取旧的内容。你必须等待，但你所读取的内容会是一致的。[2]

对象存储数据迁移和访问

企业对存储的诉求有一定的延续性，但其访问的介质不外乎是主机、PC、移动端以及应用，针对不同的访问介质来看，面向对象存储的解决方案也有所不同。然而如果应用软件不支持HTTP下REST API的方式，需要以传统文件服务器协议的方式访问，则需要在面向存储对象前面加一个网关进行协议的转换。

没有了文件存储系统中的NFS或CIFS来给应用提供数据，面向对象的存储系统需要替换掉位于磁盘上的原始数据块和应用可以理解的文件之间的这个抽象层。现在的面向对象的系统使用类似REST标准的API或者私有的API来告诉应用如何存储和读取对象标识。

总体而言，对于面向对象的存储的操作的本质并不会改变。开源对象存储系统O基本上就是POST，GET ，PUT和 DELETE操作，如果需要上传大量的数据，则需要编写一个脚本就可以实现。

oss对象存储会减小页面的资源大小吗

oss对象存储不会减小页面的资源大小。阿里云在线迁移服务是阿里云提供的存储产品数据通道。使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储OSS，也可以在对象存储，对页面不会造成影响。

分布式存储极简艺术Minio解析

 MinIO 对象存储系统是为海量数据存储、人工智能、大数据分析而设计，基于

Apache License v2.0 开源协议的对象存储系统，它完全兼容 Amazon S3 接口，单个对象的最大可达 5TB，适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。作为一个开源服务，MinIO 在设计上汲取了Glusterfs的相关经验不教训，系统复杂度上作了大量简化，目前大小只有40+M，部署只需要一个命令即可完成！另外，minio舍弃了传统分布式存储扩容所需要的迁移流程，采用联盟模式添加集群的方式，极大简化了扩容流程；除此之外，minio还具有纠删编码、比特位保护、单写多读（worm)、下面来依次简要解析一下Mioio的特点及具体实现：

  元数据和数据一起存放在磁盘上。元数据以明文形式存放在元数据文件里（xl.json）。假定对象名字为key_name, 它所在桶的名字是bucket_name, disk路径就是/disk，那么存储路径就是：/disk/bucket_name/key_name，windows下C盘存放桶名为test，对象名为minio.exe示例如图：

其中part.1是实际存储数据（单机模式为原生数据，分布式为纠删码分块），xl.json是如下所示的json字符串：

  在同一集群内，MinIO 自己会自劢生成若干纠删组，用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。MinIO 集成了 Reed-Solomon 纠删码库，MinIO 存储对象数据时，首先把它分成若干等长的片段（对于大对象，默认按 5MB 切片)，然后每一个片段会纠删算法分成若干分片，包括数据分片不校验分片，每个分片放置在一个纠删组的某个节点上。对象的每一个数据分片、校验分片都被“防比特位衰减”算法所保护。

  MinIO 会根据对象名（类似于文件系统的全路径名)，使用 crc32 哈希算法计算出一个整数。然后使用这个整数除以纠删组的个数，得到一个余数。这个余数，可以作为纠删组的序号，这样就确定了这个对象所在的纠删组。MinIO 采用 CRC32 哈希算法，不 glusterfs 的Davies Meyer哈希算法（性能、冲突概率不md4, md5相近）不一样的是，CRC32算法的哈希值分布较不均匀，但运算速度极快，高出 md4 数倍。相对于容量均衡，MinIO 更看重数据的写入速度。

纠删组如何配置？

官方文档说明如下：

 也就是说纠删组的总大小只能从这7中情况中根据你提供的盘的个数（或者说路径个数）来自动选取最大值的，我们 不能灵活地配置m+k纠删存储格式。但这样说又不是很准确 ，因为虽然不能配置任意的m+k，但是在系统已经选取好擦除编码集的的个数后（也就是m+k），可以使用storage class存储类来自定义m和k的数量，默认是1:1的。

存储类：

 MinIO支持配置两种存储类别，精简冗余类别和标准类别，默认是标准类别（1：1），可以在启动MinIO服务器之前使用设置的环境变量来定义这些类。使用环境变量定义每个存储类别的数据和奇偶校验磁盘后，您可以 在上传对象时通过请求元数据字段设置对象的存储类别x-amz-storage-class 。然后，MinIO服务器通过将对象保存在特定数量的数据和奇偶校验磁盘中来兑现存储类。具体配置和使用可以参考官方文档

传统的扩展方式的劣势

  通过增加节点来扩展单集群，一般需要进行数据均衡，否则群集内各存储节点会因负载不均而出现新的瓶颈。除了数据均衡操作的时机这个问题以外，在均衡过程中一般需要仍存储使用率高的节点吐使用率低的节点迁移数据。当集群扩容后，大量已经写入的文件落点会出现改变，文件需要迁移到真实的落点。当存储系统容量比较大时，则会发生大量的文件/对象进行迁移,迁移过程可能由于占用大量资源而导致上层应用性能下降。而且当文件/对象迁移过程中，机器故障可能会导致一些意想不到的情冴,尤其是有大量业务的时候。当然针对此类问题，Gluterfs之类的文件系统有一些比较复杂的处理办法。

不支持扩展优势

集群NAS和对象存储的区别

集群NAS性能和扩展性好，但价格较高，一般运行在一个数据中心内。所以适合客户自建数据中心内需要高带宽、大容量的业务。如高性能计算、流媒体等。

对象存储扩展性好，价格较低，但性能一般，可以跨中心运行，所以适合在公有云环境中作为一类存储服务来提供，或者适合大型客户在自建私有云环境中提供多租户的大容量存储服务，目前看到的对象存储的部署级别都是在PB级起步。此外由于对象存储对读访问的支持要好于写访问，因此对象存储更适合于“冷数据“的存放。

同时需要指出，两类技术会有重叠之处，例如有些分布式文件系统可以同时支持集群NAS和对象存储。而现在有些较为先进的对象存储产品也开始支持集群NAS功能，以实现和用户已有应用的集成。

从长远来看，两类技术都将会有用武之地。由于对象存储处于一个上升的生命周期，可以预见会有更多对性能不太敏感的业务迁移到对象存储。

【对象存储迁移】的内容来源于互联网，如引用不当，请联系我们修改。