程序员如何快速将海量本地数据迁移至腾讯云对象存储COS

原文发布于微信公众号：腾讯云存储（关注有惊喜）

“ 在大数据时代面对海量的本地文件时，随着云存储的普及，愈来愈多的用户须要把海量数据从传统的本地存储迁移到新的分布式云基础设施上，这就须要快速高效安全的迁移方法。”

操做场景

对于拥有本地 IDC 的用户，对象存储 COS 在不一样迁移类型上支持如下迁移方式，帮助用户将本地 IDC 的海量数据快速迁移至对象存储 COS。

用户可依据数据迁移量、IDC 出口带宽、IDC 空闲机位资源、可接受的迁移完成时间等因素来考虑如何选择迁移方式。

下图展现的是使用线上迁移时预估的时间消耗，能够看出，若这次迁移周期超过10天或者迁移数据量超过50TB，咱们建议您选择线下迁移，不然，请选择线上迁移。

注意：
1MB 如下的小文件数量较多、磁盘 IO 性能不足等也会影响到数据的迁移进度。

操做方法说明

1、COS Migration 线上迁移

迁移操做步骤：

1.安装 Java 环境。

2.安装 COS Migration 工具。

3.修改配置文件。

4.启动工具。

具体的操做方法，请参见COS Migration工具文档。

如何配置才能最大程度提升迁移速度：

1.根据自身网络环境调整区分大小文件的阈值和迁移并发度，实现大文件分块，小文件并发传输的最佳迁移方式。调整工具执行时间和设立带宽限制，保证自身业务运行不受迁移数据带宽占用影响。上述调整可在配置文件 config.ini 中common分节，修改以下参数进行调整：

2.采用分布式并行传输能够进一步加快迁移速度。用户能够考虑使用多台机器安装 COS Migration 并分别执行不一样源数据的迁移任务。

2、云数据迁移CDM 线下迁移

迁移操做步骤：

1.前往云数据迁移 CDM 控制台提交申请。

2.申请审核经过后，用户等待签收设备。

3.收到设备后，按照迁移设备手册把数据拷贝至设备。

4.完成数据拷贝后，在控制台提交回寄申请并等待腾讯云把数据迁往对象存储 COS。

详情请参见云数据迁移 CDM产品文档。

如何高效安全的经过离线迁移把数据迁移至COS：

1.在 IDC 配置10Gbps的网络环境，为避免本地数据环境成为传输瓶颈，可配备高性能的挂载点机器，最大程度加速拷贝 。

2.适用 CDM 传输数据最快的方式是并行传输数据，用户经过监控设备的 CPU 和内存使用率，若是当前迁移速度低于预期，能够选择如下并行传输方式。

多台设备经过不一样网络接口链接同一个 CDM 设备。
多台设备经过不一样网络接口链接多台 CDM 设备。
扫一扫关注 有惊喜