转载

干货 | 非结构化数据迁移-Java 版S3Transfer

一、操作说明

1、JAVA版迁移工具说明

Java版S3Transfer工具目前为公测阶段，此迁移工具支持从AWS S3、阿里云、腾讯云、百度云等存储迁移文件到京东云对象存储；同时也支持本地文件列表迁移。大概逻辑为先获取文件的地址或外链，然后根据外链读取数据，然后进行迁移，这个工具是listObject，transfer，md5check 三个工具的集成：

listObject工具的目的是列出用户配置bucket下的所有文件的列表。如配置prefix，则列出该prefix下的所有文件列表；

transfer工具的目的是将源文件迁移到oss对象存储中；

md5check工具用于md5值校验。

2、工具特点

支持丰富的数据源：

本地数据：将本地存储的数据迁移到 OSS；

其他对象存储:目前支持 AWS S3，阿里云 OSS，腾讯云COS,百度BOS，华为 OBS存储迁移至京东云OSS，后续会不断扩展;

URL 列表：根据指定的 URL 下载列表进行下载迁移到京东云OSS;

Bucket 相互复制：京东云OSS的 Bucket 数据相互复制, 支持跨账号跨地域及同区域的数据复制。
支持断点续传；
支持流量控制；
支持迁移特定前缀的文件；
支持并行数据下载、上传；
迁移校验：对象迁移后的校验。

3、实操迁移场景说明

为保证实操的可操作性和直观性，本文档采用大文件传输（2个10G大小的文件），类型为s3file，从京东云账号①通过外网传输至京东云账号②对象存储空间，用来模拟跨公有云之间的对象存储迁移，任务控制端为京东云的一台Centos 7.4云主机。

干货 | 非结构化数据迁移-Java 版S3Transfer

4、备注

大文件传输会将单个文件分成若干个切片进行传输，如图：

干货 | 非结构化数据迁移-Java 版S3Transfer

迁移过程中，迁移日志将默认打印到 ./log 目录下。迁移的所有文件将打印到audit-0.log中，迁移成功的文件将打印到audit.success日志中（如果将目标端传输成功的文件删除后，需要删除audit.success日志文件方可进行重新传输），如果需要筛选迁移失败的文件，请使用命令：

1grep "1$" audit-0.log*

二、环境准备

1、新建云主机

地域	操作系统	配置	带宽	JDK版本
华北-北京	CentOS 7.4 64位	8核16G	20Mbps	1.8.0_191

2、新建Bucket

需要准备两个京东云账号，一个在 华北-北京 创建对象存储空间，一个在 华东-上海 创建对象存储空间，以此来模拟跨公有云的对象存储迁移。

账号①-华北-北京： beijing-to-shanghai
账号②-华东-上海： shanghai-from-beijing

干货 | 非结构化数据迁移-Java 版S3Transfer

3、使用S3fs在云主机实例上挂载Bucket

安装依赖包

1yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel -y

安装以及编译

1git clone https://github.com/s3fs-fuse/s3fs-fuse.git
2cd s3fs-fuse
3./autogen.sh
4./configure
5make && make install

创建密码文件

1echo Access_Key_ID:Access_Key_Secret > ~/.passwd-s3fs
2chmod 600 ~/.passwd-s3fs

Access_Key_ID:Access_Key_Secret获取方式：https://uc.jdcloud.com/account/accessKey

干货 | 非结构化数据迁移-Java 版S3Transfer

（目录名称根据自己的名字简称定义）

1mkdir /hcc
2s3fs bucketname /hcc -o passwd_file=~/.passwd-s3fs -o url="https://s3.cn-north-1.jcloudcs.com"

mkdir：创建hcc文件夹作为本地挂载目录
s3fs：手动挂载命令，其中bucketname为bucket名称、/hcc是本地挂载路径、passwd_file为密码文件位置、url为京东云对象存储兼容S3域名（请输入空间的Bucket域名）

查看挂载结果

1df -h

干货 | 非结构化数据迁移-Java 版S3Transfer

通过dd命令在所挂载的对象存储里生成文件

这个命令会在所挂载的源对象存储Bucket里生成2个大小为10GB的小文件。

1cd /hcc
2for ((i=1;i<=2;i++));do dd if=/dev/zero of=block_$i.file bs=1M count=10240;done

文件生成结果：

干货 | 非结构化数据迁移-Java 版S3Transfer

4、部署JAVA环境

下载解压jdk

1[root@pocenv-hcc-test-hb ~]# wget https://pocenv-hcc.oss.cn-north-1.jcloudcs.com/jdk-8u191-linux-x64.tar.gz && tar zxf jdk-8u191-linux-x64.tar.gz && mv jdk1.8.0_191/ /usr/local/ && ln -s /usr/local/jdk1.8.0_191/ /usr/local/jdk

配置环境变量

1vim /etc/profile

在配置文件尾部加入

1######## JDK #######
2JAVA_HOME=/usr/local/jdk1.8.0_191
3JAVA_BIN=/usr/local/jdk1.8.0_191/bin
4PATH=$PATH:$JAVA_BIN
5CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
6export JAVA_HOME JAVA_BIN PATH CLASSPATH

重新加载变量配置文件并查看jdk版本

1[root@pocenv-hcc-test-hb jdk8]# source /etc/profile
2[root@pocenv-hcc-test-hb jdk8]# java -version
3java version "1.8.0_191"
4Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
5Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

三、迁移操作

1、下载Java 版S3Transfer

1[root@pocenv-hcc-test-hb ~]# mkdir -p /root/java_transfer;cd /root/java_transfer;wget https://downloads.oss.cn-north-1.jcloudcs.com/transfer-tools-java-1.0.0.jar;wget https://downloads.oss.cn-north-1.jcloudcs.com/application.yml

2、配置文件说明`application.yml`

重点说明：

jobType：任务类型，分为listObject列出文件、transfer传输、md5check md5检查，我们这里是传输，所以选择transfer；
sourceType：数据来源的类型，分别为urlfile,diskfile，s3file（AWS S3、腾讯云COS、百度BOS、华为 OBS、京东云 OSS）aliyunfile,disklistfile（本地文件列表），我们京东云是兼容s3的，所以选择s3file；
src.access.id/ src.secret.key：源对象存储的AK/SK；
src.endpoint：源对象存储的Endpoint；

阿里云：https://help.aliyun.com/document_detail/31837.html?spm=a2c4g.11186623.6.572.6a537f5ewpHZJZ

腾讯云：https://cloud.tencent.com/document/product/436/6224

百度云：https://cloud.baidu.com/doc/BOS/S3.html#.E6.9C.8D.E5.8A.A1.E5.9F.9F.E5.90.8D

华为云：https://support.huaweicloud.com/api-obs/zh-cn_topic_0136050628.html
src.bucket：源对象存储的Bucket；
des.access.id/des.secret.key：目标对象存储的AK/SK；
des.endpoint：目标对象存储的Endpoint；
des.bucket：目标对象存储的Bucket；

注：如下标红内容是我们需要关注的（“:“ 后要加个空格才能生效）：

##########################################################################################

#jobType 为 listObject,transfer

jobType : transfer

#sourceType 类型共有：urlfile,diskfile，s3file,aliyunfile,disklistfile

sourceType : s3file

#urlType : onlyUrl

#############################################################################################

#sourceType 为 urlfile ，diskfile时，filePath 为必填项

#filePath:

#urlFilePrefix: 10

#该链接的Content-Disposition超过京东云限制，如不获取该header值继续传，则配置为true；否则将该url打印在错误日志里，由用户对该url的header值自行修改

ContentDispositionTooLongContinue: false

#sourceType为urlfile，表示从用户提供的url列表中迁移。文件列表内容为[ object外链,objectkey ] 使用逗号分隔

###########################源bucket配置################################################

#jdcloud
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.endpoint : https://s3.cn-north-1.jcloudcs.com

#aliyun

#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.endpoint : https://oss-cn-beijing.aliyuncs.com

#tencent

#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.endpoint : https://cos.ap-beijing.myqcloud.com

#baidu

#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.endpoint : https://s3.bj.bcebos.com

#aws

#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.endpoint : https://s3.us-east-2.amazonaws.com

#huawei

#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.endpoint : https://obs.cn-north-1.myhuaweicloud.com

#qiniu

#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#src.endpoint : https://cn-south-1-s3.qiniu.com

#src.domainOfBucket : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX

#-bucket

#src.bucket : beijing-to-shanghai

#src.prefix :

##################目标bucket配置 destination ############################################################
des.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
des.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
des.endpoint : http://s3.cn-east-2.jdcloud-oss.com
des.bucket : shanghai-from-beijing
des.prefix :

3、启动 S3Transfer

后台启动：

1[root@SpringBoot-forbuild java_transfer]# nohup java -jar transfer-tools-java-1.0.0.jar --Dspring.config.location=application.yml &

前台启动：

1[root@SpringBoot-forbuild java_transfer]# java -jar transfer-tools-java-1.0.0.jar --Dspring.config.location=application.yml

4、启动效果

通过传输过程提示，我们可以看到文件传输状态和结果：

干货 | 非结构化数据迁移-Java 版S3Transfer

5、传输结果

任务传输完成后如下图：

干货 | 非结构化数据迁移-Java 版S3Transfer

我们点击目标对象存储空间 shanghai-from-beijing ，能看到在源对象存储空间 beijing-to-shanghai 生成的两个10GB文件已经传输过来了。

干货 | 非结构化数据迁移-Java 版S3Transfer

原文 http://mp.weixin.qq.com/s?__biz=MzU1OTgxMTg2Nw==&mid=2247485549&idx=1&sn=a5ee8c9a7b496e16d138e19ff0c04ac1

正文到此结束

所属分类：编程技术 Java

本文标签： root tar 数据 DOM Amazon Java环境 wget UI Document 百度下载 java https 配置 HTML 操作系统删除部署 spring git 安装 App 阿里云 http tk 目录 tab centos 域名 list 主机 springboot 云 classpath 京东空间 key src id linux 编译 cat GitHub XML lib IO ssl grep API 实例 build Job
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

干货 | 非结构化数据迁移-Java 版S3Transfer

一、操作说明

1、JAVA版迁移工具说明

2、工具特点

3、实操迁移场景说明

4、备注

二、环境准备

1、新建云主机

2、新建Bucket

3、使用S3fs在云主机实例上挂载Bucket

4、部署JAVA环境

三、迁移操作

1、下载Java 版S3Transfer

2、配置文件说明`application.yml`

重点说明：

3、启动 S3Transfer

4、启动效果

5、传输结果

热门推荐

相关文章

说给你听

本文目录

随机标签

书籍教程

近期评论

网站信息

其他链接

关于本站

问题交流