干货 | 非结构化数据迁移-Java 版S3Transfer
一、操作说明
1、JAVA版迁移工具说明
Java版S3Transfer工具目前为公测阶段，此迁移工具支持从AWS S3、阿里云、腾讯云、百度云等存储迁移文件到京东云对象存储；同时也支持本地文件列表迁移。大概逻辑为先获取文件的地址或外链，然后根据外链读取数据，然后进行迁移，这个工具是listObject，transfer，md5check 三个工具的集成：
listObject工具的目的是列出用户配置bucket下的所有文件的列表。如配置prefix，则列出该prefix下的所有文件列表；
transfer工具的目的是将源文件迁移到oss对象存储中；
md5check工具用于md5值校验。
2、工具特点
-
支持丰富的数据源：
本地数据：将本地存储的数据迁移到 OSS；
其他对象存储:目前支持 AWS S3，阿里云 OSS，腾讯云COS,百度BOS，华为 OBS存储迁移至京东云OSS，后续会不断扩展;
URL 列表：根据指定的 URL 下载列表进行下载迁移到 京东云OSS;
Bucket 相互复制：京东云OSS的 Bucket 数据相互复制, 支持跨账号跨地域及同区域的数据复制。
-
支持断点续传；
-
支持流量控制；
-
支持迁移特定前缀的文件；
-
支持并行数据下载、上传；
-
迁移校验：对象迁移后的校验。
3、实操迁移场景说明
为保证实操的可操作性和直观性，本文档采用大文件传输（2个10G大小的文件），类型为s3file，从京东云账号①通过外网传输至京东云账号②对象存储空间，用来模拟跨公有云之间的对象存储迁移，任务控制端为京东云的一台Centos 7.4云主机。
4、备注
-
大文件传输会将单个文件分成若干个切片进行传输，如图：
-
迁移过程中，迁移日志将默认打印到 ./log 目录下。迁移的所有文件将打印到audit-0.log中，迁移成功的文件将打印到audit.success日志中（如果将目标端传输成功的文件删除后，需要删除audit.success日志文件方可进行重新传输），如果需要筛选迁移失败的文件，请使用命令：
1grep "1$" audit-0.log*
二、环境准备
1、新建云主机
| 地域 | 操作系统 | 配置 | 带宽 | JDK版本 |
|---|---|---|---|---|
| 华北-北京 | CentOS 7.4 64位 | 8核16G | 20Mbps | 1.8.0_191 |
2、新建Bucket
需要准备两个京东云账号，一个在 华北-北京 创建对象存储空间，一个在 华东-上海 创建对象存储空间，以此来模拟跨公有云的对象存储迁移。
账号①-华北-北京： beijing-to-shanghai
账号②-华东-上海： shanghai-from-beijing
3、使用S3fs在云主机实例上挂载Bucket
-
安装依赖包
1yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel -y
-
安装以及编译
1git clone https://github.com/s3fs-fuse/s3fs-fuse.git 2cd s3fs-fuse 3./autogen.sh 4./configure 5make && make install
-
创建密码文件
1echo Access_Key_ID:Access_Key_Secret > ~/.passwd-s3fs 2chmod 600 ~/.passwd-s3fs
Access_Key_ID:Access_Key_Secret获取方式：https://uc.jdcloud.com/account/accessKey
（目录名称根据自己的名字简称定义）
1mkdir /hcc 2s3fs bucketname /hcc -o passwd_file=~/.passwd-s3fs -o url="https://s3.cn-north-1.jcloudcs.com"
mkdir：创建hcc文件夹作为本地挂载目录 s3fs：手动挂载命令，其中bucketname为bucket名称、/hcc是本地挂载路径、passwd_file为密码文件位置、url为京东云对象存储兼容S3域名（请输入空间的Bucket域名）
-
查看挂载结果
1df -h
-
通过dd命令在所挂载的对象存储里生成文件
这个命令会在所挂载的源对象存储Bucket里生成2个大小为10GB的小文件。
1cd /hcc 2for ((i=1;i<=2;i++));do dd if=/dev/zero of=block_$i.file bs=1M count=10240;done
文件生成结果：
4、部署JAVA环境
下载解压jdk
1[root@pocenv-hcc-test-hb ~]# wget https://pocenv-hcc.oss.cn-north-1.jcloudcs.com/jdk-8u191-linux-x64.tar.gz && tar zxf jdk-8u191-linux-x64.tar.gz && mv jdk1.8.0_191/ /usr/local/ && ln -s /usr/local/jdk1.8.0_191/ /usr/local/jdk
配置环境变量
1vim /etc/profile
在配置文件尾部加入
1######## JDK ####### 2JAVA_HOME=/usr/local/jdk1.8.0_191 3JAVA_BIN=/usr/local/jdk1.8.0_191/bin 4PATH=$PATH:$JAVA_BIN 5CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 6export JAVA_HOME JAVA_BIN PATH CLASSPATH
重新加载变量配置文件并查看jdk版本
1[root@pocenv-hcc-test-hb jdk8]# source /etc/profile 2[root@pocenv-hcc-test-hb jdk8]# java -version 3java version "1.8.0_191" 4Java(TM) SE Runtime Environment (build 1.8.0_191-b12) 5Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)
三、迁移操作
1、下载Java 版S3Transfer
1[root@pocenv-hcc-test-hb ~]# mkdir -p /root/java_transfer;cd /root/java_transfer;wget https://downloads.oss.cn-north-1.jcloudcs.com/transfer-tools-java-1.0.0.jar;wget https://downloads.oss.cn-north-1.jcloudcs.com/application.yml
2、配置文件说明`application.yml`
重点说明：
-
jobType：任务类型，分为listObject列出文件、transfer传输、md5check md5检查，我们这里是传输，所以选择transfer；
-
sourceType：数据来源的类型，分别为urlfile,diskfile，s3file（AWS S3、腾讯云COS、百度BOS、华为 OBS、京东云 OSS）aliyunfile,disklistfile（本地文件列表），我们京东云是兼容s3的，所以选择s3file；
-
src.access.id/ src.secret.key：源对象存储的AK/SK；
-
src.endpoint：源对象存储的Endpoint；
阿里云：https://help.aliyun.com/document_detail/31837.html?spm=a2c4g.11186623.6.572.6a537f5ewpHZJZ
腾讯云：https://cloud.tencent.com/document/product/436/6224
百度云：https://cloud.baidu.com/doc/BOS/S3.html#.E6.9C.8D.E5.8A.A1.E5.9F.9F.E5.90.8D
华为云：https://support.huaweicloud.com/api-obs/zh-cn_topic_0136050628.html
-
src.bucket：源对象存储的Bucket；
-
des.access.id/des.secret.key：目标对象存储的AK/SK；
-
des.endpoint：目标对象存储的Endpoint；
-
des.bucket：目标对象存储的Bucket；
注：如下标红内容是我们需要关注的（“:“ 后要加个空格才能生效）：
##########################################################################################
#jobType 为 listObject,transfer
jobType : transfer
#sourceType 类型共有：urlfile,diskfile，s3file,aliyunfile,disklistfile
sourceType : s3file
#urlType : onlyUrl
#############################################################################################
#sourceType 为 urlfile ，diskfile时，filePath 为必填项
#filePath:
#urlFilePrefix: 10
#该链接的Content-Disposition超过京东云限制，如不获取该header值继续传，则配置为true；否则将该url打印在错误日志里，由用户对该url的header值自行修改
ContentDispositionTooLongContinue: false
#sourceType为urlfile，表示从用户提供的url列表中迁移。文件列表内容为[ object外链,objectkey ] 使用逗号分隔
###########################源bucket配置################################################
#jdcloud
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.cn-north-1.jcloudcs.com
#aliyun
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://oss-cn-beijing.aliyuncs.com
#tencent
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://cos.ap-beijing.myqcloud.com
#baidu
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.bj.bcebos.com
#aws
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://s3.us-east-2.amazonaws.com
#huawei
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://obs.cn-north-1.myhuaweicloud.com
#qiniu
#src.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#src.endpoint : https://cn-south-1-s3.qiniu.com
#src.domainOfBucket : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
#-bucket
#src.bucket : beijing-to-shanghai
#src.prefix :
##################目标bucket配置 destination ############################################################
des.access.id : XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
des.secret.key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXX
des.endpoint : http://s3.cn-east-2.jdcloud-oss.com
des.bucket : shanghai-from-beijing
des.prefix :
3、启动 S3Transfer
后台启动：
1[root@SpringBoot-forbuild java_transfer]# nohup java -jar transfer-tools-java-1.0.0.jar --Dspring.config.location=application.yml &
前台启动：
1[root@SpringBoot-forbuild java_transfer]# java -jar transfer-tools-java-1.0.0.jar --Dspring.config.location=application.yml
4、启动效果
通过传输过程提示，我们可以看到文件传输状态和结果：
5、传输结果
任务传输完成后如下图：
我们点击目标对象存储空间 shanghai-from-beijing ，能看到在源对象存储空间 beijing-to-shanghai 生成的两个10GB文件已经传输过来了。
正文到此结束
- 本文标签： ssl grep API 实例 build Job root tar 数据 DOM Amazon Java环境 wget UI Document 百度 下载 java https 配置 HTML 操作系统 删除 部署 spring git 安装 App 阿里云 http tk 目录 tab centos 域名 list 主机 springboot 云 classpath 京东 空间 key src id linux 编译 cat GitHub XML lib IO
- 版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
- 本文海报： 生成海报一 生成海报二
热门推荐
相关文章
近期评论
-
文章和留言都翻到11页了 没有OOM
-
-
朋友，翻页到11页，及以后，会出现OOM，无法访问
-
-
搞个gitee的项目
-
-
版本号是多少，你可以下载哪个代码仓库，jdk选1.8 直接跑就行
-
-
-
Loading...
![[HBLOG]公众号](https://www.liuhaihua.cn/img/qrcode_gzh.jpg)
