转载

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

目前 CSDN , 博客园 , 简书 同步发表中,更多精彩欢迎访问我的 gitee pages

目录

  • HDFS NN,2NN,DN及HDFS2.x新特性

HDFS NN,2NN,DN及HDFS2.x新特性

NameNode和SecondaryNameNode（重点）

NN和2NN工作机制

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

  1. 第一阶段：NameNode启动
    1. 第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
    2. 客户端对元数据进行增删改的请求。
    3. NameNode记录操作日志，更新滚动日志。
    4. NameNode在内存中对数据进行增删改。
  2. 第二阶段：Secondary NameNode工作
    1. Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
    2. Secondary NameNode请求执行CheckPoint。
    3. NameNode滚动正在写的Edits日志。
    4. 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
    5. Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
    6. 生成新的镜像文件fsimage.chkpoint。
    7. 拷贝fsimage.chkpoint到NameNode。
    8. NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解

Fsimage：NameNode内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。

由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。 SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。

SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

Fsimage和Edits解析

  1. 概念

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

  1. oiv查看Fsimage文件

    1. 查看oiv和oev命令

      [atguigu@hadoop101 current]$ hdfs
oiv            apply the offline fsimage viewer to an fsimage
oev            apply the offline edits viewer to an edits file

    2. 基本语法

      hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

    3. 案例实操

      [atguigu@hadoop101 current]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current

[atguigu@hadoop101 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml

[atguigu@hadoop101 current]$ cat /opt/module/hadoop-2.7.2/fsimage.xml

      查看xml文件,部分显示结果如下

      <inode>
	<id>16386</id>
	<type>DIRECTORY</type>
	<name>user</name>
	<mtime>1512722284477</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>
<inode>
	<id>16387</id>
	<type>DIRECTORY</type>
	<name>atguigu</name>
	<mtime>1512790549080</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>
<inode>
	<id>16389</id>
	<type>FILE</type>
	<name>wc.input</name>
	<replication>3</replication>
	<mtime>1512722322219</mtime>
	<atime>1512722321610</atime>
	<perferredBlockSize>134217728</perferredBlockSize>
	<permission>atguigu:supergroup:rw-r--r--</permission>
	<blocks>
		<block>
			<id>1073741825</id>
			<genstamp>1001</genstamp>
			<numBytes>59</numBytes>
		</block>
	</blocks>
</inode >

      • 思考：可以看出，Fsimage中没有记录块所对应DataNode，为什么？

        在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。

  2. oev查看Edits文件

    1. 基本语法

      hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

    2. 案例实操

      [atguigu@hadoop101 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml
[atguigu@hadoop101 current]$ cat /opt/module/hadoop-2.7.2/edits.xml

      查看xml文件

      <?xml version="1.0" encoding="UTF-8"?>
<EDITS>
	<EDITS_VERSION>-63</EDITS_VERSION>
	<RECORD>
		<OPCODE>OP_START_LOG_SEGMENT</OPCODE>
		<DATA>
			<TXID>129</TXID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD</OPCODE>
		<DATA>
			<TXID>130</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>16407</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943607866</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
			<CLIENT_MACHINE>192.168.1.5</CLIENT_MACHINE>
			<OVERWRITE>true</OVERWRITE>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
			<RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>
			<RPC_CALLID>0</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
		<DATA>
			<TXID>131</TXID>
			<BLOCK_ID>1073741839</BLOCK_ID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
		<DATA>
			<TXID>132</TXID>
			<GENSTAMPV2>1016</GENSTAMPV2>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD_BLOCK</OPCODE>
		<DATA>
			<TXID>133</TXID>
			<PATH>/hello7.txt</PATH>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>0</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<RPC_CLIENTID></RPC_CLIENTID>
			<RPC_CALLID>-2</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_CLOSE</OPCODE>
		<DATA>
			<TXID>134</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>0</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943608761</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME></CLIENT_NAME>
			<CLIENT_MACHINE></CLIENT_MACHINE>
			<OVERWRITE>false</OVERWRITE>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>25</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
		</DATA>
	</RECORD>
</EDITS >

      思考：NameNode如何确定下次开机启动的时候合并哪些Edits？

CheckPoint时间设置

  1. 默认设置为SecondaryNameNode每隔一小时执行一次.

    [hdfs-default.xml]

    <property>
 <name>dfs.namenode.checkpoint.period</name>
 <value>3600</value>
</property>

  2. 或者一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

    <property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>
<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description>1分钟检查一次操作次数</description>
</property>

NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

  • 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；

    1. kill -9 NameNode进程

    2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

      [atguigu@hadoop101 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

    3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录

      [atguigu@hadoop101 dfs]$ scp -r atguigu@hadoop103:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

    4. 重新启动NameNode

  • 方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

    1. 修改hdfs-site.xml中的

      <property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>120</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

    2. kill -9 NameNode进程

    3. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

      [atguigu@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

    4. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件

      [atguigu@hadoop101 dfs]$ scp -r atguigu@hadoop103:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./
[atguigu@hadoop101 namesecondary]$ rm -rf in_use.lock
[atguigu@hadoop101 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs
[atguigu@hadoop101 dfs]$ ls
data  name  namesecondary

    5. 导入检查点数据（等待一会ctrl+c结束掉）

      [atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint

    6. 启动NameNode

      [atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

集群安全模式

  1. 概述

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

  • 当NN中所保存的所有块的最小副本数(默认为1) / 块的总数 > 99.9%时，NN会在30秒之后自动离开安全模式！

  1. 基本语法

    集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

    1. bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）
    2. bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
    3. bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）
    4. bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

  2. 案例

    模拟等待安全模式

    1. 查看当前模式

      [atguigu@hadoop101 hadoop-2.7.2]$ hdfs dfsadmin -safemode get Safe mode is OFF

    2. 先进入安全模式

      [atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode enter

    3. 创建并执行下面的脚本

      [atguigu@hadoop101 hadoop-2.7.2]$ touch safemode.sh
[atguigu@hadoop101 hadoop-2.7.2]$ vim safemode.sh
#!/bin/bash
hdfs dfsadmin -safemode wait
hdfs dfs -put /opt/module/hadoop-2.7.2/README.txt /
[atguigu@hadoop101 hadoop-2.7.2]$ chmod 777 safemode.sh
[atguigu@hadoop101 hadoop-2.7.2]$ ./safemode.sh

    4. 再打开一个窗口，执行

      [atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode leave

    5. 观察

      1. 再观察上一个窗口

        Safe mode is OFF

      2. HDFS集群上已经有上传的数据了

    即等待模式输入的命令(写操作)会在安全模式关闭后执行.

NameNode多目录配置

  1. NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性

  2. 具体配置如下

    1. 在hdfs-site.xml文件中增加如下内容

      <property>
    <name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

    2. 停止集群，删除data和logs中所有数据。

      [atguigu@hadoop102 hadoop-2.7.2]$ xcall rm -rf data/ logs/

    3. 格式化集群并启动。

      [atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh

    4. 查看结果

      [atguigu@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2

DataNode（重点）

DataNode工作机制

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

  1. 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
  2. DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
  3. 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
  4. 集群运行中可以安全加入和退出一些机器。

数据完整性

  1. 当DataNode读取Block的时候，它会计算CheckSum。

  2. 如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

  3. Client读取其他DataNode上的Block。

  4. DataNode在其文件创建后周期验证CheckSum，如图所示。

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

掉线时限参数设置

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为 毫秒 ，dfs.heartbeat.interval的单位为 秒 。 

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name> dfs.heartbeat.interval </name>
    <value>3</value>
</property>

服役新数据节点

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

  1. 环境准备

    1. 在hadoop103主机上再克隆一台hadoop104主机

    2. 修改IP地址和主机名称

    3. 删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data 和log）

    4. source 一下配置文件

      [atguigu@hadoop104 hadoop-2.7.2]$ source /etc/profile

  2. 服役新节点具体步骤

    1. 直接启动DataNode，即可关联到集群

      [atguigu@hadoop104 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
[atguigu@hadoop104 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

    2. 在hadoop104上上传文件

      [atguigu@hadoop104 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

    3. 如果数据不均衡，可以用命令实现集群的再平衡

      [atguigu@hadoop101 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop101.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

退役旧数据节点

添加白名单

添加到白名单的主机，都允许访问NameNode，不在白名单的主机，都会被退出。

配置白名单的具体步骤如下：

  1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件(文件名称随意,路径随意)

    [atguigu@hadoop101 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[atguigu@hadoop101 hadoop]$ touch dfs.hosts
[atguigu@hadoop101 hadoop]$ vi dfs.hosts

    添加如下主机名称（不添加hadoop104）

    hadoop101

    hadoop102

    hadoop103

  2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

    <property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

  3. 配置文件分发

    [atguigu@hadoop101 hadoop]$ xsync hdfs-site.xml

  4. 刷新NameNode

    atguigu@hadoop101 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes

  5. 更新ResourceManager节点

    [atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

  6. 如果数据不均衡，可以用命令实现集群的再平衡

    [atguigu@hadoop101 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop101.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

黑名单退役

在黑名单上面的主机都会被强制退出。

  1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件(名称路径随意)

    [atguigu@hadoop101 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[atguigu@hadoop101 hadoop]$ touch dfs.hosts.exclude
[atguigu@hadoop101 hadoop]$ vi dfs.hosts.exclude

    添加如下主机名称（要退役的节点）

    hadoop104

  2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

    <property>
<name>dfs.hosts.exclude</name>
      <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

  3. 刷新NameNode、刷新ResourceManager

    [atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.1.102:8033

  4. 检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

  5. 等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。 注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

    stopping datanode

    [atguigu@hadoop104 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

    stopping nodemanager

    [atguigu@hadoop104 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

  6. 如果数据不均衡，可以用命令实现集群的再平衡

    [atguigu@hadoop101 hadoop-2.7.2]$ sbin/start-balancer.sh 
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop101.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

    注意：不允许白名单和黑名单中同时出现同一个主机名称。

Datanode多目录配置

  1. DataNode也可以配置成多个目录，每个目录存储的数据不一样。即 ：数据不是副本

  2. 具体配置如下

    hdfs-site.xml

    <property>
 	 <name>dfs.datanode.data.dir</name>
 	 <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

HDFS 2.X新特性

集群间数据拷贝

  1. scp实现两个远程主机之间的文件复制

    scp -r hello.txt root@hadoop102:/user/atguigu/hello.txt // 推 push

    scp -r root@hadoop102:/user/atguigu/hello.txt hello.txt // 拉 pull

    scp -r root@hadoop102:/user/atguigu/hello.txt root@hadoop103:/user/atguigu //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

  2. 采用distcp命令实现两个Hadoop集群之间的递归数据复制

    [atguigu@hadoop101 hadoop-2.7.2]$  bin/hadoop distcp 
hdfs://haoop101:9000/user/atguigu/hello.txt hdfs://hadoop102:9000/user/atguigu/hello.txt

Hadoop存档

java大数据最全课程学习笔记(4)–HDFS NN,2NN,DN及HDFS2.x新特性

案例实操

  1. 需要启动YARN进程

    [atguigu@hadoop102 hadoop-2.7.2]$ start-yarn.sh

  2. 归档文件

    把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/atguigu/output路径下。

    [atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p /user/atguigu/input /user/atguigu/output

  3. 查看归档

    [atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr /user/atguigu/output/input.har
[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///user/atguigu/output/input.har

  4. 解归档文件

    [atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:/// user/atguigu/output/input.har/* /user/atguigu

原文  https://www.maiyewang.com/archives/102458
正文到此结束
所属分类： Java 编程技术

热门推荐

相关文章

阿里云首购8折
说给你听

本文目录
随机标签
书籍教程
springboot-demo Java入门教程 bootstrap3 CSS Apache基础教程 php ionic 教程 Python mysql教程 eclipse Ubuntu VPS系统配置 AngularJS 教程 MongoDB教程 Struts2教程 Redis教程 Spring教程 Git教程 Java设计模式 Jenkins进阶系列 openfire参考指南 HBase教程 Maven教程 hibernate教程 Docker 教程 memcached教程 Quartz指南 Hive教程 ANTLR教程 Ant教程 java实例教程 SpringCloud Elastic-Job-Lite XStream教程 深入浅出MyBatis Hazelcast教程 ibaties教程 SVN教程 rabittmq教程 Hadoop教程 solr教程 WebService CXF学习 springcloud-demo JPA教程 ActiveMQ中文指南 Java内存模型 java-demo dubbo教程 Linux入门视频教程
近期评论
  1. 1 Spring Cloud Circuit Breaker快速入门Demo
  2. 2 Spring Cloud Bus快速入门Demo
  3. 3 Spring Cloud Config快速入门Demo
  4. 4 Spring Cloud Function快速入门Demo
  5. 5 SSPanel-Uim搭建教程 2023年全新定制版主题-解决老版本命令失效问题
  6. 6 Spring Boot集成Milvus和deeplearning4j实现图搜图功能
  7. 7 Spring Boot集成Aviator实现参数校验
  8. 8 ACME自动申请免费的通配符https域名证书
  9. 9 wordpress 数据库和文件优化
  10. 10 CentOS安装Docker与Docker-Compose
网站信息
  • 文章总数：82,696 篇
  • 文件总数：284,257 个
  • 标签总数：2,380 个
  • 分类总数：84 个
  • 留言数量：2,560 条
  • 在线人数：669 人
  • 运行天数：4,392天
  • 最后更新：2024年11月05日22点
Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号 HBLOG HBLOG