HDFS Shell 命令简介及查询

1. HDFS shell

1.1 HDFS Shell CLI客户端

1.2 HDFS Shell CLI客户端–说明

1.3 总结

1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者区别

1.5 HDFS Shell CLI客户端–参数说明

1.6 在Hadoop官网上找到命令

1. HDFS Shell

1.1 HDFS Shell CLI客户端

1.2 HDFS Shell CLI客户端–说明

1.3 总结

1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者区别

1.5 HDFS Shell CLI客户端–参数说明

1.6 在Hadoop官网上找到命令

1. HDFS Shell

1.1 HDFS Shell CLI客户端

命令行界面（英语：command-line interface，缩写：CLI）是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。

Hadoop提供了文件系统的shell命令行客户端，使用方法如下：

跟文件系统读写使用相关的命令是 hdfs dfs [generic options]

1.2 HDFS Shell CLI客户端–说明

HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统（hdfs://nn:8020）等

操作的是什么文件系统取决于URL中的前缀协议。

如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统

hdfs dfs -ls file:/// #操作本地文件系统

hdfs dfs -ls /

查看文件默认系统

cat /export/servers/hadoop-2.7.4/etc/hadoop/core-site.xml

hdfs dfs -ls hdfs://hadoop01:9000/ #操作HDFS分布式文件系统

所以 hdfs dfs -ls hdfs://hadoop01:9000/ 和 hdfs dfs -ls / 访问的是同一个文件系统。

1.3 总结

1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者区别

hadoop dfs 只能操作HDFS文件系统（包括与Local FS间的操作），不过已经Deprecated(已弃用)

hdfs dfs 只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用

hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广.

目前版本来看，官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。

1.5 HDFS Shell CLI客户端–参数说明

HDFS文件系统的操作命令很多和Linux类似，因此学习成本相对较低。

可以通过hadoop fs -help命令来查看每个命令的详细用法。

1.6 在Hadoop官网上找到命令

也可以通过下面的步骤找到官网上的命令。

官网：http://hadoop.apache.org/，选择对应的Hadoop版本即可

找到 Commands Reference

Hadoop 3.2.2 版本命令：https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/FileSystemShell.html

Hadoop Shell

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。