Hadoop 文件系统操作

本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。

当前华为云集群 hadoop 命令存在于目录

/opt/Bigdata/hadoop/hadoop/bin/hadoop

1. 查看帮助

hadoop fs -help

2. 本地往集群拷贝文件： hadoop fs -put wallpaper.rar  /

[root@node-master1fguQ bin]# hadoop fs -put wallpaper.rar  / 20/05/28 10:20:24 INFO obs.OBSFileSystem: This Filesystem GC-ful, clear resource.

3.集群下载文件到本地：hadoop fs -get  /wallpaper.rar  /wallpaper_1.rar

[root@node-master1fguQ bin]# ./hadoop fs -get /wallpaper.rar /root/wallpaper_1.rar [root@node-master1fguQ bin]# ls /root/  wallpaper_1.rar

4. 查看集群文件：hadoop fs -ls /

[root@node-master1fguQ bin]# ./hadoop fs -ls / Found 84 items -rw-r--r--   1 root   ficommon 2082262385 2020-05-28 10:20 /wallpaper.rar

其他相关命令：

显示文件内容： hadoop fs -cat /tmp/file1.txt 创建目录：hadoop fs -mkdir /tmp/test 删除文件: hadoop fs -rm /tmp/file1.txt 移动文件：hadoop fs -mv /tmp/file1.txt /tmp/fil1_new.txt 显示文件大小：hadoop fs -du /tmp/file2.txt 创建文件：hadoop fs -touch /tmp/file3.txt

想查看Hadoop文件系统磁盘空间大小：

[root@node-master1fguQ bin]# ./hadoop fs -df -h 20/05/28 10:37:59 INFO obs.OBSFileSystem: This Filesystem GC-ful, clear resource. Filesystem         Size     Used  Available  Use% hdfs://hacluster  5.5 T  777.1 G      4.4 T   14%

清空Hadoop文件系统垃圾啊回收站文件：

[root@node-master1fguQ bin]# ./hadoop fs -rm -r .Trash 20/05/28 10:39:05 INFO obs.OBSFileSystem: This Filesystem GC-ful, clear resource. Deleted .Trash

小结，总体来说和linux 文件系统操作类似， 命令加hadoop fs 前缀 , 此外命令前加 “-”

Hadoop mrs EI企业智能

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。