Hadoop伪分布式的使用入门
(0)

Hadoop伪分布式的使用入门

对hadoop的个人理解

1.png
HDFS的大体实现的思想:

1:hdfs是通过分布式集群来存储文件,为客户端提供了一个便捷的访问方式,就是一个虚拟的目录结构

2:文件存储到hdfs集群中去的时候是被切分成block块的

3:文件的block存放在若干台datanode节点上的

4:hdfs文件系统中的文件于真实的block之间有映射关系,由namenode管理

5:每一个block在集群中会存储多个副本,好处是可以提高数据的可靠性,还可以提供访问的吞吐量;

常用命令

hadoop fs                         显示hadoop 的fs的功能
hadoop fs -ls /                       列举某目录下面的文件夹
hadoop fs -lsr                       列举某目录下面的文件夹及其文件夹里面的文件
hadoop fs -mkdir /user/hadoop                  在user文件夹下面创建一个hadoop文件夹
hadoop fs -put a.txt /user/hadoop/             将a.txt文件上传到user文件夹下面的hadoop文件夹下面
hadoop fs -get /user/hadoop/a.txt /            获取到user文件夹下面的hadoop文件夹下面的a.txt文件
hadoop fs -cp /原路径 /目标路径              拷贝文件,从原路径拷贝到目标路径
hadoop fs -mv /原路径 /目标路径              从原路径移动到目标路径
hadoop fs -cat /user/hadoop/a.txt              查看a.txt文件里面的内容
hadoop fs -rm /user/hadoop/a.txt            删除user文件夹下面的hadoop文件夹下面的a.txt文件
hadoop fs -rm -r /user/hadoop/a.txt          递归删除,文件夹和文件
hadoop fs -copyFromLocal /本地路径 /目的路径       与hadoop fs -put功能类似。
hadoop fs -moveFromLocal localsrc dst         将本地文件上传到hdfs,同时删除本地文件。
hadoop fs -chown 用户名:用户组名 /文件名         修改所属的用户和用户组,权限修改
hadoop fs -chmod 777 /文件名               文件的权限可读可写可执行的的权限修改
hadoop fs -df -h /                    查看根目录下面的磁盘空间,可用和未用等等
hadoop fs -du -s -h /                   查看某文件的大小
hadoop fs -du -s -h hdfs://主机名:9000/*            查看根目录下面的所有文件的大小
本文为作者admin发布,未经允许禁止转载!
上一篇 下一篇
评论
暂无评论 >_<
加入评论