HDFS 常用指令

如何修改 HDFS 副本数量

副本

一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数

sudo -u hdfs hdfs -D dfs.replication=1 -put

可以通过命令来更改已经上传的文件的副本数:

sudo -u hdfs hdfs dfs -setrep -R 2 /

查看当前hdfs的副本数
sudo -u hdfs hdfs fsck -locations

Job Finished in 99.451 seconds
当前集群性能,100 map,每个map执行1亿次
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.5.1.jar pi 100 100000000

常见问题

sudo -u hdfs hdfs fsck /
sudo -u hdfs hdfs fsck / -list-corruptfileblocks

待更