在文件里太多的情况下直接hdfs ls会导致内存溢出, 无法获取所有文件列表，这里通过java的方式遍历HDFS,获取所有文件列表输出到文件
Jar 包地址
命令
下载Jar包后执行以下命令
/dir1 是HDFS里的目录
hadoop jar hdfs-1.0-SNAPSHOT.jar /dir1 > dir1.txt |
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Ops Blog | 孙高猛！
评论
在文件里太多的情况下直接hdfs ls会导致内存溢出, 无法获取所有文件列表，这里通过java的方式遍历HDFS,获取所有文件列表输出到文件
下载Jar包后执行以下命令
/dir1 是HDFS里的目录
hadoop jar hdfs-1.0-SNAPSHOT.jar /dir1 > dir1.txt |