#hadoop #hdfs
Вопрос:
В моей системе hadoop есть некоторые файлы, которые реплицируются.
Первоначально " Missing replicas: " это составляет около 20% при запуске hdfs fsck / , затем я заставляю файлы реплицироваться дважды (2, равно dfs.репликация в hdfs-site.xml файл)
hdfs dfs -setrep -w 2 /
На терминале большинство файлов затем были реплицированы (дважды)
Waiting for /hdfsPath/filename1.csv ... done
Waiting for /hdfsPath/filename2.csv ... done
Waiting for /hdfsPath/filenamex.csv ..............................................................................................................................................................................................................................
При попытке репликации файла /hdfsPath/filenamex.csv (почти последнего файла в папке) он всегда «ждет» и hdfs fsck / указывает, что реплицируется только несколько файлов (около 0,01%).
Почему hdfs dfs -setrep -w 2 / продолжает ждать?