Не удается перенести/скопировать локальные текстовые файлы в HDFS/Hadoop

#macos #hadoop

Вопрос:

Я использую Mac book pro и запускаю свой Hadoop в docker. Когда я попытался скопировать/ перенести файлы .txt в HDFS, он продолжал говорить мне, что «Такого файла или каталога нет», но файл существует, и я могу получить к нему доступ, когда я не использую локальный хост в Hadoop.

Я попробовал-поставил, и это о чем-то говорит.

введите описание изображения здесь

введите описание изображения здесь

Ответ №1:

hduser@localhost похоже, вы загрузили файл в контейнер, который имеет другую файловую систему, чем ваш Mac. Таким образом, файл не будет находиться в этом конкретном месте , если вы не запустили свой контейнер -v /Users:/Users , чего следует избегать, и вам следует, по крайней мере, смонтировать папку загрузок

Например

 docker run --ti -v $HOME/Downloads/:/mnt/Downloads hdfs-client 
hdfs -mkdir /hn958-hw1
hdfs -put /mnt/Downloads/txtfile.txt /hn958-hw1