Блог

Я пишу сценарий улья, и мне нужно прочитать файл в hdfs внутри скрипта улья и использовать содержимое файла в запросе улья. Файл в формате hdfs содержит дату в одной строке.

Я знаю, что мы можем использовать команды unix в оболочке hive, используя « ! Но мне нужно использовать приведенную ниже команду, и она не работает с!

 while IFS= read -r line; do snapshot_id=$line done < <(hadoop fs -cat /hdfs_path/date.txt)

select * from <tablename> where datestring = $snapshot_id
  

Возможно ли это. ?

Это похоже на то, что вам нужно,

 #!/bin/bash

old_IFS=$IFS
IFS=$'n'
for line in $(hadoop fs -cat /hdfs_path/date.txt)
do
   hive -f "select * from test where datestring = $line"
done          
IFS=$old_IFS
  

Надеюсь, это поможет