Блог

У меня вопрос о доступе к hadoop s3 на aws.

 <property>
<name>fs.default.name</name>
<value>s3n://testhadoophiveserver</value>
</property>

<property>

<name>fs.s3n.awsAccessKeyId</name>
<value>I have fill it</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>I have fill it</value>
</property>
 

итак, я получил код ошибки при запуске start-all.sh .
вот так :

 hadoopmaster: Exception in thread "main" java.net.UnknownHostException: unknown host: testhadoophiveserver
hadoopmaster:   at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)

hadoopmaster:   at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)

adoopmaster:    at org.apache.hadoop.ipc.Client.call(Client.java:720)

hadoopmaster:   at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)

hadoopmaster:   at $Proxy4.getProtocolVersion(Unknown Source)

hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:346)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:383)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:314)
 

но, если я использую HDFS, все в порядке.
теперь я не могу использовать файловую систему S3.
кто может мне помочь?

Я думаю, вам не следует запускать » start-all.sh «. Сценарии » start-all.sh » включите код запуска HDFS и MapReduce. Не нужно запускать HDFS, если вы настроили использование S3 в качестве базового уровня хранилища. The start-dfs.sh вызывается start-all.sh , поэтому он выполнит код для запуска HDFS, который вы не настраивали.