java.net.NoRouteToHostExceptionの火花の質問:ホストへのルートが見つかりません



Java Net Noroutetohostexception Spark Questions



原因:

1、クラスタースパーク完了構造の手順
2、jps、タスクプロセスを表示、すべてのマシンに存在します
3、テストの任意の仕事に提出

現象:

エラーが表示されます:



ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to master / 192.168.1.123: 9000 failed on local exception: java.net.NoRouteToHostException: no route to host at org.apache.hadoop.ipc.Client.wrapException(Client.java:1150) at org.apache.hadoop.ipc.Client.call(Client.java:1118) at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) at com.sun.proxy.$Proxy3.getProtocolVersion(Unknown Source) at org.apache.hadoop.ipc.RPC.checkVersion(RPC.java:422) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:414) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:392) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:374) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:453) at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:335) at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:300) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:385) at org.apache.hadoop.hdfs.server.datanode.DataNode.(DataNode.java:321) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1712) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1651) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1669) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812) Caused by: java.net.NoRouteToHostException: no route to host
解決:

メインサービングノードから相互に通信しないでください

1、マスターノードの構成は関連サービスをチェックし、9000ポートをチェックし、hadoop50070とyarn8000ポートはこの場合開いています



[root@xxxxx ~]$ netstat -ntlp (Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.) Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 192.168.***.***:9000 0.0.0.0:* LISTEN 3338/java tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 3556/java

⚠️ 出現前の対応するポート127.0.0.1:9000が、ポートがマシンに対してのみ開いていることを示している場合、次の2つの理由が考えられます。

  1. Sparkクラスター構成ファイルmasterIPが間違っています。 spark-env.shに移動します 、変更されたレビュー
  2. 各マシンのIPノードが正しい名前のマッピングであることを確認します

2.マスターノードとスレーブノードが構成されていることを確認します。他のノードマッピングのホスト名のクラスターIPアドレス

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.***.*** master 192.168.***.*** slave1 192.168.***.*** slave2 '/etc/hosts'