Hadoopのスキーム用ファイルシステムなし：hdfs

Hadoops No Filesystem

1.シーンとエラー：

Javaコード開発、HDFSへのアクセスとデータの書き込み、実行可能jarパッケージエラーの実行（実行コマンド：java -jar xxx.jar）：

18/03/15 09:39:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2676) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2690) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94) at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2733) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2715) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:382) at com.xcar.etl.ApendToHdfs.apend(ApendToHdfs.java:50) at com.xcar.etl.ApendToHdfs.main(ApendToHdfs.java:154)

2.解決する

conf.set('fs.hdfs.impl', 'org.apache.hadoop.hdfs.DistributedFileSystem')

詳細な説明については、参考文献[1]を参照してください。

例外は報告されていませんが、次のような警告が表示されます。

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

回避策：java -jarXXX.jarをhadoopjarxxx.jarコマンドに変更して実行します。

Hadoopコマンドの実行時にHadoop関連のjarパッケージと構成が自動的にロードされることがわかっているため、環境変数が有効になるように構成されていることを確認してください。[2] [3]を参照してください。

このように、設定されていない場合でも、Hadoopコマンドを使用して実行します fs.hdfs.impl パラメータは報告されません スキーム用のファイルシステムがありません 異常な。

参照

1. java.io.IOException：スキームのファイルシステムがありません：hdfs
2.Hadoopネイティブをロードできない-hadoopライブラリの問題解決
3. Hadoopエラー：警告util.NativeCodeLoader：プラットフォームのネイティブhadoopライブラリを読み込めません...該当する場合は組み込みのJavaクラスを使用して解決します