ツェッペリン

[Zeppelin] Kerberos認証でのHiveインタープリターの構成



Configuration Hive Interpreter Under Kerberos Authentication



記事のディレクトリ


この記事では、将来、ZeppelinでKerberos認証を有効にしてHiveインタープリターを構成する方法を学習します。

エグゼクティブサマリー：

  1. 環境の説明
  2. ハイブインタープリターを作成する
  3. ハイブインタープリターを構成する
  4. 不足しているJarパッケージの依存関係をインストールします

新しいノートブックを作成し、次のコードを入力して、ハイブインタープリターの構成が正しいことを確認します。



%hive show databases

予期しないことが何も起こらない場合、次の例外が発生する可能性があります。

java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver java.lang.ClassNotFoundException: org.apache.hive.service.cli.thrift.TCLIService$Iface java.lang.ClassNotFoundException: org.apache.hadoop.hive.common.auth.HiveAuthUtils java.lang.ClassNotFoundException: org.apache.hadoop.hive.thrift.TFilterTransport java.lang.RuntimeException: Could not load shims in class org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge23

これらの例外は、Jarパッケージの欠如が原因で発生します。 CDHインストールディレクトリから応答Jarパッケージをコピーするだけです（Zeppelinインストールディレクトリで次のコマンドを実行します）。



cp /opt/cloudera/parcels/CDH/jars/hive-jdbc-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-service-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-common-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-shims-common-1.1.0-cdh5.15.1.jar interpreter/jdbc/ cp /opt/cloudera/parcels/CDH/jars/hive-shims-0.23-1.1.0-cdh5.15.1.jar interpreter/jdbc/

面倒な場合は、ハイブに関連するすべてのパッケージを直接コピーできます。

cp /opt/cloudera/parcels/CDH/jars/hive-*.jar interpreter/jdbc/

コピー先interpreter/jdbcディレクトリはどうですか？構成したハイブインタープリターはJDBCグループに属しているため、インタープリターが起動するとinterpreter/jdbcディレクトリがCLASSPATHに追加されます。

注：別のHadoopディストリビューションの場合は、これらのJarパッケージのディレクトリを自分で見つけてください。



Jarパッケージがコピーされたら、インタープリターを再起動すると、エラーは発生しなくなります。show databases少し：

他のクエリもOKです。

Jarパッケージは、Zeppelinページの依存関係管理からインストールすることもできます。 Hiveインタープリターの構成ページの下部で、次のようにしますgroupId:artifactId:version必要な依存関係を入力します。

[保存]をクリックして、Hiveインタープリターを再起動します。 Zeppelinは、必要なJarパッケージを自動的にダウンロードします。 Hiveインタープリターも利用できます。

唯一の懸念は、2つのJarパッケージの間に潜在的な違いがあり、いくつかの面で一貫性のないパフォーマンスにつながるかどうかです。結局のところ、私たちはHiveのCDHバージョンを使用しているので、私はまだ考えています CDHインストールディレクトリにJarパッケージを手動でコピーする方が安全です 。

交換と議論へようこそ、提案について文句を言います。

勤勉な学習は春に育つ苗のようなものですが、それは増えませんが、日は良くなります 中退は砥石のようなものです。 [ビッグデータ見習い]に注意を払い、テクノロジーの乾物を使用して、毎日強くなるのを助けます

画像