Hadoop

Hadoopでのhcatalogの使用とは何ですか？



What Is Use Hcatalog Hadoop



解決：

つまり、HCatalogは、ハイブのメタデータを他のmapreduceツールに公開します。すべてのmapreduceツールには、HDFSデータに関する独自の概念があります（たとえば、PigはHDFSデータをファイルのセットとして認識し、Hiveはそれをテーブルとして認識します）。テーブルベースの抽象化により、HCatalogでサポートされているmapreduceツールは、データが保存されている場所、形式、保存場所（HBaseまたはHDFS）を気にする必要がありません。

Hcatalogに沿ってwebhcatを構成すると、WebHcatの機能がRESTfulな方法でジョブを送信できるようになります。




これは、HOがHCATALOGを使用する方法の非常に基本的な例です。

ハイブにテーブルがあります。テーブル名はSTUDENTで、HDFSの場所の1つに保存されています。



neethu 90 malini 90 sunitha 98 mrinal 56 ravi 90 joshua 8

ここで、データをさらに変換するためにこのテーブルをpigにロードするとします。このシナリオでは、HCATALOGを使用できます。

PigでHiveメタストアのテーブル情報を使用する場合、pigを呼び出すときに-useHCatalogオプションを追加します。



豚-useHCatalog

（HCAT_HOME'HCAT_HOME = / usr / lib / hive-hcatalog / 'をエクスポートすることをお勧めします）

このテーブルをpigにロードします。A = LOAD'student 'USING org.apache.hcatalog.pig.HCatLoader（）;

これで、テーブルがpigにロードされました。スキーマを確認するには、リレーションでDESCRIBEを実行するだけです。

説明A

ありがとう


他のすばらしい投稿を追加する画像を追加して、 どうやってHCatalogは機能し、クラスター内のどのレイヤーに配置されますか

HCatalogは機能し、クラスター内のどこにあるか '>

Q：どの程度正確に機能しますか？

あなたが言ったように ' HCatalogは、Hadoopのテーブルおよびストレージ管理レイヤーです。 'これは、Hiveテーブルの分散ストレージレイヤーに対してI / O操作を実行することにより、MR、Spark、Pigなどの他のフレームワークに高レベルの抽象化を提供します。

HCatalogは3つの重要な要素で構成されています

  1. SerDe ：さまざまなデータ形式を処理するためのシリアル化および逆シリアル化lib。
  2. メタストアDB ：Hiveテーブルのスキーマを格納するために使用します。
  3. WebHCat / HCatalog REST ：WebクライアントのメタストアDBの上にあるUI / RESTレイヤー。

Q：使い方は？

HCatalogがインストールされて正常に実行されたら、CLIで次の操作を行います。

使用法：hcat -e '' [-g ''] [-p ''] [-D '=']-D指定されたプロパティにhadoop値を使用します-ehcatコマンドラインから指定されます-fhcatコマンドファイル-g CREATEステートメントで指定されたdb / tableのグループ-h、-helpヘルプ情報を出力します-CREATEステートメントで指定されたdb / tableのアクセス許可
例：
 
./hcat –e'SELECT * FROM従業員; '