Hadoop HDFSコンセプト学習シリーズのHDFSソースコード構造（14）

Hdfs Source Code Structure Hadoop Hdfs Concept Learning Series

HDFSアーキテクチャの名前ノード、データノード、およびクライアントを理解した後、HDFS実装のソースコード構造を分析してみましょう。 HDFSソースコードはorg.apache.hadoop.hdfsパッケージの下にあり、その構造を図6-3に示します。

HDFSのソースコードはI6ディレクトリで配布されており、次の4つのカテゴリに分類できます。
1.基本パッケージ
ツールとセキュリティパッケージを含みます。その中で、hdfs.utilには、HDFSの実装に必要ないくつかの補助データ構造が含まれています。hdfs.security.token.hlockおよびhdfs.security.token.delegationは、Hadaopセキュリティフレームワークと組み合わせて、HDFSへの安全なアクセスのためのメカニズムを提供します。このセキュリティ機能は、Yahooによって最初に開発され、企業で広く使用されているKerberos標準と統合されており、ユーザーはクラスター内のさまざまなビジネス機密データを管理できます。

2.HDFSエンティティ実装パッケージ

これは、7つのパッケージを含むコード分析の焦点です。
hdfs.server.commonパッケージシステムのアップグレード、ストレージスペース情報など、名前ノードとデータノードで共有されるいくつかの機能が含まれています。
hdfs.protocolパッケージIPCを介したHDFSのさまざまなエンティティ間の相互作用のためのインターフェースを提供します。 hdfs.server.datanodeとhdfsには、それぞれ名前ノード、データノード、クライアントの実装が含まれています。上記のコードは、HDFSコード分析の焦点です。
hdfs.server.namennde.metricsパッケージとhdfs.server.datanode.metricsパッケージ名前ノードとデータノードの測定データの収集機能を実現します。メトリックデータには、ネームノードプロセスとデータノードプロセスのイベント数が含まれます。たとえば、データノードは、書き込まれたバイト数やコピーされたブロック数などの情報を収集できます。

3.アプリケーションパッケージ
含まれていますhdfs.toolsパッケージとhdfs.server.balancerパッケージ、これら2つのパッケージは、HDFSステータス情報クエリツールdfsadmin、ファイルシステムチェックツールfsck、およびHDFSバランサーバランサー（start-balancer。shで開始）の実装を提供します。

4.WebHDFS関連パッケージ
含まれていますhdfs.web.resourcesパッケージ、hdfs.server.namenode.web.resoureesパッケージ、hdfs.server.datanode.web.resourcesパッケージとhdfs.webパッケージ合計4つのパッケージ。

WebHDFSは、HDFS 1.0で導入された新機能であり、HTTP経由でHDFSにアクセスするための完全なメカニズムを提供します。読み取り専用のhftpファイルシステムと比較して、WebHDFSはHTTPを介してHDFSを読み書きする機能を提供し、これに基づいて、HDFSにアクセスするCクライアントおよびユーザースペースファイルシステム（FUSE）を実現します。

この記事は、ビッグデータが掲載されているピットブログガーデンブログ、元のリンクから複製されています：http：//www.cnblogs.com/zlslch/p/5089745.html、再版が必要な場合は、元の著者にご自身でご連絡ください