Centos6.6でのHadoop2.2.0バージョンの詳細なインストールとデプロイ



Detailed Installation



Centos6.6でHadoop2.2.0バージョンをインストールしてデプロイします。ここで、LZが使用するCentos 32ビットシステムは、64ビットのインストール中にいくつかの不可解な問題があるため、32ビットを使用します。 32ビットのCentos6.6ダウンロードアドレスを以下に示します

実験環境:3つのCentos6.6システム(実験環境のため、2つのノードのみが分散されました)



32ビットCentosミラーアドレス: http://pan.baidu.com/s/1pKB7TFX パスワード:61af

JDKでの32ビットLinux: http://pan.baidu.com/s/1nv40AM1 パスワード:ポイント



Hadoop Hadoop 2.2.0インストールパッケージ: https://archive.apache.org/dist/hadoop/common/


上記の32ビットイメージアドレスに基づいて仮想マシンを作成します。 LZ実験環境には3台の仮想マシンがインストールされています。必要に応じて仮想マシンを作成できます。




Hadoop2.2.0をインストールするための詳細な手順は次のとおりです。

1. JDKをインストールし、上記のアドレスに従ってダウンロードして、システムでファイルを解凍します。減圧ステップLZについては詳細に説明しない。ここで、LZはusrディレクトリの下で解凍され、インストールディレクトリをここに記録し、後でhadoop環境を構成します。変数が使用されます。(追記:ここにインストールするJDKの桁数は、Linuxシステムの桁数と一致している必要があります。一致しない場合、インストールプロセス中に問題が発生します)



2.ホストファイルを編集し、クラスターに参加するために必要なホスト名を設定します。IPアドレスはホスト名に対応します。ホスト名の統一使用(ホスト名を使用するものとIPアドレスを使用するものがあることに注意してください。パスワードなしの接続が必要です)


3.ファイアウォールをオフにします。各ノードのファイアウォールをオフにする必要があります。オフにしないと接続できないという問題があります。

ファイアウォールサービスをオフにするコマンドiptablesstopファイアウォールをオフにする

– service iptablesstatusステータスの表示


4.パスワードなしのSSHをデプロイするこの手順では、LZの別の記事(サーバーへのパスワードなしのログイン)を参照できます。 http://blog.csdn.net/u013233360/article/details/78023846


5. Hadoop2.2.0をダウンロードして解凍します。ダウンロードアドレスは上記で提供されており、アドレスに従ってダウンロードした後、サーバーにアップロードできます。または、サーバーに直接ダウンロードする必要がある場合は、次のように、wgetコマンド+ダウンロードアドレスを使用してダウンロードできます。


ダウンロード後、ファイルを解凍します:tar -xzvf hadoop-2.2.0.tar.gz

解凍後、ディレクトリにデータ(データブロックの保存、データノードに使用)、名前(メタデータの保存、名前ノードに使用)、およびtmp(一時ディレクトリ)フォルダを作成します。以下に示すように:



6.hadoopで構成ファイルを変更します

1)/hadoop-2.2.0/etc/hadoop/hadoop-env.shファイル。このファイルは、hadoopの環境変数を変更し、JAVA_HOMEパスを設定する必要があります。 hadoop-env.shファイルでJAVA_HOMEを見つけて、独自のJDKインストールディレクトリを設定します。ここのLZは、JDKの/ usr /にインストールされます。次のようになります。



2)/hadoop-2.2.0/etc/hadoop/yarn-env.shファイル。このファイルでは、yarnの環境変数を変更し、JAVA_HOMEパスを設定する必要もあります。


3)/hadoop-2.2.0/etc/hadoop/slavesファイル。LZは2つの子ノードのみを設定するため、このファイルはホストに関連付けられた子ノードのホスト名を設定する必要があります。したがって、2つのホスト名を設定するだけで済みます。ただし、状況に応じて、対応するサブノードのホスト名を設定できます。示されているように:



4)、/hadoop-2.2.0/etc/hadoop/core-site.xmlファイル。次のように設定します。

fs.defaultFSの値は、ポート9000でリッスンしているnamenodeのホストです。

hadoop.tmp.dirの値は、hadoopの一時ディレクトリを設定します

core-site.xmlファイルには多くの構成項目があるため、ここでは1つずつ繰り返すことはしません。

「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。


5)、/hadoop-2.2.0/etc/hadoop/hdfs-site.xmlファイルの場合、構成は次のとおりです。

dfs.namenode.name.dirの値は、メタデータが格納されるディレクトリを指定します(名前ディレクトリは事前に作成する必要があります)

dfs.datannode.name.dirの値は、データブロックが格納されるディレクトリを指定します(データディレクトリは事前に作成する必要があります)

「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。



6)、/hadoop-2.2.0/etc/hadoop/mapred-site.xmlファイルの場合、構成アイテムは次のとおりです:(ps:hadoop2.2.0mapred-site.xmlファイルの名前は「mapred-site.xml.template」です。)。

mapreduce.framework.nameの値は、mapreduceのフレームワークを第2世代のヤーンに設定します

「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。




7) 、/hadoop-2.2.0/etc/hadoop/yarn-site.xmlファイルの場合、構成は次のとおりです。

「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。



7.各ノードにHadoopを配布します

上記のファイルを構成した後、Hadoopパッケージを各ノードに配布できます。 LZは、データブロックノードとして使用される2つのノードをここに分散します。


8.クラスターを開始します

クラスターを開始する最後のステップは、最初にnamenodeをフォーマットすることです。

フォーマットコマンド:./ bin / hdfs namenode-format

フォーマット後、フォーマットが成功したことを示す「成功」と表示された場合は、Hadoopクラスターを開始できます。

hdfsを開始します:./sbin/start-dfs.sh

開始後、/ usr / jdk1.7.0_67 / bin / jpsに従ってプロセスをクエリできます。(ps:JDKがインストールされているディレクトリに基づくクエリプロセス)

現時点では、マスターノードのプロセスには目的、二次

2つの子ノードのプロセスにはデータノードがあります

示されているように:マスターノードプロセス


子プロセス



スタートヤーン:./ sbin / start-yarn.sh

この時点でマスターノードで実行されているプロセスは、namenode、secondarynamenode、resourcemanagerです。

バイトポイントで実行されているプロセスは、datanode、nodemanagerです。


示されているように:マスターノードプロセス


子プロセス


合格も可能./sbin/start-all.shHadoopクラスター全体を開始します


起動後、WebページでHadoopの実行状況を把握できます

以下に示すように、ブラウザとhttpを使用して、namenodeが配置されているノードの50070ポート監視セットにアクセスします。



上記のWebページが表示されている場合は、Hadoop2.2.0バージョンのインストールとデプロイがすべて完了しています。