Centos6.6でのHadoop2.2.0バージョンの詳細なインストールとデプロイ
Detailed Installation
Centos6.6でHadoop2.2.0バージョンをインストールしてデプロイします。ここで、LZが使用するCentos 32ビットシステムは、64ビットのインストール中にいくつかの不可解な問題があるため、32ビットを使用します。 32ビットのCentos6.6ダウンロードアドレスを以下に示します
実験環境:3つのCentos6.6システム(実験環境のため、2つのノードのみが分散されました)
32ビットCentosミラーアドレス: http://pan.baidu.com/s/1pKB7TFX パスワード:61af
JDKでの32ビットLinux: http://pan.baidu.com/s/1nv40AM1 パスワード:ポイント
Hadoop Hadoop 2.2.0インストールパッケージ: https://archive.apache.org/dist/hadoop/common/
上記の32ビットイメージアドレスに基づいて仮想マシンを作成します。 LZ実験環境には3台の仮想マシンがインストールされています。必要に応じて仮想マシンを作成できます。
Hadoop2.2.0をインストールするための詳細な手順は次のとおりです。
1. JDKをインストールし、上記のアドレスに従ってダウンロードして、システムでファイルを解凍します。減圧ステップLZについては詳細に説明しない。ここで、LZはusrディレクトリの下で解凍され、インストールディレクトリをここに記録し、後でhadoop環境を構成します。変数が使用されます。(追記:ここにインストールするJDKの桁数は、Linuxシステムの桁数と一致している必要があります。一致しない場合、インストールプロセス中に問題が発生します)
2.ホストファイルを編集し、クラスターに参加するために必要なホスト名を設定します。IPアドレスはホスト名に対応します。ホスト名の統一使用(ホスト名を使用するものとIPアドレスを使用するものがあることに注意してください。パスワードなしの接続が必要です)
3.ファイアウォールをオフにします。各ノードのファイアウォールをオフにする必要があります。オフにしないと接続できないという問題があります。
ファイアウォールサービスをオフにするコマンドiptablesstopファイアウォールをオフにする
– service iptablesstatusステータスの表示
。
4.パスワードなしのSSHをデプロイするこの手順では、LZの別の記事(サーバーへのパスワードなしのログイン)を参照できます。 http://blog.csdn.net/u013233360/article/details/78023846
5. Hadoop2.2.0をダウンロードして解凍します。ダウンロードアドレスは上記で提供されており、アドレスに従ってダウンロードした後、サーバーにアップロードできます。または、サーバーに直接ダウンロードする必要がある場合は、次のように、wgetコマンド+ダウンロードアドレスを使用してダウンロードできます。
ダウンロード後、ファイルを解凍します:tar -xzvf hadoop-2.2.0.tar.gz
解凍後、ディレクトリにデータ(データブロックの保存、データノードに使用)、名前(メタデータの保存、名前ノードに使用)、およびtmp(一時ディレクトリ)フォルダを作成します。以下に示すように:
6.hadoopで構成ファイルを変更します
1)/hadoop-2.2.0/etc/hadoop/hadoop-env.shファイル。このファイルは、hadoopの環境変数を変更し、JAVA_HOMEパスを設定する必要があります。 hadoop-env.shファイルでJAVA_HOMEを見つけて、独自のJDKインストールディレクトリを設定します。ここのLZは、JDKの/ usr /にインストールされます。次のようになります。
2)/hadoop-2.2.0/etc/hadoop/yarn-env.shファイル。このファイルでは、yarnの環境変数を変更し、JAVA_HOMEパスを設定する必要もあります。
3)/hadoop-2.2.0/etc/hadoop/slavesファイル。LZは2つの子ノードのみを設定するため、このファイルはホストに関連付けられた子ノードのホスト名を設定する必要があります。したがって、2つのホスト名を設定するだけで済みます。ただし、状況に応じて、対応するサブノードのホスト名を設定できます。示されているように:
4)、/hadoop-2.2.0/etc/hadoop/core-site.xmlファイル。次のように設定します。
fs.defaultFSの値は、ポート9000でリッスンしているnamenodeのホストです。
hadoop.tmp.dirの値は、hadoopの一時ディレクトリを設定します
core-site.xmlファイルには多くの構成項目があるため、ここでは1つずつ繰り返すことはしません。
「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。
5)、/hadoop-2.2.0/etc/hadoop/hdfs-site.xmlファイルの場合、構成は次のとおりです。
dfs.namenode.name.dirの値は、メタデータが格納されるディレクトリを指定します(名前ディレクトリは事前に作成する必要があります)
dfs.datannode.name.dirの値は、データブロックが格納されるディレクトリを指定します(データディレクトリは事前に作成する必要があります)
「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。
6)、/hadoop-2.2.0/etc/hadoop/mapred-site.xmlファイルの場合、構成アイテムは次のとおりです:(ps:hadoop2.2.0mapred-site.xmlファイルの名前は「mapred-site.xml.template」です。)。
mapreduce.framework.nameの値は、mapreduceのフレームワークを第2世代のヤーンに設定します
「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。
7) 、/hadoop-2.2.0/etc/hadoop/yarn-site.xmlファイルの場合、構成は次のとおりです。
「HadoopDefinitiveGuide」ブックの第9章、セクション4、Hadoop構成を参照できます。このセクションでは、構成プロパティについて説明します。
7.各ノードにHadoopを配布します
上記のファイルを構成した後、Hadoopパッケージを各ノードに配布できます。 LZは、データブロックノードとして使用される2つのノードをここに分散します。
8.クラスターを開始します
クラスターを開始する最後のステップは、最初にnamenodeをフォーマットすることです。
フォーマットコマンド:./ bin / hdfs namenode-format
フォーマット後、フォーマットが成功したことを示す「成功」と表示された場合は、Hadoopクラスターを開始できます。
hdfsを開始します:./sbin/start-dfs.sh
開始後、/ usr / jdk1.7.0_67 / bin / jpsに従ってプロセスをクエリできます。(ps:JDKがインストールされているディレクトリに基づくクエリプロセス)
現時点では、マスターノードのプロセスには目的、二次
2つの子ノードのプロセスにはデータノードがあります
示されているように:マスターノードプロセス
子プロセス
スタートヤーン:./ sbin / start-yarn.sh
この時点でマスターノードで実行されているプロセスは、namenode、secondarynamenode、resourcemanagerです。
バイトポイントで実行されているプロセスは、datanode、nodemanagerです。
示されているように:マスターノードプロセス
子プロセス
合格も可能./sbin/start-all.shHadoopクラスター全体を開始します
起動後、WebページでHadoopの実行状況を把握できます
以下に示すように、ブラウザとhttpを使用して、namenodeが配置されているノードの50070ポート監視セットにアクセスします。
上記のWebページが表示されている場合は、Hadoop2.2.0バージョンのインストールとデプロイがすべて完了しています。