数分でHadoop-1.2.1クラスターを取得-LinuxでHadoop-1.2.1クラスターを構築する
Get Hadoop 1 2 1 Cluster Minutes Build Hadoop 1
数分でHadoop-1.2.1クラスターを取得
LinuxでHadoop-1.2.1クラスターを構築する
Hadoop-1.2.1クラスターシリーズを10分で入手（1） http://chwshuang.iteye.com/blog/2037102
Hadoop-1.2.1クラスターシリーズを10分で入手（2） http://chwshuang.iteye.com/blog/2037530
Hadoopクラスターをセットアップする前に、クラスター環境を10分で確認できるように準備と準備を行ってください。
1.ビルド環境（前提条件）
システム：CentOS6.464ビット
ソフトウェア環境：JDK1.6.0_45 LinuxインストールJDK、他のネットワーク記事を参照してください
その他：sshdパスワードなしのログイン環境 この記事を参照してください http://chwshuang.iteye.com/admin/blogs/2015040
ソフトウェアパッケージをダウンロードします。
hadoop-1.2.1.tar.gz ダウンロードリンク http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
zookeeper-3.4.6.tar.gz ダウンロードリンク http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
hbase-0.94.17.tar.gz ダウンロードリンク http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.17/hbase-0.94.17.tar.gz
サーバーリスト：
| エイリアスサーバー | サーバーアドレス | サーバーの説明 |
| myhadoop1 | 192.168.1.111 | プライマリNameNodeサーバー |
| myhadoop2 | 192.168.1.112 | Datanodeサーバーから |
| myhadoop3 | 192.168.1.113 | Datanodeサーバーから |
第二に、建設プロセス
1.ユーザーを追加します -（各サーバーでrootユーザーとして実行）
（1）adduserコマンドを実行します
useradd -d / home / myhadoop -s / bin / bash -m myhadoop
（2）次のコマンドを実行して、ユーザー「myhadoop」のパスワードを設定します。
passwd myhadoop
（3）システムプロンプトに従ってパスワード「1234QWER」を2回入力してから、次のコマンドでメインディレクトリに入る必要があります。
[root@xxxxx ~]# useradd -d /home/myhadoop -s /bin/bash -m myhadoop [root@xxxxx ~]# passwd myhadoop Changing password for user myhadoop. New password: BAD PASSWORD: it is too simplistic/systematic Retype new password: passwd: all authentication tokens updated successfully. [root@xxxxx ~]# 2.ホスト名を変更します-ホスト名 クラスターサーバーのエイリアスIP関係を追加する -（各サーバーでrootユーザーとして実行）
変更が必要な場所は3つあります。 hostnameコマンドのみを変更した場合でも、コンピューターを再起動した後も変更されます。 / etc / hostsホストファイル。この場所はDNS解決用に変更されており、単独で変更するだけでは不十分です。同時に改訂できるのは3か所のみです。変更後 サーバーを再起動します 。
【1】ホスト名命令を変更しました。
ホスト名を直接入力して、ホスト名がhadoopであるかどうかを確認します。そうでない場合は、「hostname myhadoop1」と入力してから、「hostname」と入力して確認します。
[root@xxxxx ~]# hostname hadoop1 [root@xxxxx ~]# hostname myhadoop1 [root@xxxxx ~]# hostname myhadoop1 [root@xxxxx ~]# 【2】vim / etc / sysconfig / networkを使用して、ネットワーク構成のホスト名を変更し、HOSTNAME = myhadoop1を変更します。192.168.1.112の場合は、HOSTNAME = myhadoop2に変更します。
[root@xxxxx ~]# vim /etc/sysconfig/network NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=myhadoop1[3] vim / etc / hostsを使用して、ホストファイルのローカル名を変更し、192.168.1.101以降の名前をmyhadoop1に変更します。等々。
[root@xxxxx ~]# vim /etc/hosts 127.0.0.1 localhost 192.168.1.111 myhadoop1 192.168.1.112 myhadoop2 192.168.1.113 myhadoop3 #::1 localhost6.localdomain6 localhost6【4】サーバーを再起動します
rootユーザーとしてログインした後、rebootと入力します
3.インストール
インストールする前に、構成する必要があります。構成中に、111サーバーを構成するだけで済みます。構成が完了したら、111個の構成済みHadoopディレクトリを他のサーバーにコピーします。
[1]インストールパッケージを解凍して構成します-（作成したmyhadoopユーザーでサーバーにログインします）
（1）wgetダウンロード
/ home / myhadoopディレクトリで、次のコマンドを入力してダウンロードします。
wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
wget http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.17/hbase-0.94.17.tar.gz
（2）最初の方法が非常に遅い場合は、他の方法を使用してダウンロードしてからサーバーにアップロードできます。
hadoop-1.2.1.tar.gz、zookeeper-3.4.6.tar.gz、hbase-0.94.17.tar.gzのインストールパッケージを/ home / myhadoopディレクトリにコピーします
（3）承認
rootユーザーがダウンロードした場合は、次の方法を使用して認証する必要があります
[root @ myhadoop1 myhadoop] # ll --- First check the permissions of the file just downloaded total 136864 -rw-rw--w-. 1 root root 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz -rw-rw--w-. 1 root root 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz -rw-rw--w-. 1 root root 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root @ myhadoop1 myhadoop] # chown myhadoop.myhadoop * --- Set the owner and group of the file to myhadoop [root@xxxxx myhadoop]# ll total 136864 -rw-rw--w-. 1 myhadoop myhadoop 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz -rw-rw--w-. 1 myhadoop myhadoop 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz -rw-rw--w-. 1 myhadoop myhadoop 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root @ myhadoop1 myhadoop] # chmod 775 * --- Open the file read, write and execute permissions [root@xxxxx myhadoop]# ll total 136864 -rwxrwxr-x. 1 myhadoop myhadoop 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz -rwxrwxr-x. 1 myhadoop myhadoop 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz -rwxrwxr-x. 1 myhadoop myhadoop 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root@xxxxx myhadoop]# （4）ユーザーmyhadoopとしてログインし、圧縮パッケージを解凍します
[root @ myhadoop1 myhadoop] # su myhadoop-root user switched to myhadoop user [root@xxxxx ~]$ ls hadoop-1.2.1.tar.gz hbase-0.94.17.tar.gz zookeeper-3.4.6.tar.gz [myhadoop @ myhadoop1 ~] $ tar -xzf hadoop-1.2.1.tar.gz --- unzip [root@xxxxx ~]$ tar -xzf hbase-0.94.17.tar.gz [root@xxxxx ~]$ tar -xzf zookeeper-3.4.6.tar.gz [root@xxxxx ~]$ ll total 136876 drwxr-xr-x. 15 myhadoop myhadoop 4096 Jul 23 2013 hadoop-1.2.1 -rwxrwxr-x. 1 myhadoop myhadoop 63851630 Jul 23 2013 hadoop-1.2.1.tar.gz drwxr-xr-x. 10 myhadoop myhadoop 4096 Feb 19 07:42 hbase-0.94.17 -rwxrwxr-x. 1 myhadoop myhadoop 58592781 Feb 26 09:31 hbase-0.94.17.tar.gz drwxr-xr-x. 10 myhadoop myhadoop 4096 Feb 20 18:58 zookeeper-3.4.6 -rwxrwxr-x. 1 myhadoop myhadoop 17699306 Feb 20 20:04 zookeeper-3.4.6.tar.gz [root@xxxxx ~]$ （5）環境変数の設定-rootユーザーとして設定
[myhadoop @ myhadoop1 ~] $ exit --- If the root user logs in to the myhadoop user, log out directly to the root user exit [root @ myhadoop1 myhadoop] # vim / etc / profile --- environment profile to be modified ## -------------------JAVA HADOOP PATH------------------------## JAVA_HOME=/usr/java/jdk1.6.0_45 HADOOP_HOME=/home/myhadoop/hadoop-1.2.1 PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export JAVA_HOME PATH HADOOP_HOME export HADOOP_HOME_WARN_SUPPRESS = 1 --- This configuration is used to solve the Hadoop startup warning ##----------------------- hbase ------------------------------## export HBASE_HOME=/home/myhadoop/hbase-0.94.17 export PATH=$PATH:$HBASE_HOME/bin ##------------------------ zookeeper -------------------------## ZK_HOME=/home/myhadoop/zookeeper-3.4.6 PATH=$ZK_HOME/bin:$PATH export PATH ZK_HOME [root @ myhadoop1 myhadoop] # source / etc / profile --- let the configuration take effect immediately【2】Hadoopをインストールする
hadoop-env.sh、core-site.xmlの構成が必要です
（1）構成-スタートアップファイルhadoop-1.2.1 / conf /hadoop-env.shを変更します
[root @ myhadoop1 myhadoop] # su myhadoop --- configured as user myhadoop [root@xxxxx ~]$ ls hadoop-1.2.1 hadoop-1.2.1.tar.gz hbase-0.94.17 hbase-0.94.17.tar.gz zookeeper-3.4.6 zookeeper-3.4.6.tar.gz [root@xxxxx ~]$ vim hadoop-1.2.1/conf/hadoop-env.sh # The java implementation to use. Required. export JAVA_HOME=/usr/java/jdk1.6.0_45（2）メイン構成ファイルhadoop-1.2.1 / conf /core-site.xmlを構成します
[root@xxxxx ~]$ vim hadoop-1.2.1/conf/core-site.xml fs.default.name hdfs://192.168.1.111:9000 （3）hdfs構成ファイルhadoop-1.2.1 / conf /hdfs-site.xmlを変更します
[root@xxxxx ~]$ vim hadoop-1.2.1/conf/hdfs-site.xml dfs.replication 3 （4）タスクスケジューリングサービスの構成を構成するhadoop-1.2.1 / conf / mapred-site.xml
[root@xxxxx ~]$ vim hadoop-1.2.1/conf/mapred-site.xml mapred.job.tracker 192.168.1.111:9001 （5）マスターサーバーアドレスhadoop-1.2.1 / conf / mastersを構成します
[root@xxxxx ~]$ vim hadoop-1.2.1/conf/masters 192.168.1.111（6）スレーブサーバーアドレスhadoop-1.2.1 / conf / slavesを構成します
[root@xxxxx ~]$ vim hadoop-1.2.1/conf/slaves 192.168.1.111 192.168.1.112 192.168.1.113（7）ノードサーバーのフォーマット-注：実行プロセス中にエラーメッセージが表示された場合は、解決して再フォーマットする必要があります
[myhadoop @ myhadoop1 ~] $ cd hadoop-1.2.1 / bin / --- enter the bin execution file directory [myhadoop @ myhadoop1 bin] $ hadoop namenode -format --- execute node format 14/03/27 10:46:39 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = myhadoop1/192.168.1.111 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.2.1 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152 compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013 STARTUP_MSG: java = 1.6.0_45 ************************************************************/ 14/03/27 10:46:39 INFO util.GSet: Computing capacity for map BlocksMap 14/03/27 10:46:39 INFO util.GSet: VM type = 64-bit 14/03/27 10:46:39 INFO util.GSet: 2.0% max memory = 1013645312 14/03/27 10:46:39 INFO util.GSet: capacity = 2^21 = 2097152 entries 14/03/27 10:46:39 INFO util.GSet: recommended=2097152, actual=2097152 14/03/27 10:46:40 INFO namenode.FSNamesystem: fsOwner=myhadoop 14/03/27 10:46:40 INFO namenode.FSNamesystem: supergroup=supergroup 14/03/27 10:46:40 INFO namenode.FSNamesystem: isPermissionEnabled=true 14/03/27 10:46:40 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 14/03/27 10:46:40 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 14/03/27 10:46:40 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0 14/03/27 10:46:40 INFO namenode.NameNode: Caching file names occuring more than 10 times 14/03/27 10:46:41 INFO common.Storage: Image file /tmp/hadoop-myhadoop/dfs/name/current/fsimage of size 114 bytes saved in 0 seconds. 14/03/27 10:46:41 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/tmp/hadoop-myhadoop/dfs/name/current/edits 14/03/27 10:46:41 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/tmp/hadoop-myhadoop/dfs/name/current/edits 14/03/27 10:46:41 INFO common.Storage: Storage directory /tmp/hadoop-myhadoop/dfs/name has been successfully formatted. 14/03/27 10:46:41 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at myhadoop1/192.168.1.111 ************************************************************/ [root@xxxxx bin]$ （8）hadoop-1.2.1を他のサーバーにコピーします
[myhadoop @ myhadoop1 ~] $ cd ~ --- Enter the main directory of myhadoop Enter the following command to copy [root@xxxxx ~]$ scp -r hadoop-1.2.1 root@xxxxx:~ [root@xxxxx ~]$ scp -r hadoop-1.2.1 root@xxxxx:~コピープロセス中にパスワードは必要ありません。パスワードの入力を求められた場合は、パスワードなしのログインを設定しないでください。
（9）クラスターの開始と停止メインサーバーで、次のように入力します。start-all.shクラスターを開始し、jpsと入力して開始されたサービスを表示します。
[root@xxxxx ~]$ start-all.sh starting namenode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-namenode-myhadoop1.out 192.168.1.112: starting datanode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-datanode-myhadoop2.out 192.168.1.113: starting datanode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-datanode-myhadoop3.out 192.168.1.111: starting datanode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-datanode-myhadoop1.out 192.168.1.111: starting secondarynamenode, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-secondarynamenode-myhadoop1.out starting jobtracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-jobtracker-myhadoop1.out 192.168.1.112: starting tasktracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-tasktracker-myhadoop2.out 192.168.1.113: starting tasktracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-tasktracker-myhadoop3.out 192.168.1.111: starting tasktracker, logging to /home/myhadoop/hadoop-1.2.1/libexec/../logs/hadoop-myhadoop-tasktracker-myhadoop1.out [root@xxxxx ~]$ jps 3749 DataNode 3629 NameNode 3972 JobTracker 4102 TaskTracker 4149 Jps 3872 SecondaryNameNode [root@xxxxx ~]$ サーバーから入力：jpsは、ノードサービスとタスクスケジューリングサービスが開始されたことを確認できます。
[root@xxxxx ~]$ jps 3690 Jps 3607 TaskTracker 3502 DataNode [root@xxxxx ~]$ メインサーバーでstop-all.shと入力して、クラスター全体をシャットダウンします
[root@xxxxx ~]$ stop-all.sh stopping jobtracker 192.168.1.112: stopping tasktracker 192.168.1.111: stopping tasktracker 192.168.1.113: stopping tasktracker stopping namenode 192.168.1.112: stopping datanode 192.168.1.111: stopping datanode 192.168.1.113: stopping datanode 192.168.1.111: stopping secondarynamenode [root@xxxxx ~]$ （10）表示
ブラウザで表示：http：//192.168.1.111：50070 / hadoopの実行ステータスを表示
一部のアドレスが表示されない場合は、Windowsの下のホストファイルがホストIPとホスト名のマッピングで構成されていないことが原因である必要があります。たとえば、Windows 7では、ファイルC： Windows System32 drivers etc hostsを変更し、ホスト名とIPマップを追加します。
192.168.1.111 hadoop1
192.168.1.112 hadoop2
192.168.1.113 hadoop3
