Rhadoop

Cloudera Hadoop CDH上のRおよびRHadoop（rhdfs / rmr2 / rhbase / RHive）



R Rhadoop Cloudera Hadoop Cdh



Cloudera Hadoop CDH上のRおよびRHadoop（rhdfs / rmr2 / rhbase / RHive）

転送元：http：//www.geedoo.info/installed-on-the-cloudera-hadoop-cdh-r-and-rhadoop-rhdfs-rmr2-rhbase-rhive.html



はじめに：RHadoopは、Revolution Analyticsによって開始されたオープンソースプロジェクトであり、統計言語RとHadoopを組み合わせたものです。現在、プロジェクトには3つのRパッケージが含まれています。RでMapReduceアプリケーションをサポートするためのrmr、HDFSへのR言語アクセス用のrhdfs、およびHBASEへのR言語アクセス用のrhbaseです。

まず、システムと必要なソフトウェアバージョン

サーバーオペレーティングシステム：CentOS 6.3



R言語バージョン：R-2.15.3（以前は最新バージョンのR-3を使用していましたが、新しいバージョンにはさまざまな非互換性の問題があることがわかったため、最新バージョンのR-2を選択しました）

ダウンロードアドレス：http：//ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2.15.3.tar.gz

Cloudera Hadoop CDHバージョン：4.4.0



JDKバージョン：1.6.0_31

CDHとJDKは、ClouderaManagerの無料インストールパッケージcloudera-manager-installer.binを使用してインストールできます。詳細については、CDHのインストールを参照してください。

ダウンロードアドレス：https：//ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Free+Edition+Download

rJava（javaはRを呼び出すことができ、CRANを使用してインストールできます）バージョン：rJava_0.9-5

ダウンロードアドレス：http：//www.rforge.net/src/contrib/rJava_0.9-5.tar.gz

RHadoopバージョン、公式の最新バージョン、プロジェクトアドレス（https://github.com/RevolutionAnalytics）。プロジェクトは次のとおりです。

  • rmr-2.2.2
  • rhdfs-1.0.6
  • rhbase-1.2.0

ダウンロードアドレス：https：//github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

ドキュメント：https：//github.com/RevolutionAnalytics/RHadoop/wiki

次に、インストールに依存します（R言語パッケージ、rJavaパッケージ）

インストールする前に、クラスターの各ホストにR言語パッケージとrJavaパッケージを1つずつインストールしてから、Rhadoopをインストールする必要があります。具体的なインストール手順は次のとおりです。

1、R言語パッケージをインストールします

Rをコンパイルする前に、yumを介して次のプログラムをインストールする必要があります。

＃yum install gcc-gfortran

それ以外の場合は、「構成：エラー：F77コンパイラが見つかりません」エラーを報告します

＃yum install gcc gcc-c ++

それ以外の場合、 'configure：error：C ++ preprocessor' / lib / cpp'fails sanity check 'error

＃yum install readline-devel

それ以外の場合、 '-with-readline = yes（デフォルト）およびヘッダー/ライブラリは使用できません'エラー

＃yum install libXt-devel

それ以外の場合、 'configure：error：–with-x = yes（default）and X11 headers / libs not available' error

次に、ソースコードをダウンロードしてコンパイルします

＃wget http://cran.rstudio.com/src/base/R-2/R-2.15.3.tar.gz

＃tar -zxvf R-2.15.3.tar.gz

# cd R-2.15.3

＃。/ configure –prefix = / usr –disable-nls –enable-R-shlib / **（RHiveがインストールされていない場合、後者の2つのオプション–disable-nls –enable-R-shlibはRHiveのマウント用に準備されています保存） * /

＃作る

＃インストールする

http://soledede.com/

個人のマイクロ信号： scccdgf

WeChatの公開番号：