当前位置: 首页 > 工具软件 > RHadoop > 使用案例 >

RHadoop搭建

史鸿运
2023-12-01

1)    RHadoop安装

下载RHadoop相关的2个程序包:

https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

rmr-3.3.1

rhdfs-1.0.8

安装依赖库:

安装上面的两个库之前,我们需要先安装这两个库的依赖库。

首先是rJava,由于我们已经配置好JDK1.8的环境,运行R CMD javareconf命令,R的程序从系统变量中会读取Java配置。然后打开R程序,通过install.packages的方式,安装rJava。

然后,我们还要安装其他的几个依赖库,reshape2,Rcpp,iterators,itertools,digest,RJSONIO,functional,通过install.packages都直接安装。

命令行执行

[Command005]:

R CMD javareconf

[Command006]:

R

启动R程序

[Command007]:

install.packages(“rJava”)

[Command008]:

install.packages(“reshape2”)

[Command009]:

install.packages(“Rcpp”)

[Command010]:

install.packages(“iterators”)

[Command011]:

install.packages(“itertools”)

[Command012]:

install.packages(“digest”)

[Command013]:

install.packages(“RJSONIO”)

[Command014]:

install.packages(“functional”)

[Command015]:

install.packages(“caTools”)

配置rhdfs库:

hadoop-streaming-<version>.jar下载地址:

http://www.java2s.com/Code/Jar/h/Downloadhadoopstreaming210betajar.htm

然后在hadoop目录下建contrib文件夹,并在它文件夹下建立streaming文件夹,最后把hadoop-streaming-<version>.jar放在/contrib/streaming/

文件夹下。

例如我用的路径:

/home/hyxy/project/hadoop-2.7.3/contrib/streaming/hadoop-streaming-2.1.0-beta.jar

把HADOOP_CMD和HADOOP_STREAMING设置到环境变量

[Command016]:

vi ~/.bashrc

exportHADOOP_CMD=/home/hyxy/project/hadoop-2.7.3/bin/hadoop

exportHADOOP_STREAMING=/home/hyxy/project/hadoop-2.7.3/contrib/streaming/ hadoop-streaming-2.1.0-beta.jar

[Command017]:

source ~/.bashrc

修改/etc/Hadoop/yarn-site.xml

[Code001]:

<property> 

           <name>yarn.scheduler.maximum-allocation-mb </name>

          <value>9216</value>

 </property>

 <property>                                                                             

        <name>yarn.scheduler.minimum-allocation-mb</name>

       <value>4000</value>

</property>

<property>                                                                             

       <name>yarn.nodemanager.vmem-pmem-ratio</name>

       <value>4.1</value>

</property>

安装rmr库和rhdfs库:

[Command 018]:

R CMD INSTALL rmr2_3.3.1.tar.gz

[Command018]:

R CMD INSTALL rhdfs_1.0.8.tar.gz
 类似资料: