[置顶] Centos7下Hadoop-2.5.1和Hbase1.0.1的伪分布式安装

作者: u014319687
发布时间:2015-07-01 14:20:34

Centos7下Hadoop-2.5.1和Hbase1.0.1的伪分布式安装

                  本人采用的是virtualbox虚拟机+centos7系统(本机win8),以及Hadoop2.5.1+Hbase1.0.1版本。(适用于hadoop2.3版本之后,hbase0.98之后)

      1.操作都是在root用户下进行(偷懒输入权限指令),并且连入网络。在安装之间需要安装virtualbox的增强功能,创建共享文件夹。设备——安装增强功能。桌面会有个光盘程序,点击运行。

         如果程序里面都运行正常,直接设备——共享文件夹(注意:共享文件夹要求英文、不带空格)(我命名为share);

         如果运行程序里有失败项,进入终端:yum install gcc

                                                                             yum update kernel

                                                                             yum install make

                                                                             yum install kernel-header

                                                                             yum install kernel-devel

         安装完插件后重启系统(shutdown -r now),运行增强功能光盘程序,都成功后,建共享文件夹。

         终端:mkdir /mnt/share (在/mnt文件夹下建share文件夹)

                     mount -t vboxsf share /mnt/share       (每次开机后若用到共享文件夹都需要输)

                     cd / mnt/share    (打开共享文件夹,我在共享文件夹中放了jdk、hadoop、hbase压缩文件tar.gz)

    2.安装jdk

      首先需要卸载系统自带的openjava,查看系统的Java:   rpm -qa|grep java

                                                                       卸载:   yum -y remove java javaxxxxx(系统自带的Java版本)

       安装jdk,将jdk.tar.gz文件复制到/usr/java中,终端进入/mnt/share ,cp jdk.tar.gz /usr/ava,进入/usr/java解压:tar xzvf jdk.targz

       配置环境变量:vi /etc/profile       输入i编辑

       在尾部添加:export JAVA_HOME=/usr/java/jdkxxxx

                               export PATH=$JAVA_HOME/bin:$PATH

                               export CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

       保存并退出:  :wq

      使修改生效:  source /etc/profile

      查看Java版本:java -version

   3.hadoop伪分布安装

    ①ssh无密码登陆

     终端:ssh-keygen -t rsa   (获得rsa公钥私钥,id_rsa和id_rsa.pub)

                 cd .ssh

                 cp id_rsa.pub authorized_keys (将公钥复制给authorized_keys)   <分布式则要将所有节点id_rsa.pub相互复制>

    ② /mnt/share    cp hadoop2.x /usr.hadoop

         解压tar xzvf hadoop 2.x

   ③修改core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml 、yarn-site.xml(hadoop2.x版本的配置文件在/hadoop2.x/etc/hadoop下)

   core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

   hadoop-env.sh:   export JAVA_HOME=/usr/java/jdkxxx   (jdk路径)

  hdfs-site.xml:  先创建好数据节点和名称节点的存放路径

<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/user/hadoop/hadoop-2.5.1/data</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/user/hadoop/hadoop-2.5.1/name</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml:  (注意:这个文件是将/hadoop2.x/etc/hadoop下的mapred-site.xml.template复制并重命名 )

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

    ④namenode格式化(一定要完成)

       终端:cd /usr/hadoop/hadoop-2.5.1/bin

                    ./hdfs namenode -format          (输入./hadoop namenode -format也行)

   ⑤运行hadoop

       终端: cd /usr/hadoop/hadoop-2.5.1/sbin   (2.x版本后启动/停止在sbin目录下)   

                    ./start-hdfs.sh

                    ./start-yarn.sh

                 (也可以只输入./start-all.sh)

    输入jps查看启动项,当启动了NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager即ok。

    可进入Firefox中,输入端口号:  localhost:50070      进入hadoop可视化页面。

4.hbase1.0.1伪分布式安装

 ① /mnt/share    cp hbase1.0.1 /usr.hbase

         解压tar xzvf hbase1.0.1

②修改hbase配置文件hbase-env.sh、hbase-site.xml

     hbase-env.sh:   export JAVA_HOME=/usr/java/jdkxxxx (java路径)

                                  export HBASE_MANAGES_ZK=true      (都得去掉前面#)

    hbase-site.xml:

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>file:/usr/hbase/tmp</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>file:/usr/hbase/zookeeperdata</value>
</property>
</configuration>

③运行hbase

    运行前需先启动hadoop,再进入hbase的bin目录下输入指令 ./start-hbase.sh

    输入jps查看启动项,如有HMaster、HRegionServer、HQuormPeer,则说明hbase启动成功。

    输入./hbase Shell      (进入shell指令,可通过shell指令建表)

    如果出现  WARN  [main]  util.NativeCodeLoder: Unable to load native-hadoop library for your platform...using builtin-java classes where applicable,说明hadoop是32位, 但本人file /hadoop-2.5.1/native so,发现是64位,这个问题尚未解决。但不影响建表

版权声明:本文为博主原创文章,未经博主允许不得转载。

来源:http://blog.csdn.net/u014319687/article/details/45875265

推荐: