hbase安装,以及安装前置hadoop(单节点)

Posted comesh150713

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hbase安装,以及安装前置hadoop(单节点)相关的知识,希望对你有一定的参考价值。

1、hadoop下载

  https://archive.apache.org/dist/hadoop/common/

这里我下载的是: hadoop-2.7.4.tar.gz

1-1首先做ssh免密码登录设置 

  ssh-keygen -t rsa,三次回车后,在/root/.ssh/会生成id_rsa,id_rsa.pub文件
1-2 将id_rsa.pub公钥内容拷贝到authorized_keys文件中

  cat id_rsa.pub >> authorized_keys

1-3、授权

 chmod 600 authorized_keys

1-4、免密码登录已经设定完成,可以ssh -l ip试一下

2-hadoop安装,主要是配置以下几个文件:

  2-1、vim hadoop-env.sh
       export JAVA_HOME=/usr/java/jdk1.7.0_60
  2-2:core-site.xml
  <configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://主机名:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/需要自己创建的目录或者指定一个存在的目录</value>
        </property>
  </configuration>
  2-3、hdfs-site.xml
    <configuration>
                   <property>
                  <name>dfs.replication</name>
                  <value>1</value>
        </property>
  </configuration>
  2-4、cp mapred-site.xml.template mapred-site.xml,然后vim mapred-site.xml
  <configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
     </configuration>
  2-5、
yarn-site.xml
  <configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>主机名</value>
        </property>
  </configuration>
 
3.将Hadoop添加到环境变量中
  vim /etc/profile
  export HADOOP_HOME=/itcast/hadoop-2.2.0
  export PATH=$PATH:$HADOOP_HOME/bin
         
   #使配置生效
          source /etc/profile
 
4.初始化HDFS(格式化文件系统,此步类似刚买U盘需要格式化)
     hdfs namenode -format
 
5.启动文HDFS和YARN
     ./start-dfs.sh
 ./start-yarn.sh
6、启动后,jps,看到如下进程就是成功了:
3449 SecondaryNameNode (相当于NameNode的助理)
3263 DataNode (hdfs部门的小弟,负责存放数据)
3138 NameNode (hdfs部门的老大)
3579 ResourceManager (yarn部门的老大,yarn负责资源管理)
3856 NodeManager (yarn部门的小弟,可以一个,集群的话会有很多)
8、hbase安装:
8-1、hbase官网下载hbase,我这里下载的是:hbase-1.2.6-bin.tar.gz
主要修改以下配置文件

8-2、hbase-env.sh:

 export JAVA_HOME=/usr/lib/jvm/java-8-oracle

 export HBASE_MANAGES_ZK=false

8-3、hbase-site.xml:

23 <configuration>
24 <property>
25 <name>hbase.rootdir</name>
26 <value>hdfs://master-luoxin:9000/hbase</value>
27 <description>The directory shared by RegionServers.</description>
28 </property>
29  <property>
30 <name>hbase.master.info.port</name>
31 <value>60010</value>
32 </property>
33 <property>
34 <name>hbase.zookeeper.quorum</name>
35 <value>master-luoxin</value>
36 </property>
37 <property>
38 <name>dfs.replication</name>
39 <value>1</value>
40 </property>
41 <property>
42 <name>hbase.cluster.distributed</name>
43 <value>true</value>
44 <description>The mode the cluster will be in.</description>
45 </property>
46
47 </configuration>

8-4、启动hbase,./start-hbase.sh

8-5、jps,能看到,就成功了

46890 HMaster

8-6 验证 ./hbase shell进去看看吧,list查看一下表,如果有错请百度一下,

以上亲测,进入habse,list命令可能会报zookerper node XXXX,请百度,试一下很容易解决的。

以上是关于hbase安装,以及安装前置hadoop(单节点)的主要内容,如果未能解决你的问题,请参考以下文章

HBase快速入门之单一节点安装

hadoop安装

HBase入门基础教程 HBase之单机模式与伪分布式模式安装

HBase基础教程1HBase之单机模式与伪分布式模式安装(转)

安装HBase后,HMaster进程无法在hadoop多节点集群上运行。

hbase 0.98.1集群安装