hbase单机配置

Posted 2020-10-13 夏无蝉鸣

zookeeper安装配置：

1. 解压至任意文件夹

2. /conf/zoo.cfg中

dataDir=/zkData（提前创建zkData目录）

clientPort=2181 不变

server.1=yourhostname1:2888:3888

server.2=yourhostname2:2888:3888

server.3=yourhostname3:2888:3888（加上集群配置）

 

3.在zkData目录下创建myid文件，写对应机器编号

 

4. 分布到其他机器

scp zookeeper-3.4.5-cdh5.10.0  -r  hostname2:/相应目录

scp zookeeper-3.4.5-cdh5.10.0  -r  hostname3:/相应目录

 

5. 更改另外两台机器的myid

 

6. 启动bin/zkServer.sh start

 

7.zkServer.sh status

jps QuorumpeerMain 进程

 

 

HDFS安装配置：

两大主要进程 Namenode 与 Datanode

1. 解压至相应文件夹

2. 配置 etc/hadoop

hadoop-env.sh(环境变量)

   export JAVA_HOME=

core-site.xml

  配置访问HDFS系统的路径  fs.defaultFS (官网默认)

  配置元数据存放地址  hadoop.tmp.dir  (data/tmp)

hdfs-site.xml

  配置副本数 dfs.replication  1

  配置权限 dfs.permissions.enabled  false

slaves

  hostname（单节点所以写namenode名称）

 

3. bin/hdfs namenode -format （格式化HDFS）

 

4. sbin/hadoop-deamon.sh start namenode

   sbin/hadoop-deamon.sh start datanode

 

5. 端口号 50070

  或 jps

 

 

Hbase 安装配置

hbase依赖于HDFS 及 ZooKeeper，自身核心进程为RegionServer 与 Master

 

1. 解压至相应目录

 

2. 配置 conf/

hbase-env.sh

  export JAVA_HOME =

  export HBASE_MANAGES_ZK=false(不使用自带zookeeper)

hbase-site.xml

  <configuration>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://hdfshostname:9000/hbase</value>

  </property>

  <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

  </property>

  <property>

    <name>hbase.zookeeper.quorum</name>

    <value>hostname1,hostname2,hostname3</value>

  </property>

<property>

    <name>hbase.tmp.dir</name>

    <value>（提前创建data/tmp 目录）</value>

  </property>

 

</configuration>

 

regionservers

   hostname(master与regionserver处于同一台机器)

 

3. 启动 bin

Hbase-daemon.sh  hbase-daemons.sh

Start-hbase.sh  stop-hbase.sh

Hbase shell

 4. 常用命令

Create ‘table,family’

List

Scan ‘table’

Put ‘table’,’rowkey’,’family:column’,’values’

Descripe ‘table’

Disable ‘table’

Is_enabled ‘table’

Drop ‘table’