Hadoop与Hbase 安装下载

Posted 2022-08-12 cc写代码

Hadoop与Hbase 版本兼容（官网）

https://blog.csdn.net/manbufenglin/article/details/106401763

Apache HBase ™ Reference Guide

http://hbase.apache.org/book.html#replication

下载地址：

https://archive.apache.org/dist/hbase/

安装包下载(阿里云盘):

https://www.aliyundrive.com/s/qz52nTfoQF6 提取码: 02wb 

安装hadoop

1. 下载 hadoop-2.8.3 2. 解压安装 3. 修改环境变量

1. HADOOP_HOME 环境变量

 2. Path

 3. 修改配置文件:

1. 添加 JAVA_HOME (路径: hadoop-2.8.3\\etc\\hadoop\\hadoop-env.cmd) 注意这里 jdk 的版本号不能太低，经过测试贴图中的版本可用

2. 修改core-site.xml ( 需要创建对应的目录 )

 

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>D:/program/hdf/2.8.3/temp</value>
    </property>
</configuration>

3. 修改hdfs-site.xml ( 需要创建对应的目录 )

 

 

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>                  
        <value>file:///D:/program/hdf/hdata2.8.3/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///D:/program/hdf/hdata2.8.3/datanode</value>
    </property>
</configuration>

4. mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 5. yarn-site.xml (网上说有些配置，但是这里这样就足够了)

 

补丁 hadoop 的补丁 winutils.rar 然后解压 让后将目录内容拷贝到安装好的 Hadoop/bin 目录下去

运行

格式化 namenode 进入 bin 目录下，执行命令： hdfs namenode -format

 

启动 hadoop 进入 sbin 目录下

 

 

测试

打开网页： http://localhost:50070/dfshealth.html#tab-overview

 

http://localhost:8088/cluster/nodes

 

安装HBASE

下载 解压 拷贝文件

 

修改配置文件

1. 修改 hbase-env.cmd

 2. hbase-site.xml

<configuration>
	<property>
		<name>hbase.wal.provider</name>
		<value>filesystem</value>
	</property>
	<property>
		<name>hbase.rootdir</name>
		<value>hdfs://localhost:9000/hbase</value>
	</property>
	<property>
		<name>hbase.tmp.dir</name>
		<value>D:/program/hdf/hbase2.1.6/temp</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>127.0.0.1</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.dataDir</name>
		<value>D:/program/hdf/hbase2.1.6/zoo</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>false</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.clientPort</name>
		<value>2181</value>
	</property>
	<property>
		<name>hbase.master.ipc.address</name>
		<value>0.0.0.0</value>
	</property>
	<property>
		<name>hbase.regionserver.ipc.address</name>
		<value>0.0.0.0</value>
	</property>
	<property>
		<name>hbase.master.port</name>
		<value>22001</value>
	</property>
	<property>
		<name>hbase.master.info.port</name>
		<value>22002</value>
	</property>
	<property>
		<name>hbase.regionserver.port</name>
		<value>22003</value>
	</property>
	<property>
		<name>hbase.regionserver.info.port</name>
		<value>22004</value>
	</property>
</configuration>

创建对应的路径

 

2. 补丁

拷贝 jansi-1.4.jar 到 hbase-2.1.6\\lib 目录下

 

启动 hbase