Atlas部署（待完成）

Posted 2022-02-14 小基基o_O

文章目录

• 1、集群规划、版本、环境变量
• 2、Solr集群部署
• 3、安装Maven
• 4、编译Atlas
• 5、安装Atlas服务
• 配置Atlas存储到外部HBase
• Atlas集成Solr
• Atlas集成Hive

1、集群规划、版本、环境变量

• Atlas安装分为：集成自带的HBase+Solr 和 集成外部的HBase+Solr
  本文是集成外部的
  安装Solr前需要装好JDK、Zookeeper、Kafka、HBase、Hive

• 集群规划
  https://yellow520.blog.csdn.net/article/details/115536550

• 环境变量
  https://blog.csdn.net/Yellow_python/article/details/112692486

2、Solr集群部署

• Apache Solr^TM是 建立在Apache Lucene^TM之上的 开源的企业搜索平台
• 在此处，Solr的作用是：加快元数据的搜索
• 下载地址：https://solr.apache.org/

在每个节点创建名为Solr的系统用户

useradd solr
echo solr | passwd --stdin solr

解压、修改户主

tar -zxvf solr-7.7.3.tgz -C $B_HOME/
cd $B_HOME
mv solr-7.7.3 solr
chown -R solr:solr solr

修改配置文件

vim $B_HOME/solr/bin/solr.in.sh

ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"

分发到每个节点

rsync.py $B_HOME/solr

在每个节点，使用solr用户来启动Solr（前提是ZooKeeper在运行）

sudo -i -u solr $B_HOME/solr/bin/solr start

Web端口为8983，任意节点都可

注意：界面出现Cloud菜单栏时，Cloud模式才算部署成功

3、安装Maven

• Maven是一个项目管理工具，可对Java项目进行构建、依赖管理
  在本文，Maven的作用是对Atlas源码进行编译
  Maven官网：https://maven.apache.org/
• Atlas版本指定2.1.0Maven版本指定3.6.1

wget https://archive.apache.org/dist/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz

解压

tar -zxvf apache-maven-3.6.1-bin.tar.gz
mv apache-maven-3.6.1 $B_HOME/maven

配置

vim $MAVEN_HOME/conf/settings.xml

4、编译Atlas

下载Atlas源码

wget https://dlcdn.apache.org/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

解压

tar -zxvf apache-atlas-2.1.0-sources.tar.gz
cd apache-atlas-sources-2.1.0

编译Atlas

export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests install
mvn clean -DskipTests package -Pdis

执行时间较长，会下载很多依赖，期间报错可能是因为网络超时，重试即可
编译完后查看distro/target/？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？

apache-atlas-2.1.0-server.tar.gz
apache-atlas-2.1.0-hive-hook.tar.gz

5、安装Atlas服务

cd apache-atlas-sources-2.1.0/distro/target/
tar -zxvf apache-atlas-2.1.0-server.tar.gz
mv apache-atlas-2.1.0 $B_HOME/atlas

配置Atlas存储到外部HBase

修改图的存储地址（Zookeeper地址，本集群的HBase集群依赖ZooKeeper的，HMaster借助ZooKeeper来管理HRegionServer）

vim $B_HOME/atlas/conf/atlas-application.properties

atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181

告诉Atlas，HBase配置路径

vim $B_HOME/atlas/conf/atlas-env.sh

export HBASE_CONF_DIR=$HBASE_HOME/conf

Atlas集成Solr

vim /opt/module/atlas/conf/atlas-application.properties

atlas.graph.index.search.backend=solr
atlas.graph.index.search.solr.mode=cloud
atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181

Atlas集成Hive

安装Hive Hook

cd $B_HOME/apache-atlas-sources-2.1.0/distro/target/
tar -zxvf apache-atlas-2.1.0-hive-hook.tar.gz

将Hive Hook依赖复制到Atlas安装路径

cp -r apache-atlas-hive-hook-2.1.0/* /opt/module/atlas/

Hive Hook配置

mv hive-env.sh.template hive-env.sh
vim hive-env.sh

export HIVE_AUX_JARS_PATH=/opt/module/atlas/hook/hive

修改Hive配置文件

vim $HIVE_HOME/conf/hive-site.xml

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>