Mdrill 安装部署(单机版)
Posted 木疙瘩
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Mdrill 安装部署(单机版)相关的知识，希望对你有一定的参考价值。
前期：
--------------------------------------------------------
准备：
1、centos6.5 /7 x86_64（后期会更改主机名称）
2、jdk 1.6
3、hadoop
4、zookeerper-3.4.5
5、zeromq-2.1.7
6、jzmq 2.1.0
7、mdrill 0.20.9
-------------------------------------------------------
开始：（root用户）----------（-注：这里的主机名和hosts名都为master.chinaj.com,可以修改，但尽量不要修改，为了跟后面的文件相对应，否则需要更改的配置文件太多）
1、配置主机名：
nano /etc/sysconfig/network
修改为以下内容：
HOSTNAME=master.chinaj.com
2、配置hosts文件
nano /etc/hosts
增加如下内容：
主机ip地址 master.chinaj.com
(192.168.0.103 master.chinaj.com) ------此处为192.168.0.103
3、关闭SELINUX
nano /etc/selinux/config
修改SELINUX=disabled
--------------------------------------可能需要重启
4、配置好yum(/etc/yum.repos.d) 注：非常重要，很多软件都是基于yum安装
5、配置本机无密码登陆：
ssh-keygen -t rsa
cd /root/.ssh/
cat id_rsa.pub >>authorized_keys ------创建authorized_keys 文件
chmod 777 authorized_keys ---- 修改 authorized_keys 权限
ssh master.chinaj.com uptime-------注：测试，建议一定要执行；
6、安装 java jdk（jdk1.6）
yum install java-1.6.0-openjdk java-1.6.0-openjdk-devel
（注： 可以使用压缩包直接添加环境变量使用，这里直接安装，本可以不用配置环境变量，这里建议配置上环境变量，预防后面出错，也可以不添加环境变量，等出错后再 行添加，默认安装路径 /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.36.x86_64/,直接在/root/.bashrc 同下面要配置的环境变量一样，直接添加即可）
如果电脑上配置多个java环境可以通过 alternatives --cofig java 命名直接切换。
7、安装hadoop-0.20.2
解压目录src，进入目录后再次解压install.tgz,进入hadoop-0.20.2。此处不需要解压，若需要解压，请自行解压。（具体应该是hadoop-0.20.2-cdh3u3.tar.gz，此处已经给出）
直接添加环境变量：这里的目录为（/home/centos/mdrill/src/hadoop）
编辑 /root/.bashrc文件 nano /root/.bashrc
添加：
export HADOOP_HOME=/home/centos/mdrill/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin--------------------------后面有其他的环境变量，可在此直接添加路径
8、立即启用bashrc文件 : source /root/.bashrc
9、完后验证 直接输入 hadoop ---------------若出现“Usage: hadoop [--config confdir] COMMAND” 证明成功！
10、配置hadoop文件，（core-site.xml ， mapred-site.xml ，hdfs-site.xml。）------在install解压后hadoop文件夹conf目录下。给出的配置文件基本已经配置好，无需再配置--------------------注：如果您的主机名不是相对应，需要修改
大致内容如下：（按实际情况，谨慎修改）
11、启动hadoop
start-all.sh
---启动完后查看进程 jps（如果有5个进程 JobTracker、SecondaryNameNode、NameNode、
DataNode、Jps 、TaskTracker 则启动成功）
----------------------------注：如果hadoop中的namenode节点没有起来的话，可以尝试 ：hadoop namenode -format
12、在浏览器中输入 : http：//主机IP地址:50070或者主机名加端口号，本机的话也可以localhost：50070
13、安装依赖 yum -y install libtool------------libtool工具
yum -y install gcc-c++ ------------------gcc工具https://app.yinxiang.com/Home.action#n=50d169d6-1209-4cb7-9702-c8056eb3b2a8&ses=4&sh=2&sds=5&
yum -y install uuid-devel
yum -y install libuuid-devel--------------- 安装uuid-devel
14、安装 zeromq和jzmq
直接进入目录相应的目录后 rmp -ivh zeromq-2.1.7.rmp
rmp -ivh jzmq 2.1.0.rpm
15、 安装zookeeper-3.4.5
直接进入目录 在此为：/home/centos/mdrill/src/zookeeper-3.4.5
按照步骤7、8 中配置环境变量，并启用.
ZOOPKEEPER_HOME=/home/centos/mdrill/src/zookeeper-3.4.5
PATH=$PATH:$HADOOP_HOME/bin:$ZOOPKEEPER_HOME/bin
16、验证 直接输入zkServer.sh----------------"Usage: /home/mdrill/zookeeper-3.4.5/bin/zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}"出现这样的提示，证明成功。
17、配置zookeeper服务 进入conf 目录
cp zoo_sample.cfg zoo.cfg -----------------注：请仔细观察，在给出的源码中，此处可省略，请酌情处理，因为这是配置好的.
在这里需要更改的为12行左右，dataDir=PATH（修改为自己的特定的路径）
常规的话，可能需要在末尾添加server.1=主机名：2888：3888，此处已经有了，不需要再次添加。
我这里的目录为 dataDir=/home/centos/mdrill/src/zookeeperdata
18、新建zookeeper服务数据文件夹
mkdir /home/centos/mdrill/src/zookeeperdata
nano /home/centos/mdrill/src/zookeeperdata/myid ------------------给文件myid中写入 “1”。
19、启动zookeeper并查看状态
zkServer.sh start
zkServer.sh status
20、启动客户端测试
zkCli.sh -server mdrill:2181 ---------------------------------“WATCHER::WatchedEvent
state:SyncConnected type:None path:null”
21、安装mdrill，，，配置storm.yml文件
nano /home/centos/mdrill/src/mdrill-0.20.9/conf/storm.yaml
修改内容主要是对主机地址，shards个数，worker启动参数进行调整。
内容大体如下：
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
###zookeeper配置####
storm.zookeeper.servers: - "master.chinaj.com"
storm.zookeeper.port: 2181
storm.zookeeper.root: "/higo2"
####蓝鲸配置####
storm.local.dir: "/home/mdrill/alimama/bluewhale/stormwork"
nimbus.host: "master.chinaj.com"
####hadoop配置####
hadoop.conf.dir: "/home/mdrill/hadoop-0.20.2-cdh3u3/conf"
hadoop.java.opts: "-Xmx128m"
####mdrill存储目录配置####
higo.workdir.list: "/home/mdrill/alimama/higoworkerdir"---------------------/home/centos/mdrill/src/mdrillworker
#----mdrill的表格列表在hdfs下的路径-----
higo.table.path: "/home/mdrill/tablelist"
#----mdrill中启动的solr使用的初始端口号-----
higo.solr.ports.begin: 51110
#----mdrill分区方式，目前支持default,day,month,single，default是将一个月分成3个区,single意味着没有分区-----
higo.partion.type: "month"
#----创建索引生成的每个shard的并行----
higo.index.parallel: 2
#----启动的shard的数，每个shard为一个solr实例，结合cpu个数和内存进行配置，10台48G内存配置60----
higo.shards.count: 2
#----基于冗余的ha,设置为1表示没有冗余，如果设置为2，则冗余号位0,1----
higo.shards.replication: 1
#----启动的merger server的worker数量，建议根据机器数量设定----
higo.mergeServer.count: 1
#----mdrill同时最多加载的分区个数，取决于内存与数据量----
higo.cache.partions: 1
…… ------------------------------绿色显示为要修改的地方，其他地方，请谨慎处理
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
22、新建mdrill工作目录 我这里是
mkdir /home/centos/mdrill/src/mdrillworkerdir-----------------------按照个人情况建立相应的目录
23、启动 hadoop
start-all.sh
24、启动zookeeper
zkServer.sh start
25、启动 nimbus
进入mdrill的bin目录 cd /home/centos/mdrill/src/mdrill-0.20.9/bin
修改 bluewhale的权限 chmod 777 ./bluewhale
启动nimbus nohup ./bluewhale nimbus >nimbus.log &
26、启动supervisor
依然在mdrill的bin目录中 nohup ./bluewhale supervisor >supervisor.log &
27、启动ui和jdbc接口
mkdir ./ui -----------------此过程可以省略，因为该目录下已经存在该文件目录
nohup ./bluewhale mdrillui 1107 ../lib/adhoc-web-0.18-beta.jar ./ui >ui.log &
启动后，可以通过浏览器打开mdrill的1107端口，看是否能正常打开即可，可看到下图：
27、查看进程 jps（应该具有以下进程）
Jps
NameNode
JobTracker
Supervisor
SecondaryNameNode
MdrillUi
NimbusServer
TaskTracker
DataNode
QuorumPeerMain
------------------------------------------------------------------------------------------
后期：
测试：单机测试
以上是关于Mdrill 安装部署(单机版)的主要内容，如果未能解决你的问题，请参考以下文章
solr单机版安装与基本部署
RabbitMQ安装以及集群部署
解开Kafka神秘的面纱：kafka单机部署和集群部署
解开Kafka神秘的面纱：kafka单机部署和集群部署
Spark笔记整理：spark单机安装部署分布式集群与HA安装部署+spark源码编译
dolphinscheduler单机部署安装
