storm单机伪分布详细

Posted 2022-12-07 CLAY&Loser

Zookeeper

安装zookeeper3.4.6

1. 安装配置jdk
2. 修改配置文件vim  conf/zoo.cfg
修改配置文件中的dataDir、dataLogDir、server.1
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/shaka/dep/zookeeper-3.3.6/data  （改成自己的目录）
# the port at which the clients will connect
clientPort=2181
# set logs
dataLogDir=/home/shaka/dep/zookeeper-3.3.6/logs  （改成自己的目录）
# set server
server.1=hostname:4887:5887   （改成自己的hostname或IP）
#server.2=10.162.219.52:4887:5887
#server.3=10.163.15.119:4887:5887
# add by shaka
# set max client connects
maxClientCnxns=300
版本不同修改完成后可能秒退，高版本不识别红字部分
3. 启动zookeeper
bin/zkServer.sh start
4. 启动后查看状态
bin/zkServer.sh status
5. 启动zookeeper的客户端
bin/zkCli.sh -server hostname:2181

zk客户端命令

命令行工具的一些简单操作如下：
    1. 显示根目录下、文件： ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
    2. 创建文件，并设置初始内容： create /zk "test" 创建一个新的 znode节点“ zk ”以及与它关联的字符串
    3. 获取文件内容： get /zk 确认 znode 是否包含我们所创建的字符串
    4. 修改文件内容： set /zk "zkbak" 对 zk 所关联的字符串进行设置
    5. 删除文件： delete /zk 将刚才创建的 znode 删除
    6. 退出客户端： quit
    7. 帮助命令： help

安装maven

tar zxvf apache-maven-3.3.1-bin.tar.gz 


vi /etc/profile
export MAVEN_HOME=/app/apache-maven-3.3.1
export PATH=$PATH:$MAVEN_HOME/bin


执行mvn –v

安装zkui

1、进入zkui目录
mvn clean install
2、建立连接
ln -s target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar  zkui-2.0-SNAPSHOT-jar-with-dependencies.jar
3、修改配置文件
vim config.cfg 
zkServer=cluster-node-01:2181
4、启动及验证
启动：nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &
查看：http://主机名:9090  或者    jps -l
登录账号
"username":"admin" , "password":"manager"
日志：zkui-out.log   nohup.out
创建一个node： 以自己名字命名

Kafka

Kafka安装2.9.2-0.8.1.1

1、拷贝软件包
2、解压
     tar -xvf kafka_2.9.2-0.8.1.1.tgz    或者用 unzip  kafka_2.9.2-0.8.1.1.zip
3、修改配置文件conf/server.properties：
broker.id=0；
host.name=xxx.xxx.xxx.xxx
zookeeper.connect= xxx.xxx.xxx.xxx可逗号分隔配置多个
4、修改配置文件vim log4j.properties（最新版则不需要修改）
① log4j.appender.D.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/debug.log
② log4j.appender.E.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/error.log
5、启动kafka服务
bin/kafka-server-start.sh -daemon ./config/server.properties
6、查看是否启动： jsp -l
7、创建topic主题
bin/kafka-topics.sh --create --zookeeper mystorm:2181 --replication-factor 1 --partitions 2 --topic topic-003-name  
8、启动consumer
bin/kafka-console-consumer.sh --zookeeper mystorm:2181 --topic topic-003-name
9、启动productor
bin/kafka-console-producer.sh --broker-list mystorm:9092 --topic topic-003-name
在productor端输入，看consumer端的输出

实验：生成日志

log="INSERT INTO test(user,content) VALUES('你的名字'，'你的内容');"


tail -f access.log


将日志实时传送到kafka指定主题中
nohup tail -f /home/storm/app/kafka_2.10-0.9.0.1/access.log | bin/kafka-console-producer.sh --broker-list mystorm:9092 --topic topic-003-name >logs/producer.log 2>&1 &