初涉kafka

Posted blog-yuesheng521

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了初涉kafka相关的知识,希望对你有一定的参考价值。

前言:

        今天终于搭建成功kafka环境,并创建了第一个topic,并生产、消费消息,如下图:

生产:
技术图片

消费:

技术图片

 

心情真的是好激动,大家都说搭建环境其实特别简单,但是我的学习却一直卡在搭建环境上面,不是虚拟机起不来,就是找不到地方下载安装文件,,,真不知道是我任通二脉未开,还是天生没有慧根。

从事了三年java开发,linux安装jdk还是需要找运维同事帮忙……说来惭愧呀!!!

 

最近组织学习kafka,已经学习了两周时间,这是第三周,自己摸索着搭建kafka,嗯。。。已经做好了遇到各种问题的心理准备,,,果然很久没有的虚拟机网卡出现了问题,花了一天的时间整网卡,集群完毕;下载zookeeper并安装,嗯(之前有安装过,还好,没遇到问题),安装kafka,启动……报错。。。jdk需要8,我的是7,不是是不是虚拟机版本问题,ubuntu14,怎么也安装不了openjdk8,最高只有7,好吧,,,从官网下载linux的jdk8.。。。下载竟然要登录,,,注册账号收不到邮件……坑。。。又过了一天,,,第二天再试,注册成功,登录报错,,,网上说有跳过登录下载,打死都找不到。。。尝试n遍放弃。。。从csdn下载。。。下载券都好多,有甚者要50个下载劵,而我兜里只有4个,,,贫穷的我,找了半天终于找到了个

只要1个的,下载完毕,照教程安装jdk,,,从未安装有些惧怕。。。果然各种环境配置问题~/.bashrc  ~/.profile  /etc/profile 三个文件,两个用户,5个配置,一个4台linux服务器组成的集群,,,搞了半天才搞清楚,重要学会了配置jdk,然后时间不早了,尝试启动kafka失败。。。算了,明天再说吧。 今天启动虚拟机。。。发现我的一些配置没有了。。。之前安装操作,配置了zookeeper的data、日志、myid在/tmp目录下,今天重启,干干净净。。。重新配置,这次配置在安装目录一起,,,然后配置启动,更改kafka日志路径,更改kafka配置文件。启动!!!重要启动成功。无比开心,无比激动!!!!以此记录以作纪念。

以上是关于初涉kafka的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题

大数据技术之KafkaKafka APIKafka监控Flume对接KafkaKafka面试题

docker初涉

初涉Webpack

初涉argcomplete

Mevan 初涉