关于kafka的一点使用
Posted zwalker
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了关于kafka的一点使用相关的知识，希望对你有一定的参考价值。
以python为例，从pykafka到kafka-python到confluent-kafka到flink
要注意最好使用最新版本
pykafka和kafka-python性能不是很好，具体情况也可以查到
coufluent-kafka是Python模块，是对librdkafka的轻量级封装，librdkafka又是基于c/c++的kafka库，性能上不必多说。使用上要优于kafka-python。也支持异步，有事件轮循机制，所以在与torando结合使用好像有问题，因为tornado是单进程，加上GIL锁，可以看这个：
https://github.com/confluenti...
有些低版本安装后提示“confluent_kafka/src/confluent_kafka.h:22:32: fatal error: librdkafka/rdkafka.h: No such file or directory”，
可以apt-get install librdkafka-dev -y
另外最好producer和consumer使用同一模块同一版本，最近看老项目kafka查看消息显示的CreateTime都等于-1
所以项目上最好用flink
以上是关于关于kafka的一点使用的主要内容，如果未能解决你的问题，请参考以下文章