通过pykafka接收Kafka消息队列的方法


Posted in Python onDecember 27, 2018

没有Kafka环境,所以也没有进行验证。感觉今后应该能用到,所以借抄在此,备查。

pykafka使用示例,自动消费最新消息,不重复消费:

# -* coding:utf8 *-
from pykafka import KafkaClient
 
host = '192.168.200.38'
client = KafkaClient(hosts="%s:9092" % host)
 
print client.topics
 
# 生产者
# topicdocu = client.topics['task_pull']
# producer = topicdocu.get_producer()
# for i in range(4):
#   print i
#   producer.produce('test message ' + str(i ** 2))
# producer.stop()
 
# 消费者
topic = client.topics['task_push']
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, consumer_id='test')
for message in consumer:
  if message is not None:
    print message.offset, message.value

以上这篇通过pykafka接收Kafka消息队列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现好友全头像的拼接实例(推荐)
Jun 24 Python
python自动登录12306并自动点击验证码完成登录的实现源代码
Apr 25 Python
使用pycharm生成代码模板的实例
May 23 Python
python提取照片坐标信息的实例代码
Aug 14 Python
Python 实现毫秒级淘宝抢购脚本的示例代码
Sep 16 Python
Python生成验证码、计算具体日期是一年中的第几天实例代码详解
Oct 16 Python
解决Python中回文数和质数的问题
Nov 24 Python
linux 下python多线程递归复制文件夹及文件夹中的文件
Jan 02 Python
python 爬取疫情数据的源码
Feb 09 Python
django处理select下拉表单实例(从model到前端到post到form)
Mar 13 Python
python 字典item与iteritems的区别详解
Apr 25 Python
Python基于wordcloud及jieba实现中国地图词云图
Jun 09 Python
python利用thrift服务读取hbase数据的方法
Dec 27 #Python
python hbase读取数据发送kafka的方法
Dec 27 #Python
Python类和对象的定义与实际应用案例分析
Dec 27 #Python
在python环境下运用kafka对数据进行实时传输的方法
Dec 27 #Python
kafka-python批量发送数据的实例
Dec 27 #Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
You might like
Body是什么,该怎么喝出咖啡里的口感
2021/03/03 咖啡文化
咖啡知识 除了喝咖啡还有那些知识点
2021/03/06 新手入门
php实现按照权重随机排序数据的方法
2015/01/09 PHP
简单实现PHP留言板功能
2016/12/21 PHP
PHP+Ajax实现的无刷新分页功能详解【附demo源码下载】
2017/07/03 PHP
PHP超级全局变量【$GLOBALS,$_SERVER,$_REQUEST等】用法实例分析
2019/12/11 PHP
JavaScript 学习笔记(六)
2009/12/31 Javascript
给Flash加一个超链接(推荐使用透明层)兼容主流浏览器
2013/06/09 Javascript
JS关键字球状旋转效果的实例代码
2013/11/29 Javascript
JSONP跨域GET请求解决Ajax跨域访问问题
2014/12/31 Javascript
jQuery中:submit选择器用法实例
2015/01/03 Javascript
javascript封装简单实现方法
2015/08/11 Javascript
js实现左侧网页tab滑动门效果代码
2015/09/06 Javascript
JavaScript事件处理的方式(三种)
2016/04/26 Javascript
react-native-tab-navigator组件的基本使用示例代码
2017/09/07 Javascript
使用JS动态显示文本
2017/09/09 Javascript
基于node打包可执行文件工具_Pkg使用心得分享
2018/01/24 Javascript
json前后端数据交互相关代码
2018/09/19 Javascript
如何能分清npm cnpm npx nvm
2019/01/17 Javascript
详解超简单的react服务器渲染(ssr)入坑指南
2019/02/28 Javascript
用Python代码来绘制彭罗斯点阵的教程
2015/04/03 Python
浅谈Python由__dict__和dir()引发的一些思考
2017/10/30 Python
Python猴子补丁Monkey Patch用法实例解析
2020/03/23 Python
Python使用paramiko连接远程服务器执行Shell命令的实现
2021/03/04 Python
德国低价购买灯具和家具网站:Style-home.de
2016/11/25 全球购物
芬兰汽车配件商店:Autonvaraosat24
2017/01/30 全球购物
毕业研究生的自我鉴定
2013/11/30 职场文书
校友会欢迎辞
2014/01/13 职场文书
金融学专业大学生职业生涯规划
2014/03/07 职场文书
体育课课后反思
2014/04/24 职场文书
暑期培训心得体会
2014/09/02 职场文书
机关作风建设剖析材料
2014/10/11 职场文书
六一晚会主持词开场白
2015/05/28 职场文书
解决Python字典查找报Keyerror的问题
2021/05/26 Python
pycharm代码删除恢复的方法
2021/06/26 Python
golang 实用库gotable的具体使用
2021/07/01 Golang