通过pykafka接收Kafka消息队列的方法


Posted in Python onDecember 27, 2018

没有Kafka环境,所以也没有进行验证。感觉今后应该能用到,所以借抄在此,备查。

pykafka使用示例,自动消费最新消息,不重复消费:

# -* coding:utf8 *-
from pykafka import KafkaClient
 
host = '192.168.200.38'
client = KafkaClient(hosts="%s:9092" % host)
 
print client.topics
 
# 生产者
# topicdocu = client.topics['task_pull']
# producer = topicdocu.get_producer()
# for i in range(4):
#   print i
#   producer.produce('test message ' + str(i ** 2))
# producer.stop()
 
# 消费者
topic = client.topics['task_push']
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, consumer_id='test')
for message in consumer:
  if message is not None:
    print message.offset, message.value

以上这篇通过pykafka接收Kafka消息队列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
合并百度影音的离线数据( with python 2.3)
Aug 04 Python
基于Linux系统中python matplotlib画图的中文显示问题的解决方法
Jun 15 Python
Python基于贪心算法解决背包问题示例
Nov 27 Python
pyqt5自定义信号实例解析
Jan 31 Python
python查看模块安装位置的方法
Oct 16 Python
python如何使用jt400.jar包代码实例
Dec 20 Python
Python面向对象编程基础实例分析
Jan 17 Python
python+opencv3生成一个自定义纯色图教程
Feb 19 Python
关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)
Feb 20 Python
Python Opencv 通过轨迹(跟踪)栏实现更改整张图像的背景颜色
Mar 09 Python
pycharm2020.2 配置使用的方法详解
Sep 16 Python
分享Python异步爬取知乎热榜
Apr 12 Python
python利用thrift服务读取hbase数据的方法
Dec 27 #Python
python hbase读取数据发送kafka的方法
Dec 27 #Python
Python类和对象的定义与实际应用案例分析
Dec 27 #Python
在python环境下运用kafka对数据进行实时传输的方法
Dec 27 #Python
kafka-python批量发送数据的实例
Dec 27 #Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
You might like
php下实现在指定目录搜索指定类型文件的函数
2008/10/03 PHP
为PHP初学者的8点有效建议
2010/11/20 PHP
Ubuntu VPS中wordpress网站打开时提示”建立数据库连接错误”的解决办法
2016/11/03 PHP
PHP设计模式之适配器模式原理与用法分析
2018/04/25 PHP
优化 JavaScript 代码的方法小结
2009/07/16 Javascript
放弃用你的InnerHTML来输出HTML吧 jQuery Tmpl不详细讲解
2013/04/20 Javascript
Jquery插件实现点击获取验证码后60秒内禁止重新获取
2015/03/13 Javascript
jquery实现的用户注册表单提示操作效果代码分享
2015/08/28 Javascript
jQuery自定义滚动条完整实例
2016/01/08 Javascript
不用一句js代码初始化组件
2016/01/27 Javascript
JS功能代码集锦
2016/05/04 Javascript
vue如何实现observer和watcher源码解析
2017/03/09 Javascript
JavaScript之事件委托实例(附原生js和jQuery代码)
2017/07/22 jQuery
Vue.js与 ASP.NET Core 服务端渲染功能整合
2017/11/16 Javascript
详解Angular5路由传值方式及其相关问题
2018/04/28 Javascript
vue实现select下拉显示隐藏功能
2019/09/30 Javascript
JS操作JSON常用方法(10w阅读)
2020/12/06 Javascript
[00:32]2018DOTA2亚洲邀请赛Newbee出场
2018/04/03 DOTA
Python程序设计入门(1)基本语法简介
2014/06/13 Python
Python中用Descriptor实现类级属性(Property)详解
2014/09/18 Python
Python批量创建迅雷任务及创建多个文件
2016/02/13 Python
Python基于hashlib模块的文件MD5一致性加密验证示例
2018/02/10 Python
对python创建及引用动态变量名的示例讲解
2018/11/10 Python
Python列表list排列组合操作示例
2018/12/18 Python
Python空间数据处理之GDAL读写遥感图像
2019/08/01 Python
OpenCV+python实现膨胀和腐蚀的示例
2020/12/21 Python
css3实现冲击波效果的示例代码
2018/01/11 HTML / CSS
CSS3田字格列表的样式编写方法
2018/11/22 HTML / CSS
html5 offlline 缓存使用示例
2013/06/24 HTML / CSS
英国最受欢迎的手表网站:Watch Shop
2016/10/21 全球购物
函授本科自我鉴定
2014/02/04 职场文书
葛优非诚勿扰搞笑征婚台词
2014/03/17 职场文书
档案信息化建设方案
2014/05/16 职场文书
公司仓管员岗位职责
2015/04/01 职场文书
2015年全民创业工作总结
2015/07/23 职场文书
一波干货,会议主持词开场白范文
2019/05/06 职场文书