通过pykafka接收Kafka消息队列的方法


Posted in Python onDecember 27, 2018

没有Kafka环境,所以也没有进行验证。感觉今后应该能用到,所以借抄在此,备查。

pykafka使用示例,自动消费最新消息,不重复消费:

# -* coding:utf8 *-
from pykafka import KafkaClient
 
host = '192.168.200.38'
client = KafkaClient(hosts="%s:9092" % host)
 
print client.topics
 
# 生产者
# topicdocu = client.topics['task_pull']
# producer = topicdocu.get_producer()
# for i in range(4):
#   print i
#   producer.produce('test message ' + str(i ** 2))
# producer.stop()
 
# 消费者
topic = client.topics['task_push']
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, consumer_id='test')
for message in consumer:
  if message is not None:
    print message.offset, message.value

以上这篇通过pykafka接收Kafka消息队列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python smtplib模块发送SSL/TLS安全邮件实例
Apr 08 Python
在Django框架中设置语言偏好的教程
Jul 27 Python
用ReactJS和Python的Flask框架编写留言板的代码示例
Dec 19 Python
Python实现将json文件中向量写入Excel的方法
Mar 26 Python
对Python中type打开文件的方式介绍
Apr 28 Python
python 编写简单网页服务器的实例
Jun 01 Python
Selenium控制浏览器常见操作示例
Aug 13 Python
django+xadmin+djcelery实现后台管理定时任务
Aug 14 Python
对json字符串与python字符串的不同之处详解
Dec 19 Python
Python 实现自动完成A4标签排版打印功能
Apr 09 Python
解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题
Jun 17 Python
详解python变量与数据类型
Aug 25 Python
python利用thrift服务读取hbase数据的方法
Dec 27 #Python
python hbase读取数据发送kafka的方法
Dec 27 #Python
Python类和对象的定义与实际应用案例分析
Dec 27 #Python
在python环境下运用kafka对数据进行实时传输的方法
Dec 27 #Python
kafka-python批量发送数据的实例
Dec 27 #Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
You might like
用Flash图形化数据(一)
2006/10/09 PHP
PHP6 mysql连接方式说明
2009/02/09 PHP
phpword插件导出word文件时中文乱码问题处理方案
2014/08/19 PHP
PHP策略模式定义与用法示例
2017/07/27 PHP
php静态成员方法和静态的成员属性的使用方法
2017/10/26 PHP
针对PHP开发安全问题的相关总结
2019/03/22 PHP
Javascript 加载和执行-性能提高篇
2012/12/28 Javascript
将json当数据库一样操作的javascript lib
2013/10/28 Javascript
Checbox的操作含已选、未选及判断代码
2013/11/07 Javascript
jQuery javascript获得网页的高度与宽度的实现代码
2016/04/26 Javascript
AngularJS 依赖注入详解和简单实例
2016/07/28 Javascript
用nodejs搭建websocket服务器
2017/01/23 NodeJs
vue中使用v-model完成组件间的通信
2019/08/22 Javascript
[02:03]《现实生活中的DOTA2》—林书豪&DOTA2职业选手出演短片
2015/08/18 DOTA
python基础教程之元组操作使用详解
2014/03/25 Python
python网络编程之TCP通信实例和socketserver框架使用例子
2014/04/25 Python
python持久性管理pickle模块详细介绍
2015/02/18 Python
在Python的Django框架中获取单个对象数据的简单方法
2015/07/17 Python
Python用Pillow(PIL)进行简单的图像操作方法
2017/07/07 Python
Python面向对象程序设计之类的定义与继承简单示例
2019/03/18 Python
Python基础教程之if判断,while循环,循环嵌套
2019/04/25 Python
简单了解python高阶函数map/reduce
2019/06/28 Python
Python使用requests xpath 并开启多线程爬取西刺代理ip实例
2020/03/06 Python
Python实现微信表情包炸群功能
2021/01/28 Python
Python的collections模块真的很好用
2021/03/01 Python
家乐福巴西网上超市:Carrefour巴西
2016/10/31 全球购物
英国票务网站:Ticketmaster英国
2018/08/27 全球购物
EQVVS官网:设计师男装和女装
2018/10/24 全球购物
BannerBuzz加拿大:在线定制横幅印刷、广告和标志
2020/03/10 全球购物
技校生自我鉴定范文
2013/09/26 职场文书
财务管理个人自荐书范文
2013/11/24 职场文书
同学会主持词
2014/03/18 职场文书
创先争优活动个人总结
2015/03/04 职场文书
2015年小学美术工作总结
2015/05/25 职场文书
校长新学期致辞
2015/07/30 职场文书
遇事可以测出您的见识与格局
2019/09/16 职场文书