Python测试Kafka集群(pykafka)实例


Posted in Python onDecember 23, 2019

生产者代码:

# -* coding:utf8 *- 
from pykafka import KafkaClient 
 
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host) 
 
print client.topics 
 
# 生产者 
topicdocu = client.topics['my-topic'] 
producer = topicdocu.get_producer() 
for i in range(100): 
  print i 
  producer.produce('test message ' + str(i ** 2)) 
producer.stop()

消费者代码:

# -* coding:utf8 *- 
from pykafka import KafkaClient 
 
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host) 
 
print client.topics 
 
# 消费者 
topic = client.topics['my-topic'] 
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, auto_commit_interval_ms=1, 
                   consumer_id='test') 
for message in consumer: 
  if message is not None: 
    print message.offset, message.value

以上这篇Python测试Kafka集群(pykafka)实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中lambda函数 list comprehension 和 zip函数使用指南
Sep 28 Python
使用Python实现下载网易云音乐的高清MV
Mar 16 Python
Python实现把json格式转换成文本或sql文件
Jul 10 Python
Python实现矩阵加法和乘法的方法分析
Dec 19 Python
python2 与python3的print区别小结
Jan 16 Python
解决sublime+python3无法输出中文的问题
Dec 12 Python
如何利用Anaconda配置简单的Python环境
Jun 24 Python
python中web框架的自定义创建
Sep 08 Python
keras使用Sequence类调用大规模数据集进行训练的实现
Jun 22 Python
Python 解析xml文件的示例
Sep 29 Python
如何使用Python对NetCDF数据做空间相关分析
Apr 21 Python
Python+OpenCV实现在图像上绘制矩形
Mar 21 Python
Python with语句和过程抽取思想
Dec 23 #Python
python每5分钟从kafka中提取数据的例子
Dec 23 #Python
Python彻底删除文件夹及其子文件方式
Dec 23 #Python
win10下python2和python3共存问题解决方法
Dec 23 #Python
py-charm延长试用期限实例
Dec 22 #Python
python分布式计算dispy的使用详解
Dec 22 #Python
使用python实现哈希表、字典、集合操作
Dec 22 #Python
You might like
如何在PHP中使用Oracle数据库(3)
2006/10/09 PHP
php模块memcache和memcached区别分析
2011/06/14 PHP
浅析SVN常见问题及解决方法
2013/06/21 PHP
php生成缩略图示例代码分享(使用gd库实现)
2014/01/20 PHP
php中pcntl_fork创建子进程的方法实例
2019/03/14 PHP
让jQuery Mobile不显示讨厌loading界面的方法
2014/02/19 Javascript
js加减乘除丢失精度问题解决方法
2014/05/16 Javascript
JS JQUERY实现滚动条自动滚到底的方法
2015/01/09 Javascript
JavaScript中的原型prototype属性使用详解
2015/06/05 Javascript
充分发挥Node.js程序性能的一些方法介绍
2015/06/23 Javascript
js实现页面跳转的五种方法推荐
2016/03/10 Javascript
JS JSOP跨域请求实例详解
2016/07/04 Javascript
javaScript语法总结
2016/11/25 Javascript
js实现适配不同的屏幕大小
2017/04/10 Javascript
详解react服务端渲染(同构)的方法
2017/09/21 Javascript
详解JavaScript基础知识(JSON、Function对象、原型、引用类型)
2018/01/16 Javascript
Nuxt的动态路由和参数校验操作
2020/11/09 Javascript
[10:05]DOTA2-DPC中国联赛 正赛 iG vs PSG.LGD 选手采访
2021/03/11 DOTA
Python网站验证码识别
2016/01/25 Python
python实现归并排序算法
2018/11/22 Python
selenium+python环境配置教程详解
2019/05/28 Python
wxPython窗体拆分布局基础组件
2019/11/19 Python
python3用urllib抓取贴吧邮箱和QQ实例
2020/03/10 Python
Python restful框架接口开发实现
2020/04/13 Python
Python的in,is和id函数代码实例
2020/04/18 Python
什么是静态路由,其特点是什么?什么是动态路由,其特点是什么?
2013/07/26 面试题
文明青少年标兵事迹材料
2014/01/28 职场文书
少先队学雷锋活动总结范文
2014/03/09 职场文书
电钳工人个人求职信
2014/05/10 职场文书
离职保密承诺书
2014/05/28 职场文书
项目申报专员岗位职责
2014/07/09 职场文书
刑事辩护授权委托书
2014/09/13 职场文书
教师个人师德总结
2015/02/06 职场文书
Java中使用Filter过滤器的方法
2021/06/28 Java/Android
MySQL慢查询中的commit慢和binlog中慢事务的区别
2022/06/16 MySQL
Spring Boot实现文件上传下载
2022/08/14 Java/Android