Python测试Kafka集群(pykafka)实例


Posted in Python onDecember 23, 2019

生产者代码:

# -* coding:utf8 *- 
from pykafka import KafkaClient 
 
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host) 
 
print client.topics 
 
# 生产者 
topicdocu = client.topics['my-topic'] 
producer = topicdocu.get_producer() 
for i in range(100): 
  print i 
  producer.produce('test message ' + str(i ** 2)) 
producer.stop()

消费者代码:

# -* coding:utf8 *- 
from pykafka import KafkaClient 
 
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host) 
 
print client.topics 
 
# 消费者 
topic = client.topics['my-topic'] 
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, auto_commit_interval_ms=1, 
                   consumer_id='test') 
for message in consumer: 
  if message is not None: 
    print message.offset, message.value

以上这篇Python测试Kafka集群(pykafka)实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python下的常用下载安装工具pip的安装方法
Nov 13 Python
Python编写Windows Service服务程序
Jan 04 Python
Python及Django框架生成二维码的方法分析
Jan 31 Python
python实现从pdf文件中提取文本,并自动翻译的方法
Nov 28 Python
Python 3 实现定义跨模块的全局变量和使用教程
Jul 07 Python
基于python的列表list和集合set操作
Nov 24 Python
python bluetooth蓝牙信息获取蓝牙设备类型的方法
Nov 29 Python
django框架ModelForm组件用法详解
Dec 11 Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 Python
keras实现VGG16 CIFAR10数据集方式
Jul 07 Python
Django+Django-Celery+Celery的整合实战
Jan 20 Python
pytorch实现线性回归以及多元回归
Apr 11 Python
Python with语句和过程抽取思想
Dec 23 #Python
python每5分钟从kafka中提取数据的例子
Dec 23 #Python
Python彻底删除文件夹及其子文件方式
Dec 23 #Python
win10下python2和python3共存问题解决方法
Dec 23 #Python
py-charm延长试用期限实例
Dec 22 #Python
python分布式计算dispy的使用详解
Dec 22 #Python
使用python实现哈希表、字典、集合操作
Dec 22 #Python
You might like
php数字转汉字代码(算法)
2011/10/08 PHP
PHP中CURL的CURLOPT_POSTFIELDS参数使用细节
2014/03/17 PHP
php生成随机字符串可指定纯数字、纯字母或者混合的
2014/04/18 PHP
功能强大的PHP图片处理类(水印、透明度、旋转)
2015/10/21 PHP
CodeIgniter框架常见用法工作总结
2017/03/16 PHP
laravel框架邮箱认证实现方法详解
2019/11/22 PHP
thinkphp5 + ajax 使用formdata提交数据(包括文件上传) 后台返回json完整实例
2020/03/02 PHP
Yii redis集合的基本使用教程
2020/06/14 PHP
关于IFRAME 自适应高度的研究
2006/07/20 Javascript
jQuery EasyUI中对表格进行编辑的实现代码
2010/06/10 Javascript
style、 currentStyle、 runtimeStyle区别分析
2010/08/01 Javascript
jQuery 关于伪类选择符的使用说明
2013/04/24 Javascript
jQuery.Validate验证库的使用介绍
2013/04/26 Javascript
JQuery Highcharts 动态生成图表的方法
2013/11/15 Javascript
JavaScript不使用prototype和new实现继承机制
2014/12/29 Javascript
全面解析Bootstrap表单使用方法(表单控件状态)
2015/11/24 Javascript
javascript中去除数组重复元素的实现方法【实例】
2016/04/12 Javascript
javascript创建对象的几种模式介绍
2016/05/06 Javascript
jQuery滚动新闻实现代码
2016/06/26 Javascript
完美解决jQuery fancybox ie 无法显示关闭按钮的问题
2016/11/29 Javascript
Javascript Function.prototype.bind详细分析
2016/12/29 Javascript
vue2实现搜索结果中的搜索关键字高亮的代码
2018/08/29 Javascript
JS中getElementsByClassName与classList兼容性问题解决方案分析
2019/08/07 Javascript
vue自定义组件(通过Vue.use()来使用)即install的用法说明
2020/08/11 Javascript
vuex的使用和简易实现
2021/01/07 Vue.js
[01:25]2015国际邀请赛最佳短片奖——斧王《拆塔英雄:天赋异禀》
2015/09/22 DOTA
[01:32]TI珍贵瞬间系列(一)
2020/08/26 DOTA
[01:01]2020完美高校联赛(秋)西安落幕
2021/03/11 DOTA
简单谈谈Python中的反转字符串问题
2016/10/24 Python
解决pycharm的Python console不能调试当前程序的问题
2019/01/20 Python
使用Bazel编译TensorBoard教程
2020/02/15 Python
CSS3 2D模拟实现摩天轮旋转效果
2016/11/16 HTML / CSS
护士节演讲稿开场白
2014/08/25 职场文书
2019最新公司租房合同(例文)
2019/07/18 职场文书
如何将JavaScript将数组转为树形结构
2021/06/02 Javascript
vue实现省市区联动 element-china-area-data插件
2022/04/22 Vue.js