对python操作kafka写入json数据的简单demo分享


Posted in Python onDecember 27, 2018

如下所示:

安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
 
'''
 生产者demo
 向test_lyl2主题中循环写入10条json数据
 注意事项:要写入json数据需加上value_serializer参数,如下代码
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
 
'''
 消费者demo
 消费test_lyl2主题中的数据
 注意事项:如需以json格式读取数据需加上value_deserializer参数
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python发送arp欺骗攻击代码分析
Jan 16 Python
编写Python脚本批量下载DesktopNexus壁纸的教程
May 06 Python
Pycharm学习教程(6) Pycharm作为Vim编辑器使用
May 03 Python
详解如何使用Python编写vim插件
Nov 28 Python
对python cv2批量灰度图片并保存的实例讲解
Nov 09 Python
Django2.1.3 中间件使用详解
Nov 26 Python
11个Python3字典内置方法大全与示例汇总
May 13 Python
Python如何筛选序列中的元素的方法实现
Jul 15 Python
wxpython实现按钮切换界面的方法
Nov 19 Python
python多进程并发demo实例解析
Dec 13 Python
python面向对象之类属性和类方法案例分析
Dec 30 Python
详解python tkinter 图片插入问题
Sep 03 Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
Python数据结构之栈、队列及二叉树定义与用法浅析
Dec 27 #Python
python获取本机所有IP地址的方法
Dec 26 #Python
You might like
PHP的fsockopen、pfsockopen函数被主机商禁用的解决办法
2014/07/08 PHP
PHP中对数组的一些常用的增、删、插操作函数总结
2015/11/27 PHP
thinkPHP5.0框架自动加载机制分析
2017/03/18 PHP
jquery text,radio,checkbox,select操作实现代码
2009/07/09 Javascript
一些常用弹出窗口/拖放/异步文件上传等实用代码
2013/01/06 Javascript
js中实现多态采用和继承类似的方法
2014/08/22 Javascript
Javascript限制网页只能在微信内置浏览器中访问
2014/11/09 Javascript
javascript关于继承的用法汇总
2014/12/20 Javascript
js+html5实现canvas绘制镂空字体文本的方法
2015/06/05 Javascript
深入分析jQuery的ready函数是如何工作的(工作原理)
2015/12/17 Javascript
基于javascript实现listbox左右移动
2016/01/29 Javascript
jQuery设置聚焦并使光标位置在文字最后的实现方法
2016/08/02 Javascript
js改变html的原有内容实现方法
2016/10/05 Javascript
如何使用Vuex+Vue.js构建单页应用
2016/10/27 Javascript
快速掌握jquery分页插件jqPaginator的使用方法
2017/08/09 jQuery
10个经典的网页鼠标特效代码
2018/01/09 Javascript
Vue+element-ui 实现表格的分页功能示例
2018/08/18 Javascript
javascript验证form表单数据的案例详解
2019/03/25 Javascript
Vue.js实现大转盘抽奖总结及实现思路
2019/10/09 Javascript
用Python实现一个简单的能够上传下载的HTTP服务器
2015/05/05 Python
通过源码分析Python中的切片赋值
2017/05/08 Python
Linux RedHat下安装Python2.7开发环境
2017/05/20 Python
将string类型的数据类型转换为spark rdd时报错的解决方法
2019/02/18 Python
python基于pdfminer库提取pdf文字代码实例
2019/08/15 Python
尤妮佳moony海外旗舰店:日本殿堂级纸尿裤品牌
2018/02/23 全球购物
JRE、JDK、JVM之间的关系怎样
2012/05/16 面试题
半年思想汇报
2013/12/30 职场文书
物业招聘计划书
2014/01/10 职场文书
小学教学随笔感言
2014/02/26 职场文书
2014年教师节活动总结
2014/08/29 职场文书
个人授权委托书范本格式
2014/10/12 职场文书
2015-2016年小学教导工作总结
2015/07/21 职场文书
行为规范主题班会
2015/08/13 职场文书
Python访问Redis的详细操作
2021/06/26 Python
分享几种python 变量合并方法
2022/03/20 Python
Java实现超大Excel文件解析(XSSF,SXSSF,easyExcel)
2022/07/15 Java/Android