对python操作kafka写入json数据的简单demo分享


Posted in Python onDecember 27, 2018

如下所示:

安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
 
'''
 生产者demo
 向test_lyl2主题中循环写入10条json数据
 注意事项:要写入json数据需加上value_serializer参数,如下代码
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
 
'''
 消费者demo
 消费test_lyl2主题中的数据
 注意事项:如需以json格式读取数据需加上value_deserializer参数
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python的PIL模块来进行图片对比
Feb 18 Python
Python实现读取json文件到excel表
Nov 18 Python
python更改已存在excel文件的方法
May 03 Python
python 检查文件mime类型的方法
Dec 08 Python
PyQt5 QTableView设置某一列不可编辑的方法
Jun 25 Python
python批量修改图片尺寸,并保存指定路径的实现方法
Jul 04 Python
Django学习之文件上传与下载
Oct 06 Python
django框架ModelForm组件用法详解
Dec 11 Python
使用TensorFlow对图像进行随机旋转的实现示例
Jan 20 Python
Jupyter notebook 远程配置及SSL加密教程
Apr 14 Python
解决使用Pandas 读取超过65536行的Excel文件问题
Nov 10 Python
如何利用Matlab制作一款真正的拼图小游戏
May 11 Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
Python数据结构之栈、队列及二叉树定义与用法浅析
Dec 27 #Python
python获取本机所有IP地址的方法
Dec 26 #Python
You might like
PHP 一个比较完善的简单文件上传
2010/03/25 PHP
PHP中的正则表达式函数介绍
2012/02/27 PHP
基于PHP+Ajax实现表单验证的详解
2013/06/25 PHP
php筛选不存在的图片资源
2015/04/28 PHP
PHP校验15位和18位身份证号的类封装
2018/11/07 PHP
javascript css styleFloat和cssFloat
2010/03/15 Javascript
JavaScript跨浏览器获取页面中相同class节点的方法
2015/03/03 Javascript
jquery比较简洁的软键盘特效实现方法
2015/03/19 Javascript
jquery获取img的src值的简单实例
2016/05/17 Javascript
Jquery和BigFileUpload实现大文件上传及进度条显示
2016/06/27 Javascript
KnockoutJS 3.X API 第四章之表单submit、enable、disable绑定
2016/10/10 Javascript
关于Vue.js 2.0的Vuex 2.0 你需要更新的知识库
2016/11/30 Javascript
微信小程序实战篇之购物车的实现代码示例
2017/11/30 Javascript
vue2.0使用swiper组件实现轮播的示例代码
2018/03/03 Javascript
详解如何使用koa实现socket.io官网的例子
2018/11/04 Javascript
python写的ARP攻击代码实例
2014/06/04 Python
pandas read_excel()和to_excel()函数解析
2019/09/19 Python
Pycharm 字体大小调整设置的方法实现
2019/09/27 Python
python 最简单的实现适配器设计模式的示例
2020/06/30 Python
python/golang 删除链表中的元素
2020/09/14 Python
CSS3 实现倒计时效果
2020/11/25 HTML / CSS
使用phonegap创建联系人的实现方法
2017/03/30 HTML / CSS
菲律宾酒店预订网站:Hotels.com菲律宾
2017/07/12 全球购物
森海塞尔美国官网:Sennheiser耳机与耳麦
2017/07/19 全球购物
美国亚洲时尚和美容产品的一站式网上商店:Stylevana
2019/09/05 全球购物
毕业生自荐书
2013/12/18 职场文书
建筑工程管理专业自荐信范文
2013/12/28 职场文书
师范学院美术系毕业生自我鉴定
2014/01/29 职场文书
群众路线教育实践活动方案
2014/02/02 职场文书
本科毕业生专业自荐书范文
2014/02/05 职场文书
活动总结报告格式
2014/05/09 职场文书
中学教代会开幕词
2016/03/04 职场文书
导游词之杭州岳王庙
2019/11/13 职场文书
python 网络编程要点总结
2021/06/18 Python
从零开始在Centos7上部署SpringBoot项目
2022/04/07 Servers
app场景下uniapp的扫码记录
2022/07/23 Java/Android