对python操作kafka写入json数据的简单demo分享


Posted in Python onDecember 27, 2018

如下所示:

安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
 
'''
 生产者demo
 向test_lyl2主题中循环写入10条json数据
 注意事项:要写入json数据需加上value_serializer参数,如下代码
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
 
'''
 消费者demo
 消费test_lyl2主题中的数据
 注意事项:如需以json格式读取数据需加上value_deserializer参数
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现查找excel里某一列重复数据并且剔除后打印的方法
May 26 Python
Python实现破解12306图片验证码的方法分析
Dec 29 Python
python实时监控cpu小工具
Jun 21 Python
Python subprocess模块功能与常见用法实例详解
Jun 28 Python
python时间序列按频率生成日期的方法
May 14 Python
图文详解python安装Scrapy框架步骤
May 20 Python
python画蝴蝶曲线图的实例
Nov 21 Python
Python实现点云投影到平面显示
Jan 18 Python
jupyter notebook中新建cell的方法与快捷键操作
Apr 22 Python
Win10用vscode打开anaconda环境中的python出错问题的解决
May 25 Python
使用TensorBoard进行超参数优化的实现
Jul 06 Python
Python基础知识学习之类的继承
May 31 Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
Python数据结构之栈、队列及二叉树定义与用法浅析
Dec 27 #Python
python获取本机所有IP地址的方法
Dec 26 #Python
You might like
水质对咖图啡风味的影响具体有哪些
2021/03/03 冲泡冲煮
php中smarty实现多模版网站的方法
2015/06/11 PHP
Linux php 中文乱码的快速解决方法
2016/05/13 PHP
Laravel 模型使用软删除-左连接查询-表起别名示例
2019/10/24 PHP
laravel框架模型中非静态方法也能静态调用的原理分析
2019/11/23 PHP
php 输出缓冲 Output Control用法实例详解
2020/03/03 PHP
Ajax 数据请求的简单分析
2011/04/05 Javascript
在图片上显示左右箭头类似翻页的代码
2013/03/04 Javascript
js动态为代码着色显示行号
2013/05/29 Javascript
js实现鼠标经过时图片滚动停止的方法
2015/02/16 Javascript
利用angularjs1.4制作的简易滑动门效果
2017/02/28 Javascript
js简单实现网页换肤功能
2017/04/07 Javascript
javascript中json对象json数组json字符串互转及取值方法
2017/04/19 Javascript
vue-quill-editor实现图片上传功能
2017/08/08 Javascript
nodejs操作mongodb的增删改查功能实例
2017/11/09 NodeJs
基于cropper.js封装vue实现在线图片裁剪组件功能
2018/03/01 Javascript
swiper 自动图片无限轮播实现代码
2018/05/21 Javascript
详解js静态检查工具eslint配置文件
2018/11/23 Javascript
在Create React App中使用CSS Modules的方法示例
2019/01/15 Javascript
微信公众平台获取access_token的方法步骤
2019/03/29 Javascript
回顾Javascript React基础
2019/06/15 Javascript
Vue数据双向绑定底层实现原理
2019/11/22 Javascript
vue使用原生swiper代码实例
2020/02/05 Javascript
nodejs实现百度舆情接口应用示例
2020/02/07 NodeJs
vue项目实现减少app.js和vender.js的体积操作
2020/11/12 Javascript
[50:05]VGJ.S vs OG 2018国际邀请赛淘汰赛BO3 第二场 8.22
2018/08/23 DOTA
python 获取指定文件夹下所有文件名称并写入列表的实例
2018/04/23 Python
Python 创建新文件时避免覆盖已有的同名文件的解决方法
2018/11/16 Python
Django框架视图层URL映射与反向解析实例分析
2019/07/29 Python
python 下 CMake 安装配置 OPENCV 4.1.1的方法
2019/09/30 Python
Python任务调度利器之APScheduler详解
2020/04/02 Python
python读取excel数据并且画图的实现示例
2021/02/08 Python
俄罗斯童装网上商店:BebaKids
2020/06/06 全球购物
小学学习雷锋活动总结
2014/07/03 职场文书
物资采购管理制度
2015/08/06 职场文书
redis数据一致性的实现示例
2022/03/18 Redis