对python操作kafka写入json数据的简单demo分享


Posted in Python onDecember 27, 2018

如下所示:

安装kafka支持库pip install kafka-python
from kafka import KafkaProducer
import json
 
'''
 生产者demo
 向test_lyl2主题中循环写入10条json数据
 注意事项:要写入json数据需加上value_serializer参数,如下代码
'''
producer = KafkaProducer(
       value_serializer=lambda v: json.dumps(v).encode('utf-8'),
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667']
       )
for i in range(10):
 data={
  "name":"李四",
  "age":23,
  "gender":"男",
  "id":i
 }
 producer.send('test_lyl2', data)
producer.close()
from kafka import KafkaConsumer
import json
 
'''
 消费者demo
 消费test_lyl2主题中的数据
 注意事项:如需以json格式读取数据需加上value_deserializer参数
'''
 
 
consumer = KafkaConsumer('test_lyl2',group_id="lyl-gid1",
       bootstrap_servers=['192.168.12.101:6667','192.168.12.102:6667','192.168.12.103:6667'],
       auto_offset_reset='earliest',value_deserializer=json.loads
       )
for message in consumer:
 print(message.value)

以上这篇对python操作kafka写入json数据的简单demo分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用Python编写一个模仿CPU工作的程序
Apr 16 Python
Python函数中*args和**kwargs来传递变长参数的用法
Jan 26 Python
python实现冒泡排序算法的两种方法
Mar 10 Python
python 实现调用子文件下的模块方法
Dec 07 Python
Pandas实现dataframe和np.array的相互转换
Nov 30 Python
python 使用建议与技巧分享(四)
Aug 18 Python
python使用requests库爬取拉勾网招聘信息的实现
Nov 20 Python
Django haystack实现全文搜索代码示例
Nov 28 Python
python爬虫中抓取指数的实例讲解
Dec 01 Python
详细总结Python常见的安全问题
May 21 Python
pyqt5蒙版遮罩mask,setmask的使用
Jun 11 Python
Python的代理类实现,控制访问和修改属性的权限你都了解吗
Mar 21 Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
Python数据结构之栈、队列及二叉树定义与用法浅析
Dec 27 #Python
python获取本机所有IP地址的方法
Dec 26 #Python
You might like
PHP ignore_user_abort函数详细介绍和使用实例
2014/07/15 PHP
php源码分析之DZX1.5字符串截断函数cutstr用法
2015/06/17 PHP
php5.2的curl-bug 服务器被php进程卡死问题排查
2016/09/19 PHP
Js+Dhtml:WEB程序员简易开发工具包(预先体验版)
2006/11/07 Javascript
[全兼容哦]--实用、简洁、炫酷的页面转入效果loing
2007/05/07 Javascript
js实现的网页颜色代码表全集
2007/07/17 Javascript
ImageZoom 图片放大镜效果(多功能扩展篇)
2010/04/14 Javascript
让ie运行js时提示允许阻止内容运行的解决方法
2010/10/24 Javascript
20个非常棒的 jQuery 幻灯片插件和教程分享
2011/08/23 Javascript
js window.print实现打印特定控件或内容
2013/09/16 Javascript
js 浏览本地文件夹系统示例代码
2013/10/24 Javascript
多个$(document).ready()的执行顺序实例分析
2014/07/26 Javascript
使用AngularJS中的SCE来防止XSS攻击的方法
2015/06/18 Javascript
javascript动态生成树形菜单的方法
2015/11/14 Javascript
理解javascript闭包
2015/12/15 Javascript
JavaScript基本类型值-Number类型
2017/02/24 Javascript
基于JavaScript实现弹幕特效
2020/08/27 Javascript
基于vue实现可搜索下拉框定制组件
2020/03/26 Javascript
详解npm 配置项registry修改为淘宝镜像
2018/09/07 Javascript
vue项目创建并引入饿了么elementUI组件的步骤
2019/04/11 Javascript
Node.js折腾记一:读指定文件夹,输出该文件夹的文件树详解
2019/04/20 Javascript
Python实现的简单文件传输服务器和客户端
2015/04/08 Python
pymongo为mongodb数据库添加索引的方法
2015/05/11 Python
python连接字符串的方法小结
2015/07/13 Python
Python之——生成动态路由轨迹图的实例
2019/11/22 Python
Jupyter Notebook 文件默认目录的查看以及更改步骤
2020/04/14 Python
Pandas将列表(List)转换为数据框(Dataframe)
2020/04/24 Python
python中如何写类
2020/06/29 Python
亚洲颇具影响力的男性在线购物零售商:His
2019/11/24 全球购物
芭比波朗加拿大官方网站:Bobbi Brown Cosmetics CA
2020/11/05 全球购物
知识竞赛活动方案
2014/02/18 职场文书
学习三严三实对照检查材料思想汇报
2014/09/22 职场文书
努力工作保证书
2015/02/28 职场文书
物业公司管理制度
2015/08/05 职场文书
美容院员工规章制度
2015/08/05 职场文书
《百分数的认识》教学反思
2016/02/19 职场文书