kafka-python批量发送数据的实例


Posted in Python onDecember 27, 2018

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
从零学Python之入门(四)运算
May 27 Python
python实现机械分词之逆向最大匹配算法代码示例
Dec 13 Python
Python cookbook(数据结构与算法)实现对不原生支持比较操作的对象排序算法示例
Mar 15 Python
不到40行代码用Python实现一个简单的推荐系统
May 10 Python
在Python中COM口的调用方法
Jul 03 Python
python并发编程多进程 模拟抢票实现过程
Aug 20 Python
python GUI框架pyqt5 对图片进行流式布局的方法(瀑布流flowlayout)
Mar 12 Python
python多进程下的生产者和消费者模型
May 07 Python
Django如何在不停机的情况下创建索引
Aug 02 Python
详解numpy.ndarray.reshape()函数的参数问题
Oct 13 Python
python 通过pip freeze、dowload打离线包及自动安装的过程详解(适用于保密的离线环境
Dec 14 Python
浅谈Python从全局与局部变量到装饰器的相关知识
Jun 21 Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
You might like
PHP管理依赖(dependency)关系工具 Composer 安装与使用
2014/08/18 PHP
php绘制一条弧线的方法
2015/01/24 PHP
jQuery ctrl+Enter shift+Enter实现代码
2010/02/07 Javascript
JQuery在光标位置插入内容的实现代码
2010/06/18 Javascript
JavaScript高级程序设计 阅读笔记(十八) js跨平台的事件
2012/08/14 Javascript
struts2+jquery+json实现异步加载数据(自写)
2013/06/24 Javascript
js 事件截取enter按键页面提交事件示例代码
2014/03/04 Javascript
JS获得图片alt信息的方法
2015/04/01 Javascript
jquery.form.js实现将form提交转为ajax方式提交的方法
2015/04/07 Javascript
使用AngularJS处理单选框和复选框的简单方法
2015/06/19 Javascript
jQuery插件FusionCharts绘制ScrollColumn2D图效果示例【附demo源码下载】
2017/03/22 jQuery
vue实现登录后页面跳转到之前页面
2018/01/07 Javascript
jQuery实现碰到边缘反弹的动画效果
2018/02/24 jQuery
Node.js API详解之 net模块实例分析
2020/05/18 Javascript
[00:27]DOTA2战队VP、Secret贺新春
2018/02/11 DOTA
[08:53]DOTA2-DPC中国联赛 正赛 PSG.LGD vs LBZS 选手采访
2021/03/11 DOTA
Python制作简单的网页爬虫
2015/11/22 Python
Python的Tornado框架的异步任务与AsyncHTTPClient
2016/06/27 Python
Flask框架Jinjia模板常用语法总结
2018/07/19 Python
Django urls.py重构及参数传递详解
2019/07/23 Python
详解从Django Allauth中进行登录改造小结
2019/12/18 Python
Jupyter notebook运行Spark+Scala教程
2020/04/10 Python
python pygame 愤怒的小鸟游戏示例代码
2021/02/25 Python
Html5 new XMLHttpRequest()监听附件上传进度
2021/01/14 HTML / CSS
Vans澳大利亚官网:购买鞋子、服装及配件
2019/09/05 全球购物
Yahoo-PHP面试题4
2012/05/05 面试题
石油大学毕业生自荐信
2014/01/28 职场文书
《落花生》教学反思
2014/02/25 职场文书
机械专业技术员求职信
2014/06/14 职场文书
村创先争优活动总结
2014/08/28 职场文书
《微笑着面对生活》优秀演讲稿范文
2014/09/23 职场文书
2015年元旦标语大全
2014/12/09 职场文书
主持人开幕词
2015/01/29 职场文书
个人总结格式范文
2015/03/09 职场文书
浅谈node.js中间件有哪些类型
2021/04/29 Javascript
不同品牌、不同型号对讲机如何互相通联
2022/02/18 无线电