kafka-python批量发送数据的实例


Posted in Python onDecember 27, 2018

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python BeautifulSoup设置页面编码的方法
Apr 03 Python
Python中操作文件之write()方法的使用教程
May 25 Python
python实现解数独程序代码
Apr 12 Python
Python 实现数据库(SQL)更新脚本的生成方法
Jul 09 Python
python学习必备知识汇总
Sep 08 Python
pandas中Timestamp类用法详解
Dec 11 Python
Python的垃圾回收机制详解
Aug 28 Python
Python 获取项目根路径的代码
Sep 27 Python
Python tkinter模版代码实例
Feb 05 Python
keras之权重初始化方式
May 21 Python
Python调用高德API实现批量地址转经纬度并写入表格的功能
Jan 12 Python
Python接口自动化之文件上传/下载接口详解
Apr 05 Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
You might like
PHP操作数组的一些函数整理介绍
2011/07/17 PHP
php数据访问之增删改查操作
2016/05/09 PHP
基于prototype的validation.js发布2.3.4新版本,让你彻底脱离表单验证的烦恼
2006/12/06 Javascript
getElementById在任意一款浏览器中都可以用吗的疑问回复
2007/05/13 Javascript
javascript hashtable实现代码
2009/10/13 Javascript
让FireFox支持innerText的实现代码
2009/12/01 Javascript
Extjs中的GridPanel隐藏列会显示在menuDisabled中解决方法
2013/01/27 Javascript
javascript从右边截取指定字符串的三种实现方法
2013/11/29 Javascript
jquery.Ajax()方法调用Asp.Net后台的方法解析
2014/02/13 Javascript
jQuery模拟点击A标记示例参考
2014/04/17 Javascript
js数组的基本操作(很全自己整理的)
2014/10/16 Javascript
jquery文档操作wrap()方法实例简述
2015/01/10 Javascript
JS/Jquery判断对象为空的方法
2015/06/11 Javascript
一款简单的jQuery图片标注效果附源码下载
2016/03/22 Javascript
BootStrap 动态添加验证项和取消验证项的实现方法
2016/09/28 Javascript
Bootstrap基本插件学习笔记之轮播幻灯片(23)
2016/12/08 Javascript
JS仿京东移动端手指拨动切换轮播图效果
2020/04/10 Javascript
React 组件间的通信示例
2018/06/14 Javascript
详解解决Vue相同路由参数不同不会刷新的问题
2018/10/12 Javascript
微信小程序云开发之数据库操作
2019/05/18 Javascript
浅谈layui框架自带分页和表格重载的接口解析问题
2019/09/11 Javascript
JS实现判断移动端PC端功能
2020/02/21 Javascript
[19:59]2014DOTA2国际邀请赛 IG战队纪录片
2014/08/07 DOTA
[36:17]DOTA2上海特级锦标赛 - VGL音乐会全集
2016/03/06 DOTA
python使用smtplib模块通过gmail实现邮件发送的方法
2015/05/08 Python
python使用arcpy.mapping模块批量出图
2017/03/06 Python
Python 中 Virtualenv 和 pip 的简单用法详解
2017/08/18 Python
python2 与 pyhton3的输入语句写法小结
2018/09/10 Python
python生成lmdb格式的文件实例
2018/11/08 Python
Keras实现支持masking的Flatten层代码
2020/06/16 Python
python 制作本地应用搜索工具
2021/02/27 Python
教师见习期自我鉴定
2014/04/28 职场文书
教师求职信
2014/06/17 职场文书
研究生导师评语
2014/12/31 职场文书
《悲惨世界》:比天空更广阔的是人的心灵
2020/01/16 职场文书
JavaScript 中for/of,for/in 的详细介绍
2021/11/17 Javascript