kafka-python批量发送数据的实例


Posted in Python onDecember 27, 2018

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
PYTHON正则表达式 re模块使用说明
May 19 Python
python实现颜色空间转换程序(Tkinter)
Dec 31 Python
Python3实现带附件的定时发送邮件功能
Dec 22 Python
python计算两个地址之间的距离方法
Jun 09 Python
Python multiprocess pool模块报错pickling error问题解决方法分析
Mar 20 Python
Python实现根据日期获取当天凌晨时间戳的方法示例
Apr 09 Python
Python TestCase中的断言方法介绍
May 02 Python
Django实现发送邮件找回密码功能
Aug 12 Python
如何在VSCode上轻松舒适的配置Python的方法步骤
Oct 28 Python
Python定义一个函数的方法
Jun 15 Python
基于Keras中Conv1D和Conv2D的区别说明
Jun 19 Python
基于python tkinter的点名小程序功能的实例代码
Aug 22 Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
You might like
PHP+AJAX 投票器功能
2017/11/11 PHP
ext读取两种结构的xml的代码
2008/11/05 Javascript
js函数排序的实例代码
2013/07/01 Javascript
JS字符串截取函数实例
2013/12/27 Javascript
JavaScript Serializer序列化时间处理示例
2014/07/31 Javascript
Jquery实现仿腾讯微博发表广播
2014/11/17 Javascript
JavaScript判断表单提交时哪个radio按钮被选中的方法
2015/03/21 Javascript
JS+CSS实现大气的黑色首页导航菜单效果代码
2015/09/10 Javascript
AngularJS中的过滤器filter用法完全解析
2016/04/22 Javascript
JS实现间歇滚动的运动效果实例
2016/12/22 Javascript
jQuery.parseHTML() 函数详解
2017/01/09 Javascript
jQuery设置图片等比例缩小的方法
2017/04/29 jQuery
JS正则表达式完美实现身份证校验功能
2017/10/18 Javascript
微信小程序使用progress组件实现显示进度功能【附源码下载】
2017/12/12 Javascript
解决iView中时间控件选择的时间总是少一天的问题
2018/03/15 Javascript
Vue-CLI 项目在pycharm中配置方法
2019/08/30 Javascript
layui表格内容溢出的解决方法
2019/09/06 Javascript
vue总线机制(bus)知识点详解
2020/05/10 Javascript
[52:05]EG vs OG 2019国际邀请赛小组赛 BO2 第二场 8.16
2019/08/18 DOTA
Python EOL while scanning string literal问题解决方法
2020/09/18 Python
Python中实现switch功能实例解析
2018/01/11 Python
Python中pandas模块DataFrame创建方法示例
2018/06/20 Python
python基于SMTP协议发送邮件
2019/05/31 Python
Python设置matplotlib.plot的坐标轴刻度间隔以及刻度范围
2019/06/25 Python
python 监控logcat关键字功能
2020/09/04 Python
python如何将图片转换素描画
2020/09/08 Python
Jeep牧马人、切诺基和自由人零配件:4 Wheel Drive Hardware
2017/07/02 全球购物
欧洲品牌瓷器餐具网上商店:Porzellantreff.de
2018/04/04 全球购物
传媒专业推荐信范文
2013/11/23 职场文书
应聘收银员个人的求职信
2013/11/30 职场文书
2015年全国爱眼日活动方案
2015/05/05 职场文书
2016年清明节网上祭英烈活动总结
2016/04/01 职场文书
祝福语集锦:送给毕业同学祝福语
2019/11/21 职场文书
高一作文之乐趣
2019/11/21 职场文书
Django debug为True时,css加载失败的解决方案
2021/04/24 Python
pycharm部署django项目到云服务器的详细流程
2021/06/29 Python