kafka-python批量发送数据的实例


Posted in Python onDecember 27, 2018

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python编程-将Python程序转化为可执行程序[整理]
Apr 09 Python
Python的Django框架中从url中捕捉文本的方法
Jul 20 Python
用Python的Django框架来制作一个RSS阅读器
Jul 22 Python
python通过elixir包操作mysql数据库实例代码
Jan 31 Python
Python 批量合并多个txt文件的实例讲解
May 08 Python
python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换)
Apr 01 Python
我喜欢你 抖音表白程序python版
Apr 07 Python
python操作小程序云数据库实现简单的增删改查功能
Jun 06 Python
Python aiohttp百万并发极限测试实例分析
Oct 26 Python
Python和Anaconda和Pycharm安装教程图文详解
Feb 04 Python
python GUI库图形界面开发之PyQt5信号与槽基础使用方法与实例
Mar 06 Python
python中的sys模块和os模块
Mar 20 Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
You might like
PHP中MVC模式的模板引擎开发经验分享
2011/03/23 PHP
WordPress主题制作中自定义头部的相关PHP函数解析
2016/01/08 PHP
不懂JavaScript应该怎样学
2008/04/16 Javascript
JS清空多文本框、文本域示例代码
2014/02/24 Javascript
动态JavaScript所造成一些你不知道的危害
2016/09/25 Javascript
angularjs 中$apply,$digest,$watch详解
2016/10/13 Javascript
js实现可旋转的立方体模型
2016/10/16 Javascript
解决AngualrJS页面刷新导致异常显示问题
2017/04/20 Javascript
js实现上传并压缩图片效果
2018/01/10 Javascript
webpack+react+antd脚手架优化的方法
2018/04/02 Javascript
微信公众号开发之微信支付代码记录的实现
2019/10/16 Javascript
vue中路由跳转不计入history的操作
2020/09/21 Javascript
vue表单验证之禁止input输入框输入空格
2020/12/03 Vue.js
[02:17]TI4西雅图DOTA2前线报道 啸天mik夫妻档解说
2014/07/08 DOTA
python自然语言编码转换模块codecs介绍
2015/04/08 Python
Python中利用sorted()函数排序的简单教程
2015/04/27 Python
Python生成随机密码的方法
2017/06/16 Python
Python实现基于C/S架构的聊天室功能详解
2018/07/07 Python
python求质数的3种方法
2018/09/28 Python
python爬虫 正则表达式解析
2019/09/28 Python
python GUI库图形界面开发之PyQt5下拉列表框控件QComboBox详细使用方法与实例
2020/02/27 Python
Django模型中字段属性choice使用说明
2020/03/30 Python
numpy库ndarray多维数组的维度变换方法(reshape、resize、swapaxes、flatten)
2020/04/28 Python
scrapy框架携带cookie访问淘宝购物车功能的实现代码
2020/07/07 Python
Haglöfs瑞典官方网站:haglofs火柴棍,欧洲顶级户外品牌
2018/10/18 全球购物
Vinatis德国:法国领先的葡萄酒邮购公司
2020/09/07 全球购物
高校自主招生自荐信
2013/12/09 职场文书
测控技术与通信工程毕业生自荐信范文
2013/12/28 职场文书
“学雷锋活动月”总结
2014/03/09 职场文书
课前三分钟演讲稿
2014/04/24 职场文书
银行奉献演讲稿
2014/09/16 职场文书
2014年法院工作总结
2014/11/24 职场文书
2014年库房工作总结
2014/11/26 职场文书
2014年优秀班主任工作总结
2014/12/16 职场文书
代理词怎么写
2015/05/25 职场文书
win11无法添加打印机怎么办? 提示windows无法打开添加打印机的解决办法
2022/04/05 数码科技