kafka-python批量发送数据的实例


Posted in Python onDecember 27, 2018

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用python将xml文件解析成html文件的实现方法
Dec 22 Python
详解Python中的动态属性和特性
Apr 07 Python
详解python单元测试框架unittest
Jul 02 Python
python 实现视频流下载保存MP4的方法
Jan 09 Python
Python3实现定时任务的四种方式
Jun 03 Python
超简单的Python HTTP服务
Jul 22 Python
Python3实现将一维数组按标准长度分隔为二维数组
Nov 29 Python
keras获得某一层或者某层权重的输出实例
Jan 24 Python
python中列表的含义及用法
May 26 Python
keras CNN卷积核可视化,热度图教程
Jun 22 Python
python读取excel进行遍历/xlrd模块操作
Jul 12 Python
用Python实现Newton插值法
Apr 17 Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
You might like
理清PHP在Linxu下执行时的文件权限方法
2017/06/07 PHP
PHP判断是否微信访问的方法示例
2019/03/27 PHP
利用ASP发送和接收XML数据的处理方法与代码
2007/11/13 Javascript
javascript cookies 设置、读取、删除实例代码
2010/04/12 Javascript
加载jQuery后$冲突的解决办法
2010/07/09 Javascript
ajax页面无刷新 IE下遭遇Ajax缓存导致数据不更新的问题
2012/12/11 Javascript
深入探密Javascript数组方法
2015/01/08 Javascript
JavaScript通过this变量快速找出用户选中radio按钮的方法
2015/03/23 Javascript
JS获取网页图片name属性的方法
2015/04/01 Javascript
AngularJS 依赖注入详解和简单实例
2016/07/28 Javascript
AngularJS常见过滤器用法实例总结
2017/07/06 Javascript
利用JavaScript将Excel转换为JSON示例代码
2019/06/14 Javascript
6种JavaScript继承方式及优缺点(小结)
2020/02/06 Javascript
vue项目使用高德地图的定位及关键字搜索功能的实例代码(踩坑经验)
2020/03/07 Javascript
Openlayers3实现车辆轨迹回放功能
2020/09/29 Javascript
Python多进程编程技术实例分析
2014/09/16 Python
Python中的多重装饰器
2015/04/11 Python
如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求
2015/10/13 Python
使用python Telnet远程登录执行程序的方法
2019/01/26 Python
Python使用字典实现的简单记事本功能示例
2019/08/15 Python
python多线程实现TCP服务端
2019/09/03 Python
python银行系统实现源码
2019/10/25 Python
Python with标签使用方法解析
2020/01/17 Python
python使用numpy实现直方图反向投影示例
2020/01/17 Python
python怎么判断素数
2020/07/01 Python
CSS3文本换行word-wrap解决英文文本超过固定宽度不换行
2013/10/10 HTML / CSS
美国时尚在线:Showpo
2017/09/08 全球购物
发现世界上最好的珠宝设计师:JewelStreet
2017/12/17 全球购物
英国曼彻斯特宠物用品品牌:Bunty Pet Products
2019/07/27 全球购物
仓库管理制度
2014/01/21 职场文书
管理标语大全
2014/06/24 职场文书
个人整改措施落实情况汇报
2014/10/29 职场文书
2015大学生暑假调查报告
2015/07/13 职场文书
2016年中秋节晚会领导致辞
2015/11/26 职场文书
python通配符之glob模块的使用详解
2021/04/24 Python
如何使用Python实现一个简易的ORM模型
2021/05/12 Python