kafka-python批量发送数据的实例


Posted in Python onDecember 27, 2018

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现去除代码前行号的方法
Mar 10 Python
对于Python装饰器使用的一些建议
Jun 03 Python
python版本坑:md5例子(python2与python3中md5区别)
Jun 20 Python
Python断言assert的用法代码解析
Feb 03 Python
Python(Django)项目与Apache的管理交互的方法
May 16 Python
使用PyQtGraph绘制精美的股票行情K线图的示例代码
Mar 14 Python
对Django中static(静态)文件详解以及{% static %}标签的使用方法
Jul 28 Python
Python读取分割压缩TXT文本文件实例
Feb 14 Python
Python flask框架如何显示图像到web页面
Jun 03 Python
python和c语言哪个更适合初学者
Jun 22 Python
Python破解极验滑动验证码详细步骤
May 21 Python
Python Pycharm虚拟下百度飞浆PaddleX安装报错问题及处理方法(亲测100%有效)
May 24 Python
Python闭包思想与用法浅析
Dec 27 #Python
对python操作kafka写入json数据的简单demo分享
Dec 27 #Python
python消费kafka数据批量插入到es的方法
Dec 27 #Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
You might like
建立文件交换功能的脚本(二)
2006/10/09 PHP
php 获取客户端的真实ip
2009/11/30 PHP
php object转数组示例
2014/01/15 PHP
PHP开发框架Laravel数据库操作方法总结
2014/09/03 PHP
php对文件进行hash运算的方法
2015/04/03 PHP
PHP使用SWOOLE扩展实现定时同步 MySQL 数据
2017/04/09 PHP
php实现用户注册密码的crypt加密
2017/06/08 PHP
PHP空值检测函数与方法汇总
2017/11/19 PHP
AJAX架构之Dojo篇
2007/04/10 Javascript
xml分页+ajax请求数据源+dom取结果实例代码
2008/10/31 Javascript
javascript 变量作用域 代码分析
2009/06/26 Javascript
js 多种变量定义(对象直接量,数组直接量和函数直接量)
2010/05/24 Javascript
input 输入框获得/失去焦点时隐藏/显示文字(jquery版)
2013/04/02 Javascript
JS 去前后空格大全(IE9亲测)
2013/07/15 Javascript
jQuery使用正则表达式限制文本框只能输入数字
2016/06/18 Javascript
jquery判断页面网址是否有效的两种方法
2016/12/11 Javascript
jQuery实现圣诞节礼物动画案例解析
2016/12/25 Javascript
Node.js常用工具之util模块
2017/03/09 Javascript
BootStrap Select清除选中的状态恢复默认状态
2017/06/20 Javascript
Javascript es7中比较实用的两个方法示例
2017/07/21 Javascript
JavaScript中的E-mail 地址格式验证
2018/03/28 Javascript
JS基于ES6新特性async await进行异步处理操作示例
2019/02/02 Javascript
inquirer.js一个用户与命令行交互的工具详解
2019/05/18 Javascript
Vue实现根据hash高亮选项卡
2019/05/27 Javascript
vue修改Element的el-table样式的4种方法
2020/09/17 Javascript
python实现的文件夹清理程序分享
2014/11/22 Python
彻底理解Python list切片原理
2017/10/27 Python
python使用原始套接字发送二层包(链路层帧)的方法
2019/07/22 Python
Window10下python3.7 安装与卸载教程图解
2019/09/30 Python
美国知名日用品连锁超市:Dollar General(多来店)
2017/01/14 全球购物
银行委托书范本
2014/09/28 职场文书
2014年团支书工作总结
2014/11/14 职场文书
幼儿园老师新年寄语2015
2014/12/08 职场文书
Python绘制地图神器folium的新人入门指南
2021/05/23 Python
「SHOW BY ROCK!!」“雫シークレットマインド”组合单曲MV公开
2022/03/21 日漫
python数据分析之单因素分析线性拟合及地理编码
2022/06/25 Python