python消费kafka数据批量插入到es的方法


Posted in Python onDecember 27, 2018

1、es的批量插入

这是为了方便后期配置的更改,把配置信息放在logging.conf中

用elasticsearch来实现批量操作,先安装依赖包,sudo pip install Elasticsearch2

from elasticsearch import Elasticsearch 
class ImportEsData:

  logging.config.fileConfig("logging.conf")
  logger = logging.getLogger("msg")

  def __init__(self,hosts,index,type):
    self.es = Elasticsearch(hosts=hosts.strip(',').split(','), timeout=5000)
    self.index = index
    self.type = type


  def set_date(self,data): 
    # 批量处理 
    # es.index(index="test-index",doc_type="test-type",id=42,body={"any":"data","timestamp":datetime.now()})
    self.es.index(index=self.index,doc_type=self.index,body=data)

2、使用pykafka消费kafka

1.因为kafka是0.8,pykafka不支持zk,只能用get_simple_consumer来实现

2.为了实现多个应用同时消费而且不重消费,所以一个应用消费一个partition

3. 为是确保消费数据量在不满足10000这个批量值,能在一个时间范围内插入到es中,这里设置consumer_timeout_ms一个超时等待时间,退出等待消费阻塞。

4.退出等待消费阻塞后导致无法再消费数据,因此在获取self.consumer 的外层加入了while True 一个死循环

#!/usr/bin/python
# -*- coding: UTF-8 -*-
from pykafka import KafkaClient
import logging
import logging.config
from ConfigUtil import ConfigUtil
import datetime


class KafkaPython:
  logging.config.fileConfig("logging.conf")
  logger = logging.getLogger("msg")
  logger_data = logging.getLogger("data")

  def __init__(self):
    self.server = ConfigUtil().get("kafka","kafka_server")
    self.topic = ConfigUtil().get("kafka","topic")
    self.group = ConfigUtil().get("kafka","group")
    self.partition_id = int(ConfigUtil().get("kafka","partition"))
    self.consumer_timeout_ms = int(ConfigUtil().get("kafka","consumer_timeout_ms"))
    self.consumer = None
    self.hosts = ConfigUtil().get("es","hosts")
    self.index_name = ConfigUtil().get("es","index_name")
    self.type_name = ConfigUtil().get("es","type_name")


  def getConnect(self):
    client = KafkaClient(self.server)
    topic = client.topics[self.topic]
    p = topic.partitions
    ps={p.get(self.partition_id)}

    self.consumer = topic.get_simple_consumer(
      consumer_group=self.group,
      auto_commit_enable=True,
      consumer_timeout_ms=self.consumer_timeout_ms,
      # num_consumer_fetchers=1,
      # consumer_id='test1',
      partitions=ps
      )
    self.starttime = datetime.datetime.now()


  def beginConsumer(self):
    print("beginConsumer kafka-python")
    imprtEsData = ImportEsData(self.hosts,self.index_name,self.type_name)
    #创建ACTIONS 
    count = 0
    ACTIONS = [] 

    while True:
      endtime = datetime.datetime.now()
      print (endtime - self.starttime).seconds
      for message in self.consumer:
        if message is not None:
          try:
            count = count + 1
            # print(str(message.partition.id)+","+str(message.offset)+","+str(count))
            # self.logger.info(str(message.partition.id)+","+str(message.offset)+","+str(count))
            action = { 
              "_index": self.index_name, 
              "_type": self.type_name, 
              "_source": message.value
            }
            ACTIONS.append(action)
            if len(ACTIONS) >= 10000:
              imprtEsData.set_date(ACTIONS)
              ACTIONS = []
              self.consumer.commit_offsets()
              endtime = datetime.datetime.now()
              print (endtime - self.starttime).seconds
              #break
          except (Exception) as e:
            # self.consumer.commit_offsets()
            print(e)
            self.logger.error(e)
            self.logger.error(str(message.partition.id)+","+str(message.offset)+","+message.value+"\n")
            # self.logger_data.error(message.value+"\n")
          # self.consumer.commit_offsets()


      if len(ACTIONS) > 0:
        self.logger.info("等待时间超过,consumer_timeout_ms,把集合数据插入es")
        imprtEsData.set_date(ACTIONS)
        ACTIONS = []
        self.consumer.commit_offsets()




  def disConnect(self):
    self.consumer.close()


from elasticsearch import Elasticsearch 
from elasticsearch.helpers import bulk
class ImportEsData:

  logging.config.fileConfig("logging.conf")
  logger = logging.getLogger("msg")

  def __init__(self,hosts,index,type):
    self.es = Elasticsearch(hosts=hosts.strip(',').split(','), timeout=5000)
    self.index = index
    self.type = type


  def set_date(self,data): 
    # 批量处理 
    success = bulk(self.es, data, index=self.index, raise_on_error=True) 
    self.logger.info(success)

3、运行

if __name__ == '__main__':
  kp = KafkaPython()
  kp.getConnect()
  kp.beginConsumer()
  # kp.disConnect()

注:简单的写了一个从kafka中读取数据到一个list里,当数据达到一个阈值时,在批量插入到 es的插件

现在还在批量的压测中。。。

以上这篇python消费kafka数据批量插入到es的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中优化NumPy包使用性能的教程
Apr 23 Python
Python中is与==判断的区别
Mar 28 Python
如何用Python实现简单的Markdown转换器
Jul 16 Python
Python常见内置高效率函数用法示例
Jul 31 Python
python并发和异步编程实例
Nov 15 Python
Python Django中的STATIC_URL 设置和使用方式
Mar 27 Python
浅谈pytorch中的BN层的注意事项
Jun 23 Python
Keras中 ImageDataGenerator函数的参数用法
Jul 03 Python
python实现在列表中查找某个元素的下标示例
Nov 16 Python
Python修改DBF文件指定列
Dec 19 Python
python实现自动化群控的步骤
Apr 11 Python
关于Python中*args和**kwargs的深入理解
Aug 07 Python
Python通过paramiko远程下载Linux服务器上的文件实例
Dec 27 #Python
Python基于Tkinter模块实现的弹球小游戏
Dec 27 #Python
python 读取Linux服务器上的文件方法
Dec 27 #Python
Python 脚本获取ES 存储容量的实例
Dec 27 #Python
Python数据结构之栈、队列及二叉树定义与用法浅析
Dec 27 #Python
python获取本机所有IP地址的方法
Dec 26 #Python
python检测IP地址变化并触发事件
Dec 26 #Python
You might like
PHP大神的十大优良习惯
2016/09/14 PHP
thinkphp5框架实现数据库读取的数据转换成json格式示例
2019/10/10 PHP
CSS JavaScript 实现菜单功能 改进版
2008/12/09 Javascript
一个tab标签切换效果代码
2009/03/27 Javascript
Javascript绝句欣赏 一些经典的js代码
2012/02/22 Javascript
js确定对象类型方法
2012/03/30 Javascript
javascript学习笔记(十五) js间歇调用和超时调用
2012/06/20 Javascript
js数组操作常用方法
2014/05/08 Javascript
Javascript+CSS实现影像卷帘效果思路及代码
2014/10/20 Javascript
jQuery中DOM树操作之复制元素的方法
2015/01/23 Javascript
js通过iframe加载外部网页的实现代码
2015/04/05 Javascript
Vue.js第四天学习笔记
2016/12/02 Javascript
xmlplus组件设计系列之网格(DataGrid)(10)
2017/05/05 Javascript
Angularjs验证用户输入的字符串是否为日期时间
2017/06/01 Javascript
详解刷新页面vuex数据不消失和不跳转页面的解决
2018/01/30 Javascript
JS实现同一DOM元素上onClick事件与onDblClick事件并存的解决方法
2018/06/07 Javascript
vue完成项目后,打包成静态文件的方法
2018/09/03 Javascript
记React connect的几种写法(小结)
2018/09/18 Javascript
详解vue中async-await的使用误区
2018/12/05 Javascript
详解原生JS回到顶部
2019/03/25 Javascript
[43:24]完美世界DOTA2联赛PWL S3 INK ICE vs DLG 第二场 12.12
2020/12/17 DOTA
Python 2.7.x 和 3.x 版本的重要区别小结
2014/11/28 Python
Python闭包执行时值的传递方式实例分析
2018/06/04 Python
详解Python学习之安装pandas
2019/04/16 Python
python发qq消息轰炸虐狗好友思路详解(完整代码)
2020/02/15 Python
python:HDF和CSV存储优劣对比分析
2020/06/08 Python
python时间序列数据转为timestamp格式的方法
2020/08/03 Python
Python 删除List元素的三种方法remove、pop、del
2020/11/16 Python
英国在线花园中心:You Garden
2018/06/03 全球购物
挂职自我鉴定
2014/02/26 职场文书
工程项目建议书范文
2014/03/12 职场文书
会计核算科岗位职责
2014/03/19 职场文书
保护环境标语
2014/06/09 职场文书
校园安全广播稿范文
2014/09/25 职场文书
2014年纳税评估工作总结
2014/12/23 职场文书
Java练习之潜艇小游戏的实现
2022/03/16 Java/Android