python 使用elasticsearch 实现翻页的三种方式


Posted in Python onJuly 31, 2020

python 使用elasticsearch 实现翻页的三种方式

使用ES做搜索引擎拉取数据的时候,如果数据量太大,通过传统的from + size的方式并不能获取所有的数据(默认最大记录数10000),因为随着页数的增加,会消耗大量的内存,导致ES集群不稳定。因此延伸出了scroll,search_after等翻页方式。

一、from + size 浅分页

"浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。

GET test/_search
{
 "query": {
 "bool": {
  "filter": [
  {
   "term": {
   "age": 28
   }
  }
  ]
 }
 },
 "size": 10,
 "from": 20,
 "sort": [
 {
  "timestamp": {
  "order": "desc"
  },
  "_id": {
  "order": "desc"
  }
 }
 ]
}

from定义了目标数据的偏移值,size定义当前返回的数目。默认from为0,size为10,即所有的查询默认仅仅返回前10条数据。

在这里有必要了解一下from/size的原理:
因为es是基于分片的,假设有5个分片,from=100,size=10。则会根据排序规则从5个分片中各取回100条数据数据,然后汇总成500条数据后选择最后面的10条数据。

做过测试,越往后的分页,执行的效率越低。总体上会随着from的增加,消耗时间也会增加。而且数据量越大,就越明显!

二、scroll 深分页

 from+size查询在10000-50000条数据(1000到5000页)以内的时候还是可以的,但是如果数据过多的话,就会出现深分页问题。为了解决上面的问题,elasticsearch提出了一个scroll滚动的方式。
scroll 类似于sql中的cursor,使用scroll,每次只能获取一页的内容,然后会返回一个scroll_id。根据返回的这个scroll_id可以不断地获取下一页的内容,所以scroll并不适用于有跳页的情景。

# -*- coding: utf-8 -*-
# @Time : 
# @Author :
 
from elasticsearch import Elasticsearch
 
es = Elasticsearch(hosts="ip:9200", timeout=20, max_retries=10, retry_on_timeout=True)
 
# Elasticsearch 需要保持搜索的上下文环境多久 游标查询过期时间为10分钟(10m)
page = es.search(
    index="source_keyword_message", doc_type="source_keyword_message",
    scroll='10m',
    size=100,
    body={
     "query": {"match_all": {}},
    }
   )
# 游标用于输出es查询出的所有结果
sid = page['_scroll_id']
# es查询出的结果总量
scroll_size = page['hits']['total']
# es查询出的结果第一页
datas = page.get('hits').get('hits')
 
while (scroll_size > 0):
  page = es.scroll(scroll_id=sid, scroll='5m')
  sid = page['_scroll_id']
  scroll_size = len(page['hits']['hits'])
  datas = page.get('hits').get('hits')
  1. scroll=5m表示设置scroll_id保留5分钟可用。
  2. 使用scroll必须要将from设置为0。默认0
  3. size决定后面每次调用_search搜索返回的数量

三、search_after 深分页

scroll 的方式,官方的建议不用于实时的请求(一般用于数据导出),因为每一个 scroll_id 不仅会占用大量的资源,而且会生成历史快照,对于数据的变更不会反映到快照上。

search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置,同时在分页请求的过程中,如果有索引数据的增删改查,这些变更也会实时的反映到游标上。但是需要注意,因为每一页的数据依赖于上一页最后一条数据,所以无法跳页请求。

为了找到每一页最后一条数据,每个文档必须有一个全局唯一值,官方推荐使用 _uid 作为全局唯一值,其实使用业务层的 id 也可以。

GET test/_search
{
 "query": {
 "bool": {
  "filter": [
  {
   "term": {
   "age": 28
   }
  }
  ]
 }
 },
 "size": 20,
 "from": 0,
 "sort": [
 {
  "timestamp": {
  "order": "desc"
  },
  "_id": {
  "order": "desc"
  }
 }
 ]
}
  1. 使用search_after必须要设置from=0。
  2. 这里我使用timestamp和_id作为唯一值排序。
  3. 我们在返回的最后一条数据里拿到sort属性的值传入到search_after。

使用sort返回的值搜索下一页:

GET test/_search
{
 "query": {
 "bool": {
  "filter": [
  {
   "term": {
   "age": 28
   }
  }
  ]
 }
 },
 "size": 10,
 "from": 0,
 "search_after": [
 1541495312521,
 "d0xH6GYBBtbwbQSP0j1A"
 ],
 "sort": [
 {
  "timestamp": {
  "order": "desc"
  },
  "_id": {
  "order": "desc"
  }
 }
 ]
}

 到此这篇关于python 使用elasticsearch 实现翻页的三种方式的文章就介绍到这了,更多相关python elasticsearch 翻页内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python赋值操作方法分享
Mar 23 Python
python中的__init__ 、__new__、__call__小结
Apr 25 Python
Python实现递归遍历文件夹并删除文件
Apr 18 Python
在阿里云服务器上配置CentOS+Nginx+Python+Flask环境
Jun 18 Python
在python中利用KNN实现对iris进行分类的方法
Dec 11 Python
Python中文件的写入读取以及附加文字方法
Jan 23 Python
pandas通过字典生成dataframe的方法步骤
Jul 23 Python
Python Opencv图像处理基本操作代码详解
Aug 31 Python
基于Python实现全自动下载抖音视频
Nov 06 Python
分享unittest单元测试框架中几种常用的用例加载方法
Dec 02 Python
Python爬虫之Selenium库的使用方法
Jan 03 Python
用Python selenium实现淘宝抢单机器人
Jun 18 Python
Python爬虫获取豆瓣电影并写入excel
Jul 31 #Python
深入浅析Python代码规范性检测
Jul 31 #Python
python使用Word2Vec进行情感分析解析
Jul 31 #Python
Python爬虫基于lxml解决数据编码乱码问题
Jul 31 #Python
Python如何定义有可选参数的元类
Jul 31 #Python
Python爬虫爬取糗事百科段子实例分享
Jul 31 #Python
Python如何对齐字符串
Jul 30 #Python
You might like
PHP无限分类的类
2007/01/02 PHP
php抽奖小程序的实现代码
2013/06/18 PHP
php获取中文拼音首字母类和函数分享
2014/04/24 PHP
详解PHP中instanceof关键字及instanceof关键字有什么作用
2015/11/05 PHP
使用Git实现Laravel项目的自动化部署
2019/11/24 PHP
js静态作用域的功能。
2006/12/25 Javascript
基于jquery 的一个progressbar widge
2010/10/29 Javascript
使用jquery插件实现图片延迟加载技术详细说明
2011/03/12 Javascript
Javascript实现的类似Google的Div拖动效果代码
2011/08/09 Javascript
javascript淡入淡出效果的实现思路
2012/03/31 Javascript
jquery移除、绑定、触发元素事件使用示例详解
2014/04/10 Javascript
JavaScript如何调试有哪些建议和技巧附五款有用的调试工具
2015/10/28 Javascript
Jquery插件仿百度搜索关键字自动匹配功能
2016/05/11 Javascript
vue.js入门教程之计算属性
2016/09/01 Javascript
Angular2自定义分页组件
2017/04/19 Javascript
纯js实现页面返回顶部的动画(超简单)
2017/08/10 Javascript
JavaScript屏蔽Backspace键的实现代码
2017/11/02 Javascript
nodejs+mongodb aggregate级联查询操作示例
2018/03/17 NodeJs
js实现详情页放大镜效果
2020/10/28 Javascript
彻底理解Python list切片原理
2017/10/27 Python
python模拟登陆,用session维持回话的实例
2018/12/27 Python
Python 进程之间共享数据(全局变量)的方法
2019/07/16 Python
tensorflow 保存模型和取出中间权重例子
2020/01/24 Python
python 画图 图例自由定义方式
2020/04/17 Python
pytorch加载自己的图像数据集实例
2020/07/07 Python
使用CSS3的::selection改变选中文本颜色的方法
2015/09/29 HTML / CSS
介绍一下#error预处理
2015/09/25 面试题
大四学年自我鉴定
2013/11/13 职场文书
求职信范文怎么写
2014/01/29 职场文书
读群众路线心得体会
2014/03/07 职场文书
会计岗位职责范本
2014/03/07 职场文书
2014年教育工作总结
2014/11/26 职场文书
结婚当天新郎保证书
2015/05/08 职场文书
2015年学校办公室工作总结
2015/05/26 职场文书
有关骆驼祥子的读书笔记
2015/06/26 职场文书
详解OpenCV曝光融合
2022/04/29 Python