PyMongo 查询数据的实现


Posted in Python onJune 28, 2021

查询数据

往 mongodb存储的所有数据,都是为了需要读取的时候能够取出。
但读取除了按某一列比如分数: 排序 读取;还会出现我只看某一段时间、某个班的条件筛选;还会出现我想看每个班平均分 聚合 求平均....等等多样操作
这些操作都可以通过 find_one()、find() 完成:

ret2find = collect.find_one()
# {'_id': ObjectId('5ea780bf747e3e128470e485'), 'class_name': '高三(1)班', 'student_name': '张三', 'subject': '英语', 'score': 100, 'date': '20200301'}

ret2find = collect.find()
# <pymongo.cursor.Cursor object at 0x0000024BBEBE15C8>

从上面的结果可以看出,find_one() 查询得出单一字典;find()则是一个生成器对象能够通过 for val in ret2find: 遍历取出

设置查询条件

但能取出全部数据还不够,查询一般是会带条件、甚至复杂的条件 —— 比如:查询出 高三(1)班,张三 或 李四,成绩大于90 的科目,该怎么做呢?

ret2find = collect.find({"class_name":"高三(1)班","score":{"$gt":90},"$or":[{"student_name":"张三"},{"student_name":"李四"}]})

for val in ret2find:
    print(val)

上面有两个要点:

{"class_name":"高三(1)班","score":{"$gt":90}}

这一段 写法 表示 “高三(1)班 且 分数 > 90”;
而 $gt 比较操作符,表 大于意思,除 $gt 操作符以外还有:

 

符号 含义
$lt 小于
$lte 小于等于
$gt 大于
$gte 大于等于
$ne 不等于
$in 在范围内
$nin 不在范围内

{"$or":[{"student_name":"张三"},{"student_name":"李四"}]}

这一段 写法 表示 “学生名称为 张三 或 李四”
而其中的 $or 逻辑操作符,用它来表示条件之间的关系。除了 $or 以外的逻辑操作符还有:

 

符号 含义
$and 按条件取 交集
$not 单个条件的 相反集合
$nor 多个条件的 相反集合
$or 多个条件的 并集

更多查询操作

除了上述常规操作外,具体使用场景中我们还会用到:

 

符号 含义 示例 示例含义
$regex 正则匹配 {"student_name":{"regex":".∗三"}} 学生名以 “三” 结尾
$expr 允许查询中使用 聚合表达式 {"expr":{"gt":["spent","budget"]}} 查询 花费 大于 预算 的超支记录
$exists 属性是否存在 {"date":{"$exists": True}} date属性存在
$exists 属性是否存在 {"date":{"$exists": True}} date属性存在
$type 类型判断 {"score":{"$type":"int"}} score的类型为int
$mod 取模操作 {'score': {'$mod': [5, 0]}} 分数取5、0的模

更多 查询操作符 可以点击 查看官方文档

PS:pymongo最大查询限制

在用pyhton遍历mongo数据中时候,发限查询到101行就会阻塞,如下

lista_a = []
    for info in db.get_collection("dbs").find():
        lista_a.append(info)
        print("info nums=",len(info))

'''结果显示'''
'''info nums=101'''

分析原因:mongodb的find()方法返回游标cursor,可能有一个限制阈值101,参考文档,如下

原文:

The MongoDB server returns the query results in batches. The amount of data in the batch will not exceed the maximum BSON document size. To override the default size of the batch, see batchSize() and limit().

New in version 3.4: Operations of type find(), aggregate(), listIndexes, and listCollections return a maximum of 16 megabytes per batch. batchSize() can enforce a smaller limit, but not a larger one.

find() and aggregate() operations have an initial batch size of 101 documents by default. Subsequent getMore operations issued against the resulting cursor have no default batch size, so they are limited only by the 16 megabyte message size.

For queries that include a sort operation without an index, the server must load all the documents in memory to perform the sort before returning any results.

翻译:

MongoDB服务器批量返回查询结果。批处理中的数据量不会超过最大BSON文档大小。要覆盖批处理的默认大小,请参见batchSize()和limit()。
新版本3.4:类型为find()、aggregate()、listIndexes和listCollections的操作每批最多返回16兆字节。batchSize()可以执行较小的限制,但不能执行较大的限制。
find()和aggregate()操作的初始批处理大小默认为101个文档。针对生成的游标发出的后续getMore操作没有默认的批处理大小,因此它们仅受16mb消息大小的限制。 对于包含没有索引的排序操作的查询,服务器必须在返回任何结果之前加载内存中的所有文档来执行排序。

解决方案

lista_a = []
    for info in db.get_collection("dbs").find().batch_size1(5000): #修改最大限制阈
        lista_a.append(info)
        print("info nums=",len(info))

但是这种方法是每次游标返回5000条数据,循环遍历,如果单词查找50000次应该怎么写呢?如下

lista_a = []
   cousor=db.get_collection("dbs").find().batch_size1(5000)
    for i in range(50000): #修改最大限制阈
        lista_a.append(next(cousor))

到此这篇关于PyMongo 查询数据的实现的文章就介绍到这了,更多相关PyMongo 查询数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python3新特性函数注释Function Annotations用法分析
Jul 28 Python
python通过百度地图API获取某地址的经纬度详解
Jan 28 Python
python如何在循环引用中管理内存
Mar 20 Python
python pandas 对时间序列文件处理的实例
Jun 22 Python
python3实现爬取淘宝美食代码分享
Sep 23 Python
Python3爬虫学习入门教程
Dec 11 Python
python爬取内容存入Excel实例
Feb 20 Python
python字符串Intern机制详解
Jul 01 Python
Python读写文件模式和文件对象方法实例详解
Sep 17 Python
matplotlib实现显示伪彩色图像及色度条
Dec 07 Python
TensorFlow2.1.0安装过程中setuptools、wrapt等相关错误指南
Apr 08 Python
Python调用jar包方法实现过程解析
Aug 11 Python
浅谈哪个Python库才最适合做数据可视化
总结Python变量的相关知识
详解非极大值抑制算法之Python实现
Python实现生活常识解答机器人
Python办公自动化之教你如何用Python将任意文件转为PDF格式
Python移位密码、仿射变换解密实例代码
Pytest中conftest.py的用法
You might like
关于手调机和数调机的选择
2021/03/02 无线电
十个PHP高级应用技巧果断收藏
2015/09/25 PHP
Yii框架表单模型和验证用法
2016/05/20 PHP
Yii2 加载css、js 载静态资源的方法
2017/03/10 PHP
Laravel中Facade的加载过程与原理详解
2017/09/22 PHP
给Function做的OOP扩展
2009/05/07 Javascript
利用onresize使得div可以随着屏幕大小而自适应的代码
2010/01/15 Javascript
javascript控制Div层透明属性由浅变深由深变浅逐渐显示
2013/11/12 Javascript
JQuery EasyUI学习教程之datagrid 添加、修改、删除操作
2016/07/09 Javascript
Angularjs 制作购物车功能实例代码
2016/09/14 Javascript
jQuery表单验证简单示例
2016/10/17 Javascript
JS/jQuery判断DOM节点是否存在的简单方法
2016/11/24 Javascript
基于JS实现的随机数字抽签实例
2016/12/08 Javascript
ES6 javascript中class类的get与set用法实例分析
2017/10/30 Javascript
详解如何用babel转换es6的class语法
2018/04/03 Javascript
js实现点击按钮复制文本功能
2020/07/20 Javascript
jQuery滚动条美化插件nicescroll简单用法示例
2018/04/18 jQuery
vue移动端实现下拉刷新
2018/04/22 Javascript
基于Vue 服务端Cookies删除的问题
2018/09/21 Javascript
微信小程序 wepy框架与iview-weapp的用法详解
2019/04/10 Javascript
react quill中图片上传由默认转成base64改成上传到服务器的方法
2019/10/30 Javascript
详解JavaScript 中的批处理和缓存
2020/11/19 Javascript
vue仿携程轮播图效果(滑动轮播,下方高度自适应)
2021/02/11 Vue.js
[06:50]DSPL次级职业联赛十强晋级之路
2014/11/18 DOTA
[47:06]DOTA2上海特级锦标赛主赛事日 - 4 败者组第五轮 MVP.Phx VS EG第一局
2016/03/05 DOTA
[47:03]完美世界DOTA2联赛PWL S3 access vs LBZS 第一场 12.20
2020/12/23 DOTA
在Python程序中进行文件读取和写入操作的教程
2015/04/28 Python
Python读取网页内容的方法
2015/07/30 Python
python自动点赞功能的实现思路
2020/02/26 Python
python实现xlwt xlrd 指定条件给excel行添加颜色
2020/07/14 Python
手把手教你从PyCharm安装到激活(最新激活码),亲测有效可激活至2089年
2020/11/25 Python
加拿大消费电子和手机购物网站:The Source
2017/01/28 全球购物
2014年大学生自我评价
2014/01/19 职场文书
信息与计算科学专业推荐信
2014/02/23 职场文书
什么是执行力?9个故事告诉您:成功绝非偶然!
2019/07/05 职场文书
MySQL为id选择合适的数据类型
2021/06/07 MySQL