pymongo中聚合查询的使用方法


Posted in Python onMarch 22, 2019

前言

在使用mongo数据库时,简单的查询基本上可以满足大多数的业务场景,但是试想一下,如果要统计某一荐在指定的数据中出现了多少次该怎么查询呢?笨的方法是使用find 将数据查询出来,再使用count() 方法进行数据统计,这个场景还好,但是如果要求其中某个字段的和呢?是不是就非得遍历出相应的数据然后再进行求和运算呢?

在mysql中我们经常会用到count、group by 等查询,在mongodb中我们也可以使用聚合查询。

假设有这样的一组数据

pymongo中聚合查询的使用方法
价格

里面记录了每种水果的价格,现在我要统计一下,各种水果在这张表中出现的次数,如果不用聚合查询的话,思路应该是这样,先把表中所有的数据都取出来,然后初始化一个字典,然后再遍历每一行的数据,获取它的fName ,然后再更新字典中的计数,这种方法的时间复杂度是O(N)的,如果数据量很大的话不是很好,下面来看一下使用聚合是怎么查询的。

聚合查询使用的是aggregate函数,它的参数是 pipeline 管道,管道的概念是用于将当前命令的输出结果作为下一个命令的参数,管道是有顺序的,比如通过第一个管道操作以后没有符合的数据那么之后的管道操作也就不会有输入,所以一定得要注意管道操作的顺序。由于对于上述问题,我们要的是所的数据统计,所以这里就不需要$match了

from pymongo import MongoClient

client = MongoClient(host=['%s:%s'%(mongoDBhost,mongoDBport)])
G_mongo = client[mongoDBname]['FruitPrice']

pipeline = [
 {'$group': {'_id': "$fName", 'count': {'$sum': 1}}},
 ]
for i in G_mongo['test'].aggregate(pipeline):
 print i

数据大家可以自已构造,这里主要是看aggregate的用法。
得到的结果是

{u'count': 8, u'_id': u'banana'}
{u'count': 9, u'_id': u'pear'}
{u'count': 14, u'_id': u'apple'}

可以看到,一步操作就可以得到相应的统计了。

如果想要获取价格在50以上的各种统计呢?

这时有pipeline应该再$group 之前加上$match 操作

pipeline = [
 {'$match':{'price':{'$gte':50}}},
 {'$group': {'_id': "$fName", 'count': {'$sum': 1}}},
 ]

一定要注意顺序

$match里的条件其实就和使用find函数里是一样的。

下面重点来说说$group操作,group意为分组,指数据根据哪个字段进行分组,上面使用的{'$group': {'_id': "$fName", 'count': {'$sum': 1},_id为所要分的组,这里是以fName字段分的,后面的'count': {'$sum': 1},这里的$sum就是求和的意思,后面的值是1,也就是说每出现一次就加1,这样就能达到计数的目的了,如果要计算价格 price 的和,那么这里就应该写成这样

{'$group': {'_id': "$fName", 'count': {'$sum': '$price'}}}

注意这里的字段要有$ 的,如果我想要求价格的平均值呢?也就是先要求出价格的总数,再除以商品的个数,但是这里有一个$avg 操作

pipeline = [
 {'$match':{'price':{'$gte':50}}},
 {'$group': {'_id': "$fName", 'avg': {'$avg': '$price'}}},
 ]

得到的结果

{u'_id': u'banana', u'avg': 66.200000000000003}
{u'_id': u'pear', u'avg': 77.0}
{u'_id': u'apple', u'avg': 74.0}

类似于$ave的操作还有很多,比较常用的是$min(求最小值),$max(求最大值)

pipeline = [
 {'$match':{'price':{'$gte':50}}},
 {'$group': {'_id': "$fName",
  'count':{'$sum':1},
  'priceAll':{'$sum':'$price'},
  'avg': {'$avg': '$price'},
  'min': {'$min':'$price'},
  'max': {'$max':'$price'}
  }
 },
 ]
for i in G_mongo['test'].aggregate(pipeline):
 print i

所有支持的操作可以参考官方文档:group 支持的操作

以哪个字段进行分组时必须使用_id。

接下来看一下多键分组。

以上在使用group 进行分组查询的时候,用到的_id都是单一字段,比如我的数据库中有如下数据

pymongo中聚合查询的使用方法
带用户的数据

带有一个user 字段了,那如果我要根据user和fName进行分组该如何操作呢?
这里可以传一个字典进去

pipeline = [
 {'$match':{'price':{'$gte':50}}},
 {'$group': {'_id': {'fName':'$fName','user':'$user'},
  'count':{'$sum':1},
  'priceAll':{'$sum':'$price'},
  'avg': {'$avg': '$price'},
  'min': {'$min':'$price'},
  'max': {'$max':'$price'}
  }
 },
 ]
for i in G_mongo['test2'].aggregate(pipeline):
 print i

得到的结果如下:

{u'count': 1, u'avg': 93.0, u'min': 93, u'max': 93, u'_id': {u'user': u'fanjieying', u'fName': u'pear'}, u'priceAll': 93}
{u'count': 2, u'avg': 88.0, u'min': 87, u'max': 89, u'_id': {u'user': u'yangyanxing', u'fName': u'banana'}, u'priceAll': 176}
{u'count': 2, u'avg': 70.0, u'min': 69, u'max': 71, u'_id': {u'user': u'yangyanxing', u'fName': u'pear'}, u'priceAll': 140}
{u'count': 2, u'avg': 65.5, u'min': 58, u'max': 73, u'_id': {u'user': u'fanjieying', u'fName': u'banana'}, u'priceAll': 131}
{u'count': 3, u'avg': 92.333333333333329, u'min': 86, u'max': 97, u'_id': {u'user': u'fantuan', u'fName': u'banana'}, u'priceAll': 277}
{u'count': 2, u'avg': 78.5, u'min': 73, u'max': 84, u'_id': {u'user': u'yangyanxing', u'fName': u'apple'}, u'priceAll': 157}
{u'count': 3, u'avg': 56.666666666666664, u'min': 51, u'max': 60, u'_id': {u'user': u'fantuan', u'fName': u'pear'}, u'priceAll': 170}
{u'count': 2, u'avg': 81.5, u'min': 73, u'max': 90, u'_id': {u'user': u'fanjieying', u'fName': u'apple'}, u'priceAll': 163}
{u'count': 2, u'avg': 69.5, u'min': 53, u'max': 86, u'_id': {u'user': u'fantuan', u'fName': u'apple'}, u'priceAll': 139}

这里的结果显示出每个用户买了哪个商品,一共花了多少钱,最大最小平均值等都可以一次性的展示了,如果要是使用for循环自已遍历的话这种时间复杂度相当高。

这里只是简单的说了下$group和$match 的用法,聚合查询支持很多种操作(称为stages),可以通官方文档进行查看
pymongo 中pipeline中的stages

参考文章

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
基于Python代码编辑器的选用(详解)
Sep 13 Python
python实现m3u8格式转换为mp4视频格式
Feb 28 Python
记录Python脚本的运行日志的方法
Jun 05 Python
解决py2exe打包后,总是多显示一个DOS黑色窗口的问题
Jun 21 Python
Python二维码生成识别实例详解
Jul 16 Python
在Django下测试与调试REST API的方法详解
Aug 29 Python
python新手学习使用库
Jun 11 Python
Python爬取12306车次信息代码详解
Aug 12 Python
Python正则re模块使用步骤及原理解析
Aug 18 Python
浅析Python模块之间的相互引用问题
Feb 26 Python
理解python中装饰器的作用
Jul 21 Python
人工智能深度学习OpenAI baselines的使用方法
May 20 Python
OpenCV HSV颜色识别及HSV基本颜色分量范围
Mar 22 #Python
基于OpenCV python3实现证件照换背景的方法
Mar 22 #Python
详解Python给照片换底色(蓝底换红底)
Mar 22 #Python
详解python-图像处理(映射变换)
Mar 22 #Python
python中如何使用分步式进程计算详解
Mar 22 #Python
浅谈Python基础—判断和循环
Mar 22 #Python
浅谈python常用程序算法
Mar 22 #Python
You might like
利用PHPExcel读取Excel的数据和导出数据到Excel
2017/05/12 PHP
解决在laravel中leftjoin带条件查询没有返回右表为NULL的问题
2019/10/15 PHP
一个cssQuery对象 javascript脚本实现代码
2009/07/21 Javascript
手把手教你自己写一个js表单验证框架的方法
2010/09/14 Javascript
jQuery获取地址栏参数插件(模仿C#)
2010/10/26 Javascript
Jquery多选下拉列表插件jquery multiselect功能介绍及使用
2013/05/24 Javascript
Javascript设置对象的ReadOnly属性(示例代码)
2013/12/25 Javascript
JS根据年月获得当月天数的实现代码
2014/07/03 Javascript
AngularJS中如何使用$http对MongoLab数据表进行增删改查
2016/01/23 Javascript
AngularJS基础 ng-if 指令用法
2016/08/01 Javascript
使用JQ完成表格隔行换色的简单实例
2017/08/25 Javascript
vuejs选中当前样式active的实例
2018/08/22 Javascript
关于JavaScript中高阶函数的魅力详解
2018/09/07 Javascript
详解Vue CLI 3.0脚手架如何mock数据
2018/11/23 Javascript
Vue渲染过程浅析
2019/03/14 Javascript
Vue组件通信的几种实现方法
2019/04/25 Javascript
vue请求服务器数据后绑定不上的解决方法
2019/10/30 Javascript
JavaScript实现缓动动画
2020/11/25 Javascript
web.py 十分钟创建简易博客实现代码
2016/04/22 Python
python入门基础之用户输入与模块初认识
2016/11/14 Python
通过源码分析Python中的切片赋值
2017/05/08 Python
python使用super()出现错误解决办法
2017/08/14 Python
JavaScript实现一维数组转化为二维数组
2018/04/17 Python
Python基于xlrd模块操作Excel的方法示例
2018/06/21 Python
如何利用python制作时间戳转换工具详解
2018/09/12 Python
解决Shell执行python文件,传参空格引起的问题
2018/10/30 Python
Python os模块常用方法和属性总结
2020/02/20 Python
俄罗斯运动鞋商店:Sneakerhead
2018/05/10 全球购物
挂牌仪式主持词
2014/03/20 职场文书
毕业生就业协议书
2014/04/11 职场文书
药店促销活动策划方案
2014/08/24 职场文书
2015年学校关工委工作总结
2015/04/03 职场文书
职场新人知识:如何制定一份合理的工作计划?
2019/09/11 职场文书
python实现大文本文件分割成多个小文件
2021/04/20 Python
利用 SQL Server 过滤索引提高查询语句的性能分析
2021/07/15 SQL Server
SpringBoot详解执行过程
2022/07/15 Java/Android