Python访问MongoDB,并且转换成Dataframe的方法


Posted in Python onOctober 15, 2018

如下所示:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site : 
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition

import pymongo
import pandas as pd


def _connect_mongo(host, port, username, password, db):
 """ A util for making a connection to mongo. """
 if username and password:
  mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
  conn = pymongo.MongoClient(mongo_uri)
 else:
  conn = pymongo.MongoClient(host, port)

 return conn[db]


def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
 """ Read from Mongo and Store into DataFrame. """

 # Connect to MongoDB
 db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

 # Make a query to the specific DB and Collection
 cursor = db[collection].find(query).limit(10)

 # Expand the cursor and construct the DataFrame
 df = pd.DataFrame(list(cursor))
 df.to_csv("abc.csv", encoding="utf_8_sig") # 处理中文乱码问题

 if no_id:
  del df['_id']

 return df


read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")

小结:

1. 解决了pymongo访问MongoDB的问题

2. 解决了查询的数据转成dataframe的问题

3. 解决了dataframe写入到csv的问题

4. 解决了中文乱码问题。

以上这篇Python访问MongoDB,并且转换成Dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
介绍Python的@property装饰器的用法
Apr 28 Python
Python从MP3文件获取id3的方法
Jun 15 Python
Python实现多线程HTTP下载器示例
Feb 11 Python
Python实现按学生年龄排序的实际问题详解
Aug 29 Python
Python利用matplotlib.pyplot绘图时如何设置坐标轴刻度
Apr 09 Python
网易2016研发工程师编程题 奖学金(python)
Jun 19 Python
解决TensorFlow GPU版出现OOM错误的问题
Feb 03 Python
部署Django到阿里云服务器教程示例
Jun 03 Python
python如何输出反斜杠
Jun 18 Python
如何清空python的变量
Jul 05 Python
python3中确保枚举值代码分析
Dec 02 Python
分享几种python 变量合并方法
Mar 20 Python
Django框架的中的setting.py文件说明详解
Oct 15 #Python
python得到电脑的开机时间方法
Oct 15 #Python
python得到单词模式的示例
Oct 15 #Python
详解python如何在django中为用户模型添加自定义权限
Oct 15 #Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
Oct 14 #Python
Python 实现异步调用函数的示例讲解
Oct 14 #Python
python 异或加密字符串的实例
Oct 14 #Python
You might like
Windows下的PHP安装pear教程
2014/10/24 PHP
PHP安装memcached扩展笔记
2015/05/28 PHP
PHP中函数gzuncompress无法使用的解决方法
2017/03/02 PHP
图片自动更新(说明)
2006/10/02 Javascript
jQuery .attr()和.removeAttr()方法操作元素属性示例
2013/07/16 Javascript
jquery数据验证插件(自制,简单,练手)实例代码
2013/10/24 Javascript
jquery实现无限分级横向导航菜单的方法
2015/03/12 Javascript
javascript字符串与数组转换汇总
2015/05/26 Javascript
基于dropdown.js实现的两款美观大气的二级导航菜单
2015/09/02 Javascript
JS代码实现table数据分页效果
2016/05/26 Javascript
JS/jQ实现免费获取手机验证码倒计时效果
2016/06/13 Javascript
vue实现登录后页面跳转到之前页面
2018/01/07 Javascript
npm scripts 使用指南详解
2018/10/08 Javascript
elementUI Tree 树形控件的官方使用文档
2019/04/25 Javascript
js实现无限层级树形数据结构(创新算法)
2020/02/27 Javascript
vue-router为激活的路由设置样式操作
2020/07/18 Javascript
Python实现Linux命令xxd -i功能
2016/03/06 Python
Python双精度浮点数运算并分行显示操作示例
2017/07/21 Python
Python实现句子翻译功能
2017/11/14 Python
python实现小程序推送页面收录脚本
2020/04/20 Python
spyder 在控制台(console)执行python文件,debug python程序方式
2020/04/20 Python
python爬虫爬取淘宝商品比价(附淘宝反爬虫机制解决小办法)
2020/12/03 Python
CSS3 滤镜 webkit-filter详细介绍及使用方法
2012/12/27 HTML / CSS
css3中单位px,em,rem,vh,vw,vmin,vmax的区别及浏览器支持情况
2016/12/06 HTML / CSS
最新远光软件笔试题面试题内容
2013/11/08 面试题
生物技术专业毕业生求职信范文
2013/12/14 职场文书
生日邀请函范文
2014/01/13 职场文书
网吧消防安全责任书
2014/07/29 职场文书
销售活动策划方案
2014/08/26 职场文书
处级干部反四风个人对照检查材料思想汇报
2014/09/27 职场文书
2015年公务员转正工作总结
2015/04/24 职场文书
《七月的天山》教学反思
2016/02/19 职场文书
高中物理教学反思
2016/02/19 职场文书
源码分析Redis中 set 和 sorted set 的使用方法
2022/03/22 Redis
Redis基本数据类型String常用操作命令
2022/06/01 Redis
前端传参数进行Mybatis调用mysql存储过程执行返回值详解
2022/08/14 MySQL