Python访问MongoDB,并且转换成Dataframe的方法


Posted in Python onOctober 15, 2018

如下所示:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site : 
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition

import pymongo
import pandas as pd


def _connect_mongo(host, port, username, password, db):
 """ A util for making a connection to mongo. """
 if username and password:
  mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
  conn = pymongo.MongoClient(mongo_uri)
 else:
  conn = pymongo.MongoClient(host, port)

 return conn[db]


def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
 """ Read from Mongo and Store into DataFrame. """

 # Connect to MongoDB
 db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

 # Make a query to the specific DB and Collection
 cursor = db[collection].find(query).limit(10)

 # Expand the cursor and construct the DataFrame
 df = pd.DataFrame(list(cursor))
 df.to_csv("abc.csv", encoding="utf_8_sig") # 处理中文乱码问题

 if no_id:
  del df['_id']

 return df


read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")

小结:

1. 解决了pymongo访问MongoDB的问题

2. 解决了查询的数据转成dataframe的问题

3. 解决了dataframe写入到csv的问题

4. 解决了中文乱码问题。

以上这篇Python访问MongoDB,并且转换成Dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python网络编程学习笔记(四):域名系统
Jun 09 Python
Django中的Model操作表的实现
Jul 24 Python
如何通过50行Python代码获取公众号全部文章
Jul 12 Python
利用OpenCV和Python实现查找图片差异
Dec 19 Python
推荐8款常用的Python GUI图形界面开发框架
Feb 23 Python
JupyterNotebook 输出窗口的显示效果调整方法
Apr 13 Python
python判断字符串以什么结尾的实例方法
Sep 18 Python
python爬取招聘要求等信息实例
Nov 20 Python
Django中日期时间型字段进行年月日时分秒分组统计
Nov 27 Python
解决PyCharm无法使用lxml库的问题(图解)
Dec 22 Python
Python数据清洗工具之Numpy的基本操作
Apr 22 Python
Python道路车道线检测的实现
Jun 27 Python
Django框架的中的setting.py文件说明详解
Oct 15 #Python
python得到电脑的开机时间方法
Oct 15 #Python
python得到单词模式的示例
Oct 15 #Python
详解python如何在django中为用户模型添加自定义权限
Oct 15 #Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
Oct 14 #Python
Python 实现异步调用函数的示例讲解
Oct 14 #Python
python 异或加密字符串的实例
Oct 14 #Python
You might like
神族 PROTOSS 概述
2020/03/14 星际争霸
PHP随机生成信用卡卡号的方法
2015/03/23 PHP
PHP两个n位的二进制整数相加问题的解决
2018/08/26 PHP
浅谈PHP中的那些魔术常量
2020/12/02 PHP
javascript算法学习(直接插入排序)
2011/04/12 Javascript
JS前端框架关于重构的失败经验分享
2013/03/17 Javascript
jQuery div层的放大与缩小简单实现代码
2013/03/28 Javascript
用jquery模仿的a的title属性的例子
2014/10/22 Javascript
易被忽视的js事件问题总结
2016/05/14 Javascript
AngularJS ng-style中使用filter
2016/09/21 Javascript
JavaScript注入漏洞的原理及防范(详解)
2016/12/04 Javascript
bootstrap table之通用方法( 时间控件,导出,动态下拉框, 表单验证 ,选中与获取信息)代码分享
2017/01/24 Javascript
JavaScript实现前端实时搜索功能
2020/03/26 Javascript
AngularJS 霸道的过滤器小结
2017/04/26 Javascript
bootstrap的工具提示实例代码
2017/05/17 Javascript
nodejs 日志模块winston的使用方法
2018/05/02 NodeJs
Vue.js页面中有多个input搜索框如何实现防抖操作
2019/11/04 Javascript
Vue项目移动端滚动穿透问题的实现
2020/05/19 Javascript
python创建和使用字典实例详解
2013/11/01 Python
Python出现segfault错误解决方法
2016/04/16 Python
浅谈Python 对象内存占用
2016/07/15 Python
关于Python中Inf与Nan的判断问题详解
2017/02/08 Python
python socket 聊天室实例代码详解
2019/11/14 Python
python 二维矩阵转三维矩阵示例
2019/11/30 Python
Python读取文件内容为字符串的方法(多种方法详解)
2020/03/04 Python
Python中的With语句的使用及原理
2020/07/29 Python
python 多进程和协程配合使用写入数据
2020/10/30 Python
ONLY瑞典官网:世界知名服装品牌
2018/06/19 全球购物
巴西Bo.Bô官方在线商店:经营奢侈品时尚业务
2020/03/16 全球购物
节水倡议书范文
2014/04/15 职场文书
档案信息化建设方案
2014/05/16 职场文书
鼓舞士气的口号
2014/06/16 职场文书
销售目标责任书
2014/07/23 职场文书
python爬取豆瓣电影TOP250数据
2021/05/23 Python
pandas DataFrame.shift()函数的具体使用
2021/05/24 Python
漫画「处刑少女的生存之道」第3卷封面公开
2022/03/21 日漫