Python访问MongoDB,并且转换成Dataframe的方法


Posted in Python onOctober 15, 2018

如下所示:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site : 
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition

import pymongo
import pandas as pd


def _connect_mongo(host, port, username, password, db):
 """ A util for making a connection to mongo. """
 if username and password:
  mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
  conn = pymongo.MongoClient(mongo_uri)
 else:
  conn = pymongo.MongoClient(host, port)

 return conn[db]


def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
 """ Read from Mongo and Store into DataFrame. """

 # Connect to MongoDB
 db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

 # Make a query to the specific DB and Collection
 cursor = db[collection].find(query).limit(10)

 # Expand the cursor and construct the DataFrame
 df = pd.DataFrame(list(cursor))
 df.to_csv("abc.csv", encoding="utf_8_sig") # 处理中文乱码问题

 if no_id:
  del df['_id']

 return df


read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")

小结:

1. 解决了pymongo访问MongoDB的问题

2. 解决了查询的数据转成dataframe的问题

3. 解决了dataframe写入到csv的问题

4. 解决了中文乱码问题。

以上这篇Python访问MongoDB,并且转换成Dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python单链表的简单实现方法
Sep 23 Python
python中查看变量内存地址的方法
May 05 Python
python使用wxpython开发简单记事本的方法
May 20 Python
python 执行shell命令并将结果保存的实例
May 11 Python
将Dataframe数据转化为ndarry数据的方法
Jun 28 Python
Python进阶之@property动态属性的实现
Apr 01 Python
numpy.linalg.eig() 计算矩阵特征向量方式
Nov 29 Python
pytorch 自定义卷积核进行卷积操作方式
Dec 30 Python
python如何建立全零数组
Jul 19 Python
python使用布隆过滤器的实现示例
Aug 20 Python
python爬虫中抓取指数的实例讲解
Dec 01 Python
python高温预警数据获取实例
Jul 23 Python
Django框架的中的setting.py文件说明详解
Oct 15 #Python
python得到电脑的开机时间方法
Oct 15 #Python
python得到单词模式的示例
Oct 15 #Python
详解python如何在django中为用户模型添加自定义权限
Oct 15 #Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
Oct 14 #Python
Python 实现异步调用函数的示例讲解
Oct 14 #Python
python 异或加密字符串的实例
Oct 14 #Python
You might like
phpmyadmin中配置文件现在需要绝密的短语密码的解决方法
2007/02/11 PHP
PHP与SQL注入攻击[二]
2007/04/17 PHP
php5 non-thread-safe和thread-safe这两个版本的区别分析
2010/03/13 PHP
编译php 5.2.14+fpm+memcached(具体操作详解)
2013/06/18 PHP
PHP数据库操作之基于Mysqli的数据库操作类库
2014/04/19 PHP
ThinkPHP自定义Redis处理SESSION的实现方法
2016/05/16 PHP
浅析Laravel5中队列的配置及使用
2016/08/04 PHP
PHP实现链式操作的三种方法详解
2017/11/16 PHP
PHP实现的无限分类类库定义与用法示例【基于thinkPHP】
2018/08/06 PHP
Yii框架通过请求组件处理get,post请求的方法分析
2019/09/03 PHP
laravel 错误处理,接口错误返回json代码
2019/10/25 PHP
javascript日期计算实例分析
2015/06/29 Javascript
Bootstrap树形控件使用方法详解
2016/01/27 Javascript
AngularJS利用Controller完成URL跳转
2016/08/09 Javascript
JS实现的Unicode编码转换操作示例
2017/04/28 Javascript
Vue 中批量下载文件并打包的示例代码
2017/11/20 Javascript
vue使用axios时关于this的指向问题详解
2017/12/22 Javascript
Vue2实时监听表单变化的示例讲解
2018/08/30 Javascript
解决node-sass偶尔安装失败的方法小结
2018/12/05 Javascript
Vue.js计算机属性computed和methods方法详解
2019/10/12 Javascript
[03:05]《我与DAC》之xiao8:DAC与BG
2018/03/27 DOTA
[03:43]TI9战队采访——PSG.LGD
2019/08/22 DOTA
python编写简单爬虫资料汇总
2016/03/22 Python
python 读取excel文件生成sql文件实例详解
2017/05/12 Python
将pandas.dataframe的数据写入到文件中的方法
2018/12/07 Python
python实现简单加密解密机制
2019/03/19 Python
python利用openpyxl拆分多个工作表的工作簿的方法
2019/09/27 Python
flask 实现上传图片并缩放作为头像的例子
2020/01/09 Python
python实现替换word中的关键文字(使用通配符)
2020/02/13 Python
python+selenium+chromedriver实现爬虫示例代码
2020/04/10 Python
Django限制API访问频率常用方法解析
2020/10/12 Python
养生餐厅创业计划书范文
2014/03/26 职场文书
党组织公开承诺书
2014/03/29 职场文书
说谎欺骗人检讨书300字
2014/11/18 职场文书
深入理解python多线程编程
2021/04/18 Python
JavaWeb Servlet开发注册页面实例
2022/04/11 Java/Android