Python访问MongoDB,并且转换成Dataframe的方法


Posted in Python onOctober 15, 2018

如下所示:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site : 
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition

import pymongo
import pandas as pd


def _connect_mongo(host, port, username, password, db):
 """ A util for making a connection to mongo. """
 if username and password:
  mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
  conn = pymongo.MongoClient(mongo_uri)
 else:
  conn = pymongo.MongoClient(host, port)

 return conn[db]


def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
 """ Read from Mongo and Store into DataFrame. """

 # Connect to MongoDB
 db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

 # Make a query to the specific DB and Collection
 cursor = db[collection].find(query).limit(10)

 # Expand the cursor and construct the DataFrame
 df = pd.DataFrame(list(cursor))
 df.to_csv("abc.csv", encoding="utf_8_sig") # 处理中文乱码问题

 if no_id:
  del df['_id']

 return df


read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")

小结:

1. 解决了pymongo访问MongoDB的问题

2. 解决了查询的数据转成dataframe的问题

3. 解决了dataframe写入到csv的问题

4. 解决了中文乱码问题。

以上这篇Python访问MongoDB,并且转换成Dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
pycharm 使用心得(四)显示行号
Jun 05 Python
在Django的session中使用User对象的方法
Jul 23 Python
Python实现字符串格式化的方法小结
Feb 20 Python
对python中的pop函数和append函数详解
May 04 Python
解决pycharm工程启动卡住没反应的问题
Jan 19 Python
Python socket实现多对多全双工通信的方法
Feb 13 Python
python代理工具mitmproxy使用指南
Jul 04 Python
Python的matplotlib绘图如何修改背景颜色的实现
Jul 16 Python
使用Filter过滤python中的日志输出的实现方法
Jul 17 Python
Python-接口开发入门解析
Aug 01 Python
使用Python封装excel操作指南
Jan 29 Python
Python使用OpenCV实现虚拟缩放效果
Feb 28 Python
Django框架的中的setting.py文件说明详解
Oct 15 #Python
python得到电脑的开机时间方法
Oct 15 #Python
python得到单词模式的示例
Oct 15 #Python
详解python如何在django中为用户模型添加自定义权限
Oct 15 #Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
Oct 14 #Python
Python 实现异步调用函数的示例讲解
Oct 14 #Python
python 异或加密字符串的实例
Oct 14 #Python
You might like
Zerg剧情介绍
2020/03/14 星际争霸
php 获取mysql数据库信息代码
2009/03/12 PHP
thinkphp的c方法使用示例
2014/02/24 PHP
phpnow php探针环境检测代码
2014/11/04 PHP
PHP实现扎金花游戏之大小比赛的方法
2015/03/10 PHP
PHP数学运算函数大汇总(经典值得收藏)
2016/04/01 PHP
用JavaScript脚本实现Web页面信息交互
2006/12/21 Javascript
JavaScript获取和设置CheckBox状态的简单方法
2013/07/05 Javascript
Jquery选中或取消radio示例
2013/09/29 Javascript
JavaScript函数的4种调用方法详解
2014/04/22 Javascript
深入理解MVC中的时间js格式化
2016/05/19 Javascript
BootStrap tab选项卡使用小结
2020/08/09 Javascript
JS实现仿PS的调色板效果完整实例
2016/12/21 Javascript
nodejs获取微信小程序带参数二维码实现代码
2017/04/12 NodeJs
webpack 2的react开发配置实例代码
2017/07/28 Javascript
p5.js入门教程和基本形状绘制
2018/03/15 Javascript
Vue实现根据hash高亮选项卡
2019/05/27 Javascript
《javascript设计模式》学习笔记七:Javascript面向对象程序设计组合模式详解
2020/04/08 Javascript
vue-以文件流-blob-的形式-下载-导出文件操作
2020/08/07 Javascript
vue设置默认首页的操作
2020/08/12 Javascript
[01:34]传奇从这开始 2016国际邀请赛中国区预选赛震撼开启
2016/06/26 DOTA
python实现将文本转换成语音的方法
2015/05/28 Python
python 实现红包随机生成算法的简单实例
2017/01/04 Python
python如何压缩新文件到已有ZIP文件
2018/03/14 Python
python顺序的读取文件夹下名称有序的文件方法
2018/07/11 Python
pytorch 数据集图片显示方法
2018/07/26 Python
python的pytest框架之命令行参数详解(上)
2019/06/27 Python
python pandas时序处理相关功能详解
2019/07/03 Python
优质的学校老师推荐信
2013/10/28 职场文书
护士个人自我鉴定
2014/03/24 职场文书
公司节能减排倡议书
2014/05/14 职场文书
个性婚礼策划方案
2014/05/17 职场文书
婚内分居协议书范文
2014/11/26 职场文书
2016入党培训心得体会范文
2016/01/08 职场文书
总结Python变量的相关知识
2021/06/28 Python
浅谈MySql update会锁定哪些范围的数据
2022/06/25 MySQL