python读取json文件并将数据插入到mongodb的方法


Posted in Python onMarch 23, 2015

本文实例讲述了python读取json文件并将数据插入到mongodb的方法。分享给大家供大家参考。具体实现方法如下:

#coding=utf-8
import sunburnt
import urllib
from pymongo import Connection
from bson.objectid import ObjectId
import logging
from datetime import datetime
import json
from time import mktime
from feedparser import _parse_date as parse_date
import time
import sys
import getopt
import ConfigParser
args = sys.argv[1:]
optlist, args = getopt.getopt(args, 'c:')
cmd_opt = {}
for opt in optlist:
  cmd_opt[opt[0]] = opt[1]
conf_file = cmd_opt['-c']
config = ConfigParser.ConfigParser()
config.read(conf_file)
hostname = config.get("mongodb", "hostname")
port_num = int(config.get("mongodb", "port_num"))
db_name = config.get("mongodb", "db")
connection = Connection(hostname, port_num)
db = connection[db_name]
courseTable = db.course
lecTable = db.lecture
try:
  f = file("json1-14/14.json")
  s = json.load(f)
  courseData = s["results"]["course"]
  lecDataArr = s["results"]["lecture"]
  f.close
  print "get file content successfully!"
  #insert course
  courseId = courseTable.save(courseData)
  courseId = str(courseId)
  print "courseId: "+courseId
  print "lec length: "+str(len(lecDataArr))
  #insert lecture
  lecIdArr = []
  for lecData in lecDataArr:
    lecData["course_id"] = courseId
    lecId = lecTable.save(lecData)
    lecIdArr.append(str(lecId))
  # update course
  courseTable.update({'_id':ObjectId(courseId)},
            {"$set":{"lectures.lecture_id_list":lecIdArr}},
            upsert=True, multi=True);
  print 'insert successfully!'
except Exception, e:
  print e

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python内置的字符串处理函数整理
Jan 29 Python
python创建只读属性对象的方法(ReadOnlyObject)
Feb 10 Python
python实现倒计时的示例
Feb 14 Python
详解Python中open()函数指定文件打开方式的用法
Jun 04 Python
快速实现基于Python的微信聊天机器人示例代码
Mar 03 Python
python+ffmpeg批量去视频开头的方法
Jan 09 Python
弄懂这56个Python使用技巧(轻松掌握Python高效开发)
Sep 18 Python
python模块常用用法实例详解
Oct 17 Python
python实现图片转换成素描和漫画格式
Aug 19 Python
matplotlib设置颜色、标记、线条,让你的图像更加丰富(推荐)
Sep 25 Python
Python 实现二叉查找树的示例代码
Dec 21 Python
Python中的tkinter库简单案例详解
Jan 22 Python
python调用机器喇叭发出蜂鸣声(Beep)的方法
Mar 23 #Python
python批量生成本地ip地址的方法
Mar 23 #Python
python通过字典dict判断指定键值是否存在的方法
Mar 21 #Python
python执行外部程序的常用方法小结
Mar 21 #Python
python使用Flask框架获取用户IP地址的方法
Mar 21 #Python
Python使用Flask框架获取当前查询参数的方法
Mar 21 #Python
Python使用Flask框架同时上传多个文件的方法
Mar 21 #Python
You might like
10个可以简化php开发过程的MySQL工具
2010/04/11 PHP
javascript oop开发滑动(slide)菜单控件
2010/08/25 Javascript
jQuery学习笔记[1] jQuery中的DOM操作
2010/12/03 Javascript
window.open不被拦截的实现代码
2012/08/22 Javascript
jQuery实用基础超详细介绍
2013/04/11 Javascript
javascript强大的日期函数代码分享
2013/09/04 Javascript
js动态设置鼠标事件示例代码
2013/10/30 Javascript
Bootstrap的图片轮播示例代码
2015/08/31 Javascript
如何判断Javascript对象是否存在的简单实例
2016/05/18 Javascript
JS实现简单的右下角弹出提示窗口完整实例
2016/06/21 Javascript
js 获取当前web应用的上下文路径实现方法
2016/08/19 Javascript
js实现文字超出部分用省略号代替实例代码
2016/09/01 Javascript
深入解析js轮播插件核心代码的实现过程
2017/04/14 Javascript
让bootstrap的carousel支持滑动滚屏的实现代码
2017/11/27 Javascript
Angular6笔记之封装http的示例代码
2018/07/27 Javascript
浅谈Vue数据响应思路之数组
2018/11/06 Javascript
微信 jssdk 签名错误invalid signature的解决方法
2019/01/14 Javascript
微信小程序实现展示评分结果功能
2019/02/15 Javascript
vue+elementUI动态生成面包屑导航教程
2019/11/04 Javascript
JavaScript数值类型知识汇总
2019/11/17 Javascript
vue实现pdf文档在线预览功能
2019/11/26 Javascript
ES6箭头函数和扩展实例分析
2020/05/23 Javascript
全面解析Python的While循环语句的使用方法
2015/10/13 Python
树莓派动作捕捉抓拍存储图像脚本
2019/06/22 Python
结合OpenCV与TensorFlow进行人脸识别的实现
2019/10/10 Python
Python大数据之网络爬虫的post请求、get请求区别实例分析
2019/11/16 Python
Anaconda+Pycharm环境下的PyTorch配置方法
2020/03/13 Python
Selenium自动化测试工具使用方法汇总
2020/06/12 Python
详解python命令提示符窗口下如何运行python脚本
2020/09/11 Python
牧马人澳大利亚官网:Wrangler澳大利亚
2019/10/08 全球购物
实习心得体会
2014/01/02 职场文书
优秀驾驶员先进事迹材料
2014/05/04 职场文书
初中家长评语和期望
2014/12/26 职场文书
新郎父母婚礼致辞
2015/07/27 职场文书
2019个人工作态度自我评价
2019/04/24 职场文书
应届毕业生的自我评价
2019/06/21 职场文书