python读取json文件并将数据插入到mongodb的方法


Posted in Python onMarch 23, 2015

本文实例讲述了python读取json文件并将数据插入到mongodb的方法。分享给大家供大家参考。具体实现方法如下:

#coding=utf-8
import sunburnt
import urllib
from pymongo import Connection
from bson.objectid import ObjectId
import logging
from datetime import datetime
import json
from time import mktime
from feedparser import _parse_date as parse_date
import time
import sys
import getopt
import ConfigParser
args = sys.argv[1:]
optlist, args = getopt.getopt(args, 'c:')
cmd_opt = {}
for opt in optlist:
  cmd_opt[opt[0]] = opt[1]
conf_file = cmd_opt['-c']
config = ConfigParser.ConfigParser()
config.read(conf_file)
hostname = config.get("mongodb", "hostname")
port_num = int(config.get("mongodb", "port_num"))
db_name = config.get("mongodb", "db")
connection = Connection(hostname, port_num)
db = connection[db_name]
courseTable = db.course
lecTable = db.lecture
try:
  f = file("json1-14/14.json")
  s = json.load(f)
  courseData = s["results"]["course"]
  lecDataArr = s["results"]["lecture"]
  f.close
  print "get file content successfully!"
  #insert course
  courseId = courseTable.save(courseData)
  courseId = str(courseId)
  print "courseId: "+courseId
  print "lec length: "+str(len(lecDataArr))
  #insert lecture
  lecIdArr = []
  for lecData in lecDataArr:
    lecData["course_id"] = courseId
    lecId = lecTable.save(lecData)
    lecIdArr.append(str(lecId))
  # update course
  courseTable.update({'_id':ObjectId(courseId)},
            {"$set":{"lectures.lecture_id_list":lecIdArr}},
            upsert=True, multi=True);
  print 'insert successfully!'
except Exception, e:
  print e

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python调用C# Com dll组件实战教程
Oct 12 Python
Python多层装饰器用法实例分析
Feb 09 Python
Python实用技巧之列表、字典、集合中根据条件筛选数据详解
Jul 11 Python
对django中render()与render_to_response()的区别详解
Oct 16 Python
nohup后台启动Python脚本,log不刷新的解决方法
Jan 14 Python
在Python文件中指定Python解释器的方法
Feb 18 Python
Python爬虫实现验证码登录代码实例
May 10 Python
Django获取该数据的上一条和下一条方法
Aug 12 Python
python3中pip3安装出错,找不到SSL的解决方式
Dec 12 Python
python__new__内置静态方法使用解析
Jan 07 Python
Python3监控疫情的完整代码
Feb 20 Python
PyTorch的torch.cat用法
Jun 28 Python
python调用机器喇叭发出蜂鸣声(Beep)的方法
Mar 23 #Python
python批量生成本地ip地址的方法
Mar 23 #Python
python通过字典dict判断指定键值是否存在的方法
Mar 21 #Python
python执行外部程序的常用方法小结
Mar 21 #Python
python使用Flask框架获取用户IP地址的方法
Mar 21 #Python
Python使用Flask框架获取当前查询参数的方法
Mar 21 #Python
Python使用Flask框架同时上传多个文件的方法
Mar 21 #Python
You might like
第一个无线电台是由谁发明的
2021/03/01 无线电
如何正确配置Nginx + PHP
2016/07/15 PHP
详解cookie验证的php应用的一种SSO解决办法
2017/10/20 PHP
ThinkPHP5框架缓存查询操作分析
2018/05/30 PHP
javascript面向对象编程代码
2011/12/19 Javascript
Jquery弹出窗口插件 LeanModal的使用方法
2012/03/10 Javascript
jQuery+css实现图片滚动效果(附源码)
2013/03/18 Javascript
浅谈Javascript 执行顺序
2013/12/18 Javascript
JS高级调试技巧:捕获和分析 JavaScript Error详解
2014/03/16 Javascript
JavaScript实现班级随机点名小应用需求的具体分析
2014/05/12 Javascript
Javascript通过overflow控制列表闭合与展开的方法
2015/05/15 Javascript
微信小程序 Windows2008 R2服务器配置TLS1.2方法
2016/12/05 Javascript
JavaScript实现瀑布流图片效果
2017/06/30 Javascript
angular json对象push到数组中的方法
2018/02/27 Javascript
Vue 项目代理设置的优化
2018/04/17 Javascript
JS实现瀑布流效果
2020/03/07 Javascript
js实现登录时记住密码的方法分析
2020/04/05 Javascript
Python中尝试多线程编程的一个简明例子
2015/04/07 Python
Python中使用partial改变方法默认参数实例
2015/04/28 Python
python 平衡二叉树实现代码示例
2018/07/07 Python
初探利用Python进行图文识别(OCR)
2019/02/26 Python
python实现tail实时查看服务器日志示例
2019/12/24 Python
python 实现Flask中返回图片流给前端展示
2020/01/09 Python
Pycharm修改python路径过程图解
2020/05/22 Python
如何用Matlab和Python读取Netcdf文件
2021/02/19 Python
TUMI新加坡官网:国际领先的商旅箱包品牌
2019/01/12 全球购物
一套Java笔试题
2016/08/20 面试题
大学生求职中的自我评价
2013/10/01 职场文书
最新大学毕业求职简历的自我评价
2013/10/18 职场文书
年终总结会议主持词
2014/03/17 职场文书
幼儿园教研活动总结
2014/04/30 职场文书
工商管理专业毕业生求职信
2014/05/26 职场文书
老公给老婆的检讨书(精华篇)
2014/10/18 职场文书
婚礼庆典答谢词
2015/01/20 职场文书
酒店宣传语大全
2015/07/13 职场文书
个人向公司借款协议书
2016/03/19 职场文书