使用python爬虫获取黄金价格的核心代码


Posted in Python onJune 13, 2018

继续练手,根据之前获取汽油价格的方式获取了金价,暂时没钱投资,看看而已

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
获取每天黄金价格
@author: yufei
@site: http://www.antuan.com
2017-05-11
"""
import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit
#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
  {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
  {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
  {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
  {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]
'''
create table GoldPricelist(
  [id]  integer PRIMARY KEY autoincrement,
  [name]  varchar default 0,
  [price]  varchar default 0,
  [time] datetime default (datetime('now', 'localtime'))
);
INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404);
'''
def sqliteinto(Pricelist):
  con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
  cur = con.cursor()
  print Pricelist
  sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
  cur.execute(sql,Pricelist)
  con.commit()
  cur.close()
  con.close()
def getPrice():
  url='http://www.dyhjw.com/matter_gold/'
  req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
  res = urllib2.urlopen(req)
  res = res.read()
  #获取的块
  re_set = re.compile(r'<dl class="main_bname">(.*?)</div>',re.S)
  re_get = re.findall(re_set,res)
  #获取价格详情
  p = re.compile('target="_blank">(.*?)<span class="zd">-</span>\n ',re.S)
  Pricelist = re.findall(p,re_get[0])
  for i in range(0,len(Pricelist)):
    p = re.compile('(.*?)</a>\n              <span class="jg">(.*)</span>',re.S)
    Price = re.findall(p,Pricelist[i])
    gname = Price[0][0]
    gprice = Price[0][1]
    timep = re.compile(r"(\d+)-(\d+)-.*")
    nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time()))
    datas = []
    datas.append(gname.decode('utf8'))
    datas.append(gprice)
    datas.append(nowtime)
    datas = tuple(datas)
    sqliteinto(datas)
if __name__=="__main__":
  getPrice()

最近的数据

使用python爬虫获取黄金价格的核心代码

总结

以上所述是小编给大家介绍的使用python爬虫获取黄金价格的核心代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python实现定时任务
Feb 08 Python
Python生成随机数组的方法小结
Apr 15 Python
python 编码规范整理
May 05 Python
Pandas 数据处理,数据清洗详解
Jul 10 Python
解决Python3中的中文字符编码的问题
Jul 18 Python
总结python中pass的作用
Feb 27 Python
opencv与numpy的图像基本操作
Mar 08 Python
Python Pandas 获取列匹配特定值的行的索引问题
Jul 01 Python
Python 实现Serial 与STM32J进行串口通讯
Dec 18 Python
python实现凯撒密码、凯撒加解密算法
Jun 11 Python
python判断all函数输出结果是否为true的方法
Dec 03 Python
python常见的占位符总结及用法
Jul 02 Python
Python实现爬虫从网络上下载文档的实例代码
Jun 13 #Python
Pycharm导入Python包,模块的图文教程
Jun 13 #Python
mac下pycharm设置python版本的图文教程
Jun 13 #Python
使用Python来开发微信功能
Jun 13 #Python
python爬取足球直播吧五大联赛积分榜
Jun 13 #Python
Python实现多条件筛选目标数据功能【测试可用】
Jun 13 #Python
mac 安装python网络请求包requests方法
Jun 13 #Python
You might like
国内咖啡文化
2021/03/03 咖啡文化
php 无法加载mysql的module的时候的配置的解决方案引发的思考
2012/01/27 PHP
php eval函数用法 PHP中eval()函数小技巧
2012/10/31 PHP
php采集文章中的图片获取替换到本地(实现代码)
2013/07/08 PHP
PHP的cURL库简介及使用示例
2015/02/06 PHP
Yii框架组件的事件机制原理与用法分析
2020/04/07 PHP
JavaScript使用prototype定义对象类型(转)[
2006/12/22 Javascript
js实现GridView单选效果自动设置交替行、选中行、鼠标移动行背景色
2010/05/27 Javascript
date.parse在IE和FF中的区别
2010/07/29 Javascript
Nodejs实战心得之eventproxy模块控制并发
2015/10/27 NodeJs
jQuery如何获取动态添加的元素
2016/06/24 Javascript
jQuery页面弹出框实现文件上传
2017/02/09 Javascript
详解Vue组件之作用域插槽
2018/11/22 Javascript
js使用文件流下载csv文件的实现方法
2019/07/15 Javascript
微信小程序手动添加收货地址省市区联动
2020/05/18 Javascript
jQuery-App输入框实现实时搜索
2020/11/19 jQuery
[02:32]DOTA2完美大师赛场馆静安体育中心观赛全攻略
2017/11/08 DOTA
[01:11:46]DOTA2-DPC中国联赛 正赛 iG vs Magma BO3 第一场 2月23日
2021/03/11 DOTA
pycharm 使用心得(四)显示行号
2014/06/05 Python
Python中格式化format()方法详解
2017/04/01 Python
Python 自动化表单提交实例代码
2017/06/08 Python
python爱心表白 每天都是浪漫七夕!
2018/08/18 Python
详解python 模拟豆瓣登录(豆瓣6.0)
2019/04/18 Python
Pytorch之保存读取模型实例
2019/12/30 Python
Python在centos7.6上安装python3.9的详细教程(默认python版本为2.7.5)
2020/10/15 Python
美国受欢迎的女性牛仔裤品牌:DL1961
2016/11/12 全球购物
TUMI新加坡官网:国际领先的商旅箱包品牌
2019/01/12 全球购物
LN-CC美国:伦敦时尚生活的缩影
2019/02/19 全球购物
C#面试问题
2016/07/29 面试题
什么是用户模式(User Mode)与内核模式(Kernel Mode) ?
2014/07/21 面试题
绿色城市实施方案
2014/03/19 职场文书
捐款感谢信
2015/01/20 职场文书
研究生给导师的自荐信
2015/03/06 职场文书
2015年派出所民警工作总结
2015/04/24 职场文书
2015年公司后勤管理工作总结
2015/05/13 职场文书
变长双向rnn的正确使用姿势教学
2021/05/31 Python