使用python爬虫获取黄金价格的核心代码


Posted in Python onJune 13, 2018

继续练手,根据之前获取汽油价格的方式获取了金价,暂时没钱投资,看看而已

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
获取每天黄金价格
@author: yufei
@site: http://www.antuan.com
2017-05-11
"""
import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit
#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
  {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
  {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
  {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
  {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]
'''
create table GoldPricelist(
  [id]  integer PRIMARY KEY autoincrement,
  [name]  varchar default 0,
  [price]  varchar default 0,
  [time] datetime default (datetime('now', 'localtime'))
);
INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404);
'''
def sqliteinto(Pricelist):
  con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
  cur = con.cursor()
  print Pricelist
  sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
  cur.execute(sql,Pricelist)
  con.commit()
  cur.close()
  con.close()
def getPrice():
  url='http://www.dyhjw.com/matter_gold/'
  req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
  res = urllib2.urlopen(req)
  res = res.read()
  #获取的块
  re_set = re.compile(r'<dl class="main_bname">(.*?)</div>',re.S)
  re_get = re.findall(re_set,res)
  #获取价格详情
  p = re.compile('target="_blank">(.*?)<span class="zd">-</span>\n ',re.S)
  Pricelist = re.findall(p,re_get[0])
  for i in range(0,len(Pricelist)):
    p = re.compile('(.*?)</a>\n              <span class="jg">(.*)</span>',re.S)
    Price = re.findall(p,Pricelist[i])
    gname = Price[0][0]
    gprice = Price[0][1]
    timep = re.compile(r"(\d+)-(\d+)-.*")
    nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time()))
    datas = []
    datas.append(gname.decode('utf8'))
    datas.append(gprice)
    datas.append(nowtime)
    datas = tuple(datas)
    sqliteinto(datas)
if __name__=="__main__":
  getPrice()

最近的数据

使用python爬虫获取黄金价格的核心代码

总结

以上所述是小编给大家介绍的使用python爬虫获取黄金价格的核心代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python实现端口转发器的方法
Mar 13 Python
使用Python生成XML的方法实例
Mar 21 Python
Python中Scrapy爬虫图片处理详解
Nov 29 Python
Python+matplotlib+numpy实现在不同平面的二维条形图
Jan 02 Python
Python实现元素等待代码实例
Nov 11 Python
Python爬虫爬取煎蛋网图片代码实例
Dec 16 Python
python使用正则来处理各种匹配问题
Dec 22 Python
使用python接受tgam的脑波数据实例
Apr 09 Python
Python 通过监听端口实现唯一脚本运行方式
May 05 Python
Pytorch 使用CNN图像分类的实现
Jun 16 Python
Python列表元素删除和remove()方法详解
Jan 04 Python
python turtle绘图
May 04 Python
Python实现爬虫从网络上下载文档的实例代码
Jun 13 #Python
Pycharm导入Python包,模块的图文教程
Jun 13 #Python
mac下pycharm设置python版本的图文教程
Jun 13 #Python
使用Python来开发微信功能
Jun 13 #Python
python爬取足球直播吧五大联赛积分榜
Jun 13 #Python
Python实现多条件筛选目标数据功能【测试可用】
Jun 13 #Python
mac 安装python网络请求包requests方法
Jun 13 #Python
You might like
基于文本的搜索
2006/10/09 PHP
php access 数据连接与读取保存编辑数据的实现代码
2010/05/12 PHP
php环境套包 dedeampz 伪静态设置示例
2014/03/26 PHP
PHP中两个float(浮点数)比较实例分析
2015/09/27 PHP
PHP基于imagick扩展实现合成图片的两种方法【附imagick扩展下载】
2017/11/14 PHP
php中pcntl_fork创建子进程的方法实例
2019/03/14 PHP
laravel 修改.htaccess文件 重定向public的解决方法
2019/10/12 PHP
PHP页面静态化――纯静态与伪静态用法详解
2020/06/05 PHP
jquery ajax学习笔记2 使用XMLHttpRequest对象的responseXML
2011/10/16 Javascript
浅析js中取绝对值的2种方法
2013/07/09 Javascript
JS实现很酷的EMAIL地址添加功能实例
2015/02/28 Javascript
jquery密码强度校验
2015/12/02 Javascript
jQuery无刷新上传之uploadify简单代码
2017/01/17 Javascript
原生nodejs使用websocket代码分享
2018/04/07 NodeJs
react 应用多入口配置及实践总结
2018/10/17 Javascript
Vue.js组件间通信方式总结【推荐】
2018/11/23 Javascript
微信小程序 wepy框架与iview-weapp的用法详解
2019/04/10 Javascript
使用jQuery mobile NuGet让你的网站在移动设备上同样精彩
2019/06/18 jQuery
Angular value与ngValue区别详解
2019/11/27 Javascript
[00:15]天涯墨客终极技能展示
2018/08/25 DOTA
寻找网站后台地址的python脚本
2014/09/01 Python
Python中用Spark模块的使用教程
2015/04/13 Python
Python+django实现文件上传
2016/01/17 Python
Python制作Windows系统服务
2017/03/25 Python
使用Python对Csv文件操作实例代码
2017/05/12 Python
python实现媒体播放器功能
2018/02/11 Python
django使用LDAP验证的方法示例
2018/12/10 Python
python生成器与迭代器详解
2019/01/01 Python
django框架model orM使用字典作为参数,保存数据的方法分析
2019/06/24 Python
Docker部署Python爬虫项目的方法步骤
2020/01/19 Python
python3.5的包存放的具体路径
2020/08/16 Python
python如何实时获取tcpdump输出
2020/09/16 Python
科室工作的个人自我评价
2013/10/30 职场文书
2015年信息化建设工作总结
2015/07/23 职场文书
升学宴家长答谢词
2015/09/29 职场文书
廉政党课工作报告案例
2019/06/21 职场文书