使用python爬虫获取黄金价格的核心代码


Posted in Python onJune 13, 2018

继续练手,根据之前获取汽油价格的方式获取了金价,暂时没钱投资,看看而已

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
获取每天黄金价格
@author: yufei
@site: http://www.antuan.com
2017-05-11
"""
import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit
#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
  {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
  {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
  {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
  {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]
'''
create table GoldPricelist(
  [id]  integer PRIMARY KEY autoincrement,
  [name]  varchar default 0,
  [price]  varchar default 0,
  [time] datetime default (datetime('now', 'localtime'))
);
INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404);
'''
def sqliteinto(Pricelist):
  con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
  cur = con.cursor()
  print Pricelist
  sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
  cur.execute(sql,Pricelist)
  con.commit()
  cur.close()
  con.close()
def getPrice():
  url='http://www.dyhjw.com/matter_gold/'
  req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
  res = urllib2.urlopen(req)
  res = res.read()
  #获取的块
  re_set = re.compile(r'<dl class="main_bname">(.*?)</div>',re.S)
  re_get = re.findall(re_set,res)
  #获取价格详情
  p = re.compile('target="_blank">(.*?)<span class="zd">-</span>\n ',re.S)
  Pricelist = re.findall(p,re_get[0])
  for i in range(0,len(Pricelist)):
    p = re.compile('(.*?)</a>\n              <span class="jg">(.*)</span>',re.S)
    Price = re.findall(p,Pricelist[i])
    gname = Price[0][0]
    gprice = Price[0][1]
    timep = re.compile(r"(\d+)-(\d+)-.*")
    nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time()))
    datas = []
    datas.append(gname.decode('utf8'))
    datas.append(gprice)
    datas.append(nowtime)
    datas = tuple(datas)
    sqliteinto(datas)
if __name__=="__main__":
  getPrice()

最近的数据

使用python爬虫获取黄金价格的核心代码

总结

以上所述是小编给大家介绍的使用python爬虫获取黄金价格的核心代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python的Django REST框架中的序列化及请求和返回
Apr 11 Python
python实现中文转换url编码的方法
Jun 14 Python
Unicode和Python的中文处理
Mar 19 Python
Python中的TCP socket写法示例
May 11 Python
对python xlrd读取datetime类型数据的方法详解
Dec 26 Python
python实现狄克斯特拉算法
Jan 17 Python
python实现人机猜拳小游戏
Feb 03 Python
Python json模块与jsonpath模块区别详解
Mar 05 Python
Python requests模块安装及使用教程图解
Jun 30 Python
python 爬取小说并下载的示例
Dec 07 Python
python的dict判断key是否存在的方法
Dec 09 Python
Python竟然能剪辑视频
May 25 Python
Python实现爬虫从网络上下载文档的实例代码
Jun 13 #Python
Pycharm导入Python包,模块的图文教程
Jun 13 #Python
mac下pycharm设置python版本的图文教程
Jun 13 #Python
使用Python来开发微信功能
Jun 13 #Python
python爬取足球直播吧五大联赛积分榜
Jun 13 #Python
Python实现多条件筛选目标数据功能【测试可用】
Jun 13 #Python
mac 安装python网络请求包requests方法
Jun 13 #Python
You might like
PHP IF ELSE简化/三元一次式的使用
2011/08/22 PHP
PHP使用Mysql事务实例解析
2014/09/08 PHP
PHP token验证生成原理实例分析
2019/06/05 PHP
利用google提供的API(JavaScript接口)获取网站访问者IP地理位置的代码详解
2010/07/24 Javascript
基于JavaScript代码实现兼容各浏览器的设为首页和加入收藏
2016/01/07 Javascript
jQuery中通过ajax调用webservice传递数组参数的问题实例详解
2016/05/20 Javascript
深入理解逻辑表达式的用法 与或非的用法
2016/06/06 Javascript
有关suggest快速删除后仍然出现下拉列表的bug问题
2016/12/02 Javascript
JS Object.preventExtensions(),Object.seal()与Object.freeze()用法实例分析
2018/08/25 Javascript
五分钟搞懂Vuex实用知识(小结)
2019/08/12 Javascript
基于Element的组件改造的树形选择器(树形下拉框)
2020/02/27 Javascript
[01:10]DOTA2次级职业联赛 - EP战队宣传片
2014/12/01 DOTA
python 提取文件的小程序
2009/07/29 Python
Python批量修改文件后缀的方法
2014/01/26 Python
Python中用sleep()方法操作时间的教程
2015/05/22 Python
对Python 3.5拼接列表的新语法详解
2018/11/08 Python
Django csrf 两种方法设置form的实例
2019/02/03 Python
python面试题小结附答案实例代码
2019/04/11 Python
python自动化之Ansible的安装教程
2019/06/13 Python
浅谈Python 敏感词过滤的实现
2019/08/15 Python
为什么说Python可以实现所有的算法
2019/10/04 Python
Python 如何测试文件是否存在
2020/07/31 Python
Python使用grequests并发发送请求的示例
2020/11/05 Python
突破canvas语法限制 让他支持链式语法
2012/12/24 HTML / CSS
一道写SQL的面试题和答案
2013/11/19 面试题
成语的广告词
2014/03/19 职场文书
企业人事任命书
2014/06/05 职场文书
青奥会口号
2014/06/12 职场文书
会计学毕业生求职信
2014/06/25 职场文书
在职人员跳槽求职信
2015/03/20 职场文书
预防艾滋病宣传活动总结
2015/05/09 职场文书
汽车车尾标语大全
2015/08/11 职场文书
WordPress多语言翻译插件 - WPML使用教程
2021/04/01 PHP
Meta增速拉垮,元宇宙难当重任
2022/04/29 数码科技
CSS中使用grid布局实现一套模板多种布局
2022/07/15 HTML / CSS
app场景下uniapp的扫码记录
2022/07/23 Java/Android