使用python爬虫获取黄金价格的核心代码


Posted in Python onJune 13, 2018

继续练手,根据之前获取汽油价格的方式获取了金价,暂时没钱投资,看看而已

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
获取每天黄金价格
@author: yufei
@site: http://www.antuan.com
2017-05-11
"""
import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit
#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
  {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
  {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
  {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
  {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]
'''
create table GoldPricelist(
  [id]  integer PRIMARY KEY autoincrement,
  [name]  varchar default 0,
  [price]  varchar default 0,
  [time] datetime default (datetime('now', 'localtime'))
);
INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404);
'''
def sqliteinto(Pricelist):
  con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
  cur = con.cursor()
  print Pricelist
  sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
  cur.execute(sql,Pricelist)
  con.commit()
  cur.close()
  con.close()
def getPrice():
  url='http://www.dyhjw.com/matter_gold/'
  req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
  res = urllib2.urlopen(req)
  res = res.read()
  #获取的块
  re_set = re.compile(r'<dl class="main_bname">(.*?)</div>',re.S)
  re_get = re.findall(re_set,res)
  #获取价格详情
  p = re.compile('target="_blank">(.*?)<span class="zd">-</span>\n ',re.S)
  Pricelist = re.findall(p,re_get[0])
  for i in range(0,len(Pricelist)):
    p = re.compile('(.*?)</a>\n              <span class="jg">(.*)</span>',re.S)
    Price = re.findall(p,Pricelist[i])
    gname = Price[0][0]
    gprice = Price[0][1]
    timep = re.compile(r"(\d+)-(\d+)-.*")
    nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time()))
    datas = []
    datas.append(gname.decode('utf8'))
    datas.append(gprice)
    datas.append(nowtime)
    datas = tuple(datas)
    sqliteinto(datas)
if __name__=="__main__":
  getPrice()

最近的数据

使用python爬虫获取黄金价格的核心代码

总结

以上所述是小编给大家介绍的使用python爬虫获取黄金价格的核心代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python深入学习之装饰器
Aug 31 Python
python实现图像识别功能
Jan 29 Python
Python二叉树的遍历操作示例【前序遍历,中序遍历,后序遍历,层序遍历】
Dec 24 Python
Python实现查找最小的k个数示例【两种解法】
Jan 08 Python
12个步骤教你理解Python装饰器
Jul 01 Python
django与vue的完美结合_实现前后端的分离开发之后在整合的方法
Aug 12 Python
python求加权平均值的实例(附纯python写法)
Aug 22 Python
在Python中使用filter去除列表中值为假及空字符串的例子
Nov 18 Python
python代码如何实现余弦相似性计算
Feb 09 Python
详解python中GPU版本的opencv常用方法介绍
Jul 24 Python
Python requests接口测试实现代码
Sep 08 Python
2020版Python学习路线图(附学习资料)
Sep 15 Python
Python实现爬虫从网络上下载文档的实例代码
Jun 13 #Python
Pycharm导入Python包,模块的图文教程
Jun 13 #Python
mac下pycharm设置python版本的图文教程
Jun 13 #Python
使用Python来开发微信功能
Jun 13 #Python
python爬取足球直播吧五大联赛积分榜
Jun 13 #Python
Python实现多条件筛选目标数据功能【测试可用】
Jun 13 #Python
mac 安装python网络请求包requests方法
Jun 13 #Python
You might like
php 目录与文件处理-郑阿奇(续)
2011/07/04 PHP
php发送get、post请求的6种方法简明总结
2014/07/08 PHP
PHP数组去重的更快实现方式分析
2018/05/09 PHP
JS运行耗时操作的延时显示方法
2010/11/19 Javascript
精通Javascript系列之数据类型 字符串
2011/06/08 Javascript
读jQuery之九 一些瑕疵说明
2011/06/21 Javascript
JavaScript prototype属性深入介绍
2012/11/27 Javascript
Tab切换组件(选项卡功能)实例代码
2013/11/21 Javascript
Javascript学习笔记之相等符号与严格相等符号
2014/11/23 Javascript
inner join 内联与left join 左联的实例代码
2017/09/18 Javascript
JavaScript实现音乐自动切换和轮播
2017/11/05 Javascript
vue.js vue-router如何实现无效路由(404)的友好提示
2017/12/20 Javascript
jQuery实现的点击按钮改变样式功能示例
2018/07/21 jQuery
vue router的基本使用和配置教程
2018/11/05 Javascript
Angular刷新当前页面的实现方法
2018/11/21 Javascript
微信小程序使用for循环动态渲染页面操作示例
2018/12/25 Javascript
Vue之Mixins(混入)的使用方法
2019/09/24 Javascript
JavaScript如何判断input数据类型
2020/02/06 Javascript
vue开发中遇到的问题总结
2020/04/07 Javascript
在vue-cli3.0 中使用预处理器 (Sass/Less/Stylus) 配置全局变量操作
2020/08/10 Javascript
[07:43]《辉夜杯》公开赛晋级外卡赛战队—TRG训练生活探秘
2015/12/11 DOTA
Python编写生成验证码的脚本的教程
2015/05/04 Python
Python实现将文本生成二维码的方法示例
2017/07/18 Python
django 解决manage.py migrate无效的问题
2018/05/27 Python
linux环境中没有网络怎么下载python
2019/07/07 Python
Keras自定义IOU方式
2020/06/10 Python
CSS3实现伪类hover离开时平滑过渡效果示例
2017/08/10 HTML / CSS
优衣库澳大利亚官网:UNIQLO澳大利亚
2017/01/18 全球购物
Ruby如何定义一个类
2012/10/08 面试题
大学生职业规划前言模板
2013/12/27 职场文书
分厂厂长岗位职责
2013/12/29 职场文书
运动会表扬稿大全
2014/01/16 职场文书
社区工作者先进事迹
2014/01/18 职场文书
2014春晚主持词
2014/03/25 职场文书
大足石刻导游词
2015/02/02 职场文书
会计工作态度自我评价
2015/03/06 职场文书