使用python爬虫获取黄金价格的核心代码


Posted in Python onJune 13, 2018

继续练手,根据之前获取汽油价格的方式获取了金价,暂时没钱投资,看看而已

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
获取每天黄金价格
@author: yufei
@site: http://www.antuan.com
2017-05-11
"""
import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit
#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
  {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
  {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
  {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
  {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
  {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
  {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]
'''
create table GoldPricelist(
  [id]  integer PRIMARY KEY autoincrement,
  [name]  varchar default 0,
  [price]  varchar default 0,
  [time] datetime default (datetime('now', 'localtime'))
);
INSERT INTO OilPrice(id,name,price,time) VALUES(NULL,sss, 300, 20180404);
'''
def sqliteinto(Pricelist):
  con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
  cur = con.cursor()
  print Pricelist
  sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
  cur.execute(sql,Pricelist)
  con.commit()
  cur.close()
  con.close()
def getPrice():
  url='http://www.dyhjw.com/matter_gold/'
  req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
  res = urllib2.urlopen(req)
  res = res.read()
  #获取的块
  re_set = re.compile(r'<dl class="main_bname">(.*?)</div>',re.S)
  re_get = re.findall(re_set,res)
  #获取价格详情
  p = re.compile('target="_blank">(.*?)<span class="zd">-</span>\n ',re.S)
  Pricelist = re.findall(p,re_get[0])
  for i in range(0,len(Pricelist)):
    p = re.compile('(.*?)</a>\n              <span class="jg">(.*)</span>',re.S)
    Price = re.findall(p,Pricelist[i])
    gname = Price[0][0]
    gprice = Price[0][1]
    timep = re.compile(r"(\d+)-(\d+)-.*")
    nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time()))
    datas = []
    datas.append(gname.decode('utf8'))
    datas.append(gprice)
    datas.append(nowtime)
    datas = tuple(datas)
    sqliteinto(datas)
if __name__=="__main__":
  getPrice()

最近的数据

使用python爬虫获取黄金价格的核心代码

总结

以上所述是小编给大家介绍的使用python爬虫获取黄金价格的核心代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python实现多线程暴力破解登陆路由器功能代码分享
Jan 04 Python
在python的类中动态添加属性与生成对象
Sep 17 Python
Python排序算法实例代码
Aug 10 Python
Python日期的加减等操作的示例
Aug 15 Python
Python使用pip安装报错:is not a supported wheel on this platform的解决方法
Jan 23 Python
元组列表字典(莫烦python基础)
Apr 03 Python
python画图——实现在图上标注上具体数值的方法
Jul 08 Python
Selenium启动Chrome时配置选项详解
Mar 18 Python
Python map及filter函数使用方法解析
Aug 06 Python
浅谈anaconda python 版本对应关系
Oct 07 Python
基于python的matplotlib制作双Y轴图
Apr 20 Python
django如何自定义manage.py管理命令
Apr 27 Python
Python实现爬虫从网络上下载文档的实例代码
Jun 13 #Python
Pycharm导入Python包,模块的图文教程
Jun 13 #Python
mac下pycharm设置python版本的图文教程
Jun 13 #Python
使用Python来开发微信功能
Jun 13 #Python
python爬取足球直播吧五大联赛积分榜
Jun 13 #Python
Python实现多条件筛选目标数据功能【测试可用】
Jun 13 #Python
mac 安装python网络请求包requests方法
Jun 13 #Python
You might like
phpfans留言版用到的install.php
2007/01/04 PHP
php 中文字符入库或显示乱码问题的解决方法
2010/04/12 PHP
thinkPHP+PHPExcel实现读取文件日期的方法(含时分秒)
2016/07/07 PHP
php实现文件管理与基础功能操作
2017/03/21 PHP
使用PHPStorm+XDebug搭建单步调试环境
2017/11/19 PHP
TinyMCE 新增本地图片上传功能
2010/11/05 Javascript
在jQuery ajax中按钮button和submit的区别分析
2012/10/07 Javascript
鼠标滑在标题上显示图片的JS代码
2013/11/19 Javascript
javascript中的undefined和not defined区别示例介绍
2014/02/26 Javascript
window.onload追加函数使用示例
2014/03/03 Javascript
JS脚本根据手机浏览器类型跳转WAP手机网站(两种方式)
2015/08/04 Javascript
基于Bootstrap3表格插件和分页插件实例详解
2016/05/17 Javascript
轻松理解JavaScript之AJAX
2017/03/15 Javascript
for循环 + setTimeout 结合一些示例(前端面试题)
2017/08/30 Javascript
vue组件父与子通信详解(一)
2017/11/07 Javascript
Angular4学习笔记router的简单使用
2018/03/30 Javascript
基于mpvue搭建微信小程序项目框架的教程详解
2019/04/10 Javascript
在Vue中用canvas实现二维码和图片合成海报的方法
2019/06/10 Javascript
深入剖析JavaScript instanceof 运算符
2019/06/14 Javascript
前端天气插件tpwidget使用方法详解
2019/06/24 Javascript
基于Vue CSR的微前端实现方案实践
2020/05/27 Javascript
Django 2.0版本的新特性抢先看!
2018/01/05 Python
对Python生成汉字字库文字,以及转换为文字图片的实例详解
2019/01/29 Python
python程序运行进程、使用时间、剩余时间显示功能的实现代码
2019/07/11 Python
Python super()函数使用及多重继承
2020/05/06 Python
python 解决pycharm运行py文件只有unittest选项的问题
2020/09/01 Python
PyQt5多线程防卡死和多窗口用法的实现
2020/09/15 Python
python自动生成证件号的方法示例
2021/01/14 Python
美国顶级品牌男士大码服装店:DXL
2017/08/30 全球购物
GOLFINO英国官网:高尔夫服装
2020/04/11 全球购物
如何在Shell脚本中使用函数
2015/09/06 面试题
计算机专业毕业生求职信分享
2013/12/24 职场文书
2015年社区居委会工作总结
2015/05/18 职场文书
2016年十一促销广告语
2016/01/28 职场文书
2019新员工心得体会
2019/06/25 职场文书
基于Python实现nc批量转tif格式
2022/08/14 Python