Python多进程方式抓取基金网站内容的方法分析


Posted in Python onJune 03, 2019

本文实例讲述了Python多进程方式抓取基金网站内容的方法。分享给大家供大家参考,具体如下:

在前面这篇//3water.com/article/162418.htm我们已经简单了解了”python的多进程”,现在我们需要把抓取基金网站(28页)内容写成多进程的方式。

因为进程也不是越多越好,我们计划分3个进程执行。意思就是 :把总共要抓取的28页分成三部分。

怎么分呢?

# 初始range
r = range(1,29)
# 步长
step = 10
myList = [r[x:x+step] for x in range(0,len(r),step)]
print(myList) # [range(1, 11), range(11, 21), range(21, 29)]

看上面代码,我们就把1~29分成了三部分,list里三个range。

2、还记得我们抓取基金网站内容的getData()函数?

def getData(start, end):
  for x in range(start, end+1):
    # 去第几页 输入框
    tonum = driver.find_element_by_id("tonum")
    # 去第几页 提交按钮
    jumpBtn = driver.find_element_by_id("btn_jump")
    tonum.clear() # 第x页 输入框
    tonum.send_keys(str(x)) # 去第x页
    jumpBtn.click() # 点击按钮
    WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \
                    .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \
                    .get_attribute("class").find("at") != -1)
    # 保存抓取到的html内容
    # 保存到html目录下
    with open("./htmls/{0}.txt".format(x),"wb") as f:
      f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))
      f.close()

函数是有2个参数:一个开始页码,一个结束页码,也就是从第start页,到第end页。

这2个参数实际上也是range

改造getData()函数如下(参数不同了):

# 循环抓取网页内容的函数
def getData(myrange):
  for x in myrange:
    # 去第几页 输入框
    tonum = driver.find_element_by_id("tonum")
    # 去第几页 提交按钮
    jumpBtn = driver.find_element_by_id("btn_jump")
    tonum.clear() # 第x页 输入框
    tonum.send_keys(str(x)) # 去第x页
    jumpBtn.click() # 点击按钮
    WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \
                    .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \
                    .get_attribute("class").find("at") != -1)
    # 保存抓取到的html内容
    # 保存到html目录下
    with open("./htmls/{0}.txt".format(x),"wb") as f:
      f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))
      f.close()

3、创建进程,把target设置为上面的getData()

# 初始range
r = range(1,int(total_page)+1)
# 步长
step = 10
myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段
# 创建进程
processList = []
if __name__ == "__main__":
  for r in myList:
    p = Process(target=getData,args=(r,))
    processList.append(p)
  # 开始执行进程
  for p in processList:
    p.start()

这样就有三个进程分别抓取。

4、多进程抓取基金网站多页内容完全代码:

# coding: utf-8
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from multiprocessing import Process
driver = webdriver.PhantomJS(executable_path=r"你phantomjs的可执行文件路径")
# 请求一个网址
driver.get("http://fund.eastmoney.com/fund.html")
page_text = driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").text
total_page = ''.join(filter(str.isdigit,page_text)) # 得到总共有多少页
# 循环抓取网页内容的函数
def getData(myrange):
  for x in myrange:
    # 去第几页 输入框
    tonum = driver.find_element_by_id("tonum")
    # 去第几页 提交按钮
    jumpBtn = driver.find_element_by_id("btn_jump")
    tonum.clear() # 第x页 输入框
    tonum.send_keys(str(x)) # 去第x页
    jumpBtn.click() # 点击按钮
    WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \
                    .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \
                    .get_attribute("class").find("at") != -1)
    # 保存抓取到的html内容
    # 保存到html目录下
    with open("./htmls/{0}.txt".format(x),"wb") as f:
      f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))
      f.close()
# 初始range
r = range(1,int(total_page)+1)
# 步长
step = 10
myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段
# 创建进程
processList = []
if __name__ == "__main__":
  for r in myList:
    p = Process(target=getData,args=(r,))
    processList.append(p)
  # 开始执行进程
  for p in processList:
    p.start()

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Perl中著名的Schwartzian转换问题解决实现
Jun 02 Python
分享Python文本生成二维码实例
Jan 06 Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 Python
微信小程序python用户认证的实现
Jul 29 Python
Python远程开发环境部署与调试过程图解
Dec 09 Python
Python包,__init__.py功能与用法分析
Jan 07 Python
python except异常处理之后不退出,解决异常继续执行的实现
Apr 25 Python
Pygame框架实现飞机大战
Aug 07 Python
Django中ORM的基本使用教程
Dec 22 Python
Python爬虫+Tkinter制作一个翻译软件的示例
Feb 20 Python
python实现不同数据库间数据同步功能
Feb 25 Python
python 标准库原理与用法详解之os.path篇
Oct 24 Python
Python多进程入门、分布式进程数据共享实例详解
Jun 03 #Python
Python3实现定时任务的四种方式
Jun 03 #Python
500行Python代码打造刷脸考勤系统
Jun 03 #Python
Python学习笔记之pandas索引列、过滤、分组、求和功能示例
Jun 03 #Python
Python学习笔记之抓取某只基金历史净值数据实战案例
Jun 03 #Python
python自制包并用pip免提交到pypi仅安装到本机【推荐】
Jun 03 #Python
Python3 实现文件批量重命名示例代码
Jun 03 #Python
You might like
PHP 采集心得技巧
2009/05/15 PHP
PHP面相对象中的重载与重写
2017/02/13 PHP
laravel 5.4 + vue + vux + element的环境搭配过程介绍
2018/04/26 PHP
Javascript中eval函数的使用方法与示例
2007/04/09 Javascript
使用SyntaxHighlighter实现HTML高亮显示代码的方法
2010/02/04 Javascript
jquery的相对父元素和相对文档定位示例代码
2013/08/02 Javascript
JavaScript的21条基本知识点
2014/03/04 Javascript
基于jquery实现等比缩放图片
2014/12/03 Javascript
jQuery表单域属性过滤器用法分析
2015/02/10 Javascript
JavaScript模板引擎用法实例
2015/07/10 Javascript
jQuery树形插件jquery.simpleTree.js用法分析
2016/09/05 Javascript
Three.js实现绘制字体模型示例代码
2017/09/26 Javascript
基于jQuery中ajax的相关方法汇总(必看篇)
2017/11/08 jQuery
Vue.js分页组件实现:diVuePagination的使用详解
2018/01/10 Javascript
手动用webpack搭建第一个ReactApp的示例
2018/04/11 Javascript
浅析Vue实例以及生命周期
2018/08/14 Javascript
JS立即执行的匿名函数用法分析
2019/11/04 Javascript
node读写Excel操作实例分析
2019/11/06 Javascript
python3操作微信itchat实现发送图片
2018/02/24 Python
解决在pycharm运行代码,调用CMD窗口的命令运行显示乱码问题
2019/08/23 Python
python实现监控阿里云账户余额功能
2019/12/16 Python
Python 打印自己设计的字体的实例讲解
2021/01/04 Python
CSS3实现类似翻书效果的过渡动画的示例代码
2019/09/06 HTML / CSS
Jacadi Paris英国官网:法国童装品牌
2019/08/09 全球购物
青年文明号事迹材料
2014/01/18 职场文书
宗教学大学生职业生涯规划范文
2014/02/08 职场文书
党员岗位承诺口号大全
2014/03/28 职场文书
大学毕业寄语大全
2014/04/10 职场文书
实习推荐信
2014/05/10 职场文书
党员承诺书格式
2014/05/21 职场文书
企业管理标语
2014/06/10 职场文书
2014法制宣传日活动总结范文
2014/11/01 职场文书
2015年国庆节活动总结
2015/03/23 职场文书
十八大观后感
2015/06/12 职场文书
总结Java对象被序列化的两种方法
2021/06/30 Java/Android
Python中使用Opencv开发停车位计数器功能
2022/04/04 Python