python selenium爬取斗鱼所有直播房间信息过程详解


Posted in Python onAugust 09, 2019

还是分析一下大体的流程:

首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all

发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作

分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom" ,但是当烦到最后一页的时候,class="dy-Pagination-disabled dy-Pagination-next",所以我们要想利用selenium模拟点击这个按钮,我们应该利用

get_elements_by_xpath()这个函数,这样到最后一页就获取不到了,就可以终止程序了。而用elements的原因是当到最后一页的时候获取不到的话,element会报错

然后还是通用的套路:发送请求获取响应、提取数据和下一页的元素、保存数据、点击下一页的元素循环......

遇到的两个坑:

需要用time.sleep()函数强制等待页面加载完再获取元素,否则报错,睡几秒就看你的网速了

xpath定位的时候,网页上有的类如这样:class=" abc"或者class="abc " ,前面或后面有空格的,xpath处理的时候也必须有空格,否则获取不到

代码实现:

import time
from selenium import webdriver
class DouyuSpider(object):
  def __init__(self):
    self.start_rul = 'https://www.douyu.com/directory/all'
    self.driver = webdriver.Chrome()

  def get_content_list(self):
    time.sleep(10) # 强制等待10秒,否则可能报错
    li_list = self.driver.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li')
    content_list = []
    for li in li_list:
      item = {}
      item['room_img'] = li.find_element_by_xpath('.//img[@class="DyImg-content is-normal "]').get_attribute('src')
      item['room_title'] = li.find_element_by_xpath('.//h3[@class="DyListCover-intro"]').text
      item['root_category'] = li.find_element_by_xpath('.//span[@class="DyListCover-zone"]').text
      item['author_name'] = li.find_element_by_class_name('DyListCover-user').text
      item['watch_num'] = li.find_element_by_class_name('DyListCover-hot').text
      content_list.append(item)
      print(item) # 打印每次获取到的直播房间的信息
    # 获取下一页的元素,为了防止没有报错,这里用elements,翻到最后一页一定就没有了,返回一个列表
    next_url = self.driver.find_elements_by_xpath('//li[@class=" dy-Pagination-next"]')
    next_url = next_url[0] if len(next_url) > 0 else None
    return content_list, next_url
  def save_content_list(self, content_list):
    pass # 保存数据这里就不再做演示

  def run(self): # 实现主要逻辑
    # 1.start_url
    # 2.发送请求,获取响应
    self.driver.maximize_window()
    self.driver.get(self.start_rul)
    # 3.提取数据,提取下一页的元素
    content_list, next_url = self.get_content_list()
    # 4.保存数据
    self.save_content_list(content_list)
    # 4.点击下一页元素,循环
    while next_url is not None:
      next_url.click()
      content_list, next_url = self.get_content_list()
      self.save_content_list(content_list)
if __name__ == '__main__':
  douban = DouyuSpider()
  douban.run()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python下载图片实现方法(超简单)
Jul 21 Python
Python常见字符串操作函数小结【split()、join()、strip()】
Feb 02 Python
python  创建一个保留重复值的列表的补码
Oct 15 Python
python时间序列按频率生成日期的方法
May 14 Python
详解PyCharm+QTDesigner+PyUIC使用教程
Jun 13 Python
使用Python制作一个打字训练小工具
Oct 01 Python
python写一个随机点名软件的实例
Nov 28 Python
如何基于python实现脚本加密
Dec 28 Python
Django添加bootstrap框架时无法加载静态文件的解决方式
Mar 27 Python
Django-celery-beat动态添加周期性任务实现过程解析
Nov 26 Python
Python函数调用追踪实现代码
Nov 27 Python
Python基础详解之描述符
Apr 28 Python
用Python实现二叉树、二叉树非递归遍历及绘制的例子
Aug 09 #Python
基于python二叉树的构造和打印例子
Aug 09 #Python
Python re 模块findall() 函数返回值展现方式解析
Aug 09 #Python
Django ORM 自定义 char 类型字段解析
Aug 09 #Python
解决使用export_graphviz可视化树报错的问题
Aug 09 #Python
Django中自定义admin Xadmin的实现代码
Aug 09 #Python
python输出决策树图形的例子
Aug 09 #Python
You might like
php自定义urlencode,urldecode函数实例
2015/03/24 PHP
深入理解PHP的远程多会话调试
2017/09/21 PHP
解决PHP使用CURL发送GET请求时传递参数的问题
2019/10/11 PHP
jQuery效果 slideToggle() 方法(在隐藏和显示之间切换)
2011/06/28 Javascript
js实现每日自动换一张图片的方法
2015/05/04 Javascript
js获取微信版本号的方法
2015/05/12 Javascript
jQuery原型属性和原型方法详解
2015/07/07 Javascript
Javascript基础_标记文字的实现方法
2016/06/14 Javascript
AngularJS中关于ng-class指令的几种实现方式详解
2016/09/17 Javascript
Bootstrap基本插件学习笔记之Popover提示框(19)
2016/12/08 Javascript
利用JS实现页面删除并重新排序功能
2016/12/09 Javascript
Vue中组件之间数据的传递的示例代码
2017/09/08 Javascript
微信小程序实现红包功能(后端PHP实现逻辑)
2018/07/11 Javascript
layui的布局和表格的渲染以及动态生成表格的方法
2019/09/18 Javascript
layui 实现二级弹窗弹出之后 关闭一级弹窗的方法
2019/09/18 Javascript
JS深入学习之数组对象排序操作示例
2020/05/01 Javascript
JavaScript 防盗链的原理以及破解方法
2020/12/29 Javascript
Python Sqlite3以字典形式返回查询结果的实现方法
2016/10/03 Python
Python3实现带附件的定时发送邮件功能
2020/12/22 Python
在python中利用GDAL对tif文件进行读写的方法
2018/11/29 Python
Python设计模式之组合模式原理与用法实例分析
2019/01/11 Python
Python中使用遍历在列表中添加字典遇到的坑
2019/02/27 Python
Django项目中实现使用qq第三方登录功能
2019/08/13 Python
解决Python3.8用pip安装turtle-0.0.2出现错误问题
2020/02/11 Python
python入门之井字棋小游戏
2020/03/05 Python
深入研究HTML5实现图片压缩上传功能
2016/03/25 HTML / CSS
html5调用摄像头功能的实现代码
2018/05/07 HTML / CSS
Free People中国官网:波西米亚风格女装服饰
2016/08/30 全球购物
中国领先的汽车保养服务平台:途虎养车
2019/10/18 全球购物
工商企业管理应届生求职信
2013/11/03 职场文书
销售文员岗位职责
2013/11/29 职场文书
2015年优质护理服务工作总结
2015/04/08 职场文书
百万英镑观后感
2015/06/09 职场文书
山楂树之恋观后感
2015/06/11 职场文书
Python 实现定积分与二重定积分的操作
2021/05/26 Python
Keras多线程机制与flask多线程冲突的解决方案
2021/05/28 Python