首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

python爬虫开发之selenium模块详细使用方法与实例全解

Posted in Python onMarch 09, 2020

python爬虫模块selenium简介

selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。

模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候

一、声明浏览器对象

注意点一，Python文件名或者包名不要命名为selenium，会导致无法导入

from selenium import webdriver
#webdriver可以认为是浏览器的驱动器，要驱动浏览器必须用到webdriver，支持多种浏览器，这里以Chrome为例
browser = webdriver.Chrome()

二、访问页面并获取网页html

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)#browser.page_source是获取网页的全部html
browser.close()

三、查找元素

单个元素

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://3water.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first,input_second,input_third)
browser.close()

常用的查找方法

find_element_by_name

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector

也可以使用通用的方法

from selenium import webdriver
from selenium.webdriver.common.by import By
browser = webdriver.Chrome()
browser.get('https://3water.com')
input_first = browser.find_element(BY.ID,'q')#第一个参数传入名称，第二个传入具体的参数
print(input_first)
browser.close()

多个元素，elements多个s

input_first = browser.find_elements_by_id(‘q')

四、元素交互操作-搜索框传入关键词进行自动搜索

from selenium import webdriver
import time
browser = webdriver.Chrome()
browser.get('https://3water.com')
input = browser.find_element_by_id('q')#找到搜索框
input.send_keys('iPhone')#传送入关键词
time.sleep(5)
input.clear()#清空搜索框
input.send_keys('男士内裤')
button = browser.find_element_by_class_name('btn-search')#找到搜索按钮
button.click()

更多操作

http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement#可以有属性、截图等等

五、交互动作，驱动浏览器进行动作，模拟拖拽动作，将动作附加到动作链中串行执行

from selenium import webdriver
from selenium.webdriver import ActionChains#引入动作链
browser = webdriver.Chrome()
url = '//3water.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')#切换到iframeResult框架
source = browser.find_element_by_css_selector('#draggable')#找到被拖拽对象
target = browser.find_element_by_css_selector('#droppable')#找到目标
actions = ActionChains(browser)#声明actions对象
actions.drag_and_drop(source, target)
actions.perform()#执行动作

更多操作

http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains

六、执行JavaScript

有些动作可能没有提供api，比如进度条下拉，这时，我们可以通过代码执行JavaScript

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://3water.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

七、获取元素信息

获取属性

from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = 'https://3water.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')#获取网站logo
print(logo)
print(logo.get_attribute('class'))
browser.close()

获取文本值

from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://3water.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)#input.text文本值
browser.close()

获取Id，位置，标签名，大小

from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://3water.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)#获取id
print(input.location)#获取位置
print(input.tag_name)#获取标签名
print(input.size)#获取大小
browser.close()

八、Frame操作

frame相当于独立的网页，如果在父类网frame查找子类的，则必须切换到子类的frame，子类如果查找父类也需要先切换

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
browser = webdriver.Chrome()
url = '//3water.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
print(source)
try:
  logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
  print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

九、等待

隐式等待

当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常,

换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是

from selenium import webdriver
browser = webdriver.Chrome()
browser.implicitly_wait(10)#等待十秒加载不出来就会抛出异常，10秒内加载出来正常返回
browser.get('https://3water.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

显式等待

指定一个等待条件，和一个最长等待时间，程序会判断在等待时间内条件是否满足，如果满足则返回，如果不满足会继续等待，超过时间就会抛出异常

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
browser.get('https://3water.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

title_is 标题是某内容

title_contains 标题包含某内容

presence_of_element_located 元素加载出，传入定位元组，如(By.ID, ‘p')

visibility_of_element_located 元素可见，传入定位元组

visibility_of 可见，传入元素对象

presence_of_all_elements_located 所有元素加载出

text_to_be_present_in_element 某个元素文本包含某文字

text_to_be_present_in_element_value 某个元素值包含某文字

frame_to_be_available_and_switch_to_it frame加载并切换

invisibility_of_element_located 元素不可见

element_to_be_clickable 元素可点击

staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新

element_to_be_selected 元素可选择，传元素对象

element_located_to_be_selected 元素可选择，传入定位元组

element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False

element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False

alert_is_present 是否出现Alert

详细内容

http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions

十一、前进后退-实现浏览器的前进后退以浏览不同的网页

import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://3water.com/')
browser.get('https://3water.com/')
browser.get('https://3water.com/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

十二、Cookies

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://3water.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': '3water.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

选项卡管理 增加浏览器窗口

import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://3water.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://3water.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('//3water.com')

十三、异常处理

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://3water.com')
browser.find_element_by_id('hello')
from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException
browser = webdriver.Chrome()
try:
  browser.get('https://3water.com')
except TimeoutException:
  print('Time Out')
try:
  browser.find_element_by_id('hello')
except NoSuchElementException:
  print('No Element')
finally:
  browser.close()

本文主要讲解了python爬虫模块selenium详细使用方法与实例全解，更多关于python爬虫模块的使用知识请查看下面的相关链接

python爬虫开发之selenium模块详细使用方法与实例全解

- Author -

jia666666

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python使用os模块的os.walk遍历文件夹示例
Jan 27 Python
python实现实时监控文件的方法
Aug 26 Python
python实现数独游戏 java简单实现数独游戏
Mar 30 Python
利用pandas将numpy数组导出生成excel的实例
Jun 14 Python
Python常见排序操作示例【字典、列表、指定元素等】
Aug 15 Python
python django下载大的csv文件实现方法分析
Jul 19 Python
用Python配平化学方程式的方法
Jul 20 Python
Django如何将URL映射到视图
Jul 29 Python
django中使用事务及接入支付宝支付功能
Sep 15 Python
opencv python Canny边缘提取实现过程解析
Feb 03 Python
python判断变量是否为列表的方法
Sep 17 Python
python为QT程序添加图标的方法详解
Mar 09 #Python
python爬虫开发之PyQuery模块详细使用方法与实例全解
Mar 09 #Python
详解pandas中iloc, loc和ix的区别和联系
Mar 09 #Python
pandas中ix的使用详细讲解
Mar 09 #Python
Python unittest 自动识别并执行测试用例方式
Mar 09 #Python
python爬虫开发之urllib模块详细使用方法与实例全解
Mar 09 #Python
在Python IDLE 下调用anaconda中的库教程
Mar 09 #Python
BCL3000(2) S700(1) Grundig(1) ICF-SW07(1) S500(1) SANGEAN(1) H-501(1) ATS-909X(1) PL990(2) S400(1)
You might like
php 缩略图实现函数代码
2011/06/23 PHP
php排序算法(冒泡排序,快速排序)
2012/10/09 PHP
php版淘宝网查询商品接口代码示例
2014/06/17 PHP
ThinkPHP 404页面的设置方法
2015/01/14 PHP
PHP输出九九乘法表代码实例
2015/03/27 PHP
[原创]php实现子字符串位置相互对调互换的方法
2016/06/02 PHP
php微信公众号开发模式详解
2016/11/28 PHP
php结合redis高并发下发帖、发微博的实现方法
2016/12/15 PHP
Laravel 自动生成验证的实例讲解:login / logout
2019/10/14 PHP
使用 PHP Masked Package 屏蔽敏感数据的实现方法
2019/10/15 PHP
Javascript常用运算符(Operators)-javascript基础教程
2007/12/14 Javascript
关于可运行代码无法正常执行的使用说明
2010/05/13 Javascript
AngularJS使用ng-Cloak阻止初始化闪烁问题的方法
2016/11/03 Javascript
jquery 多个radio的click事件实例
2016/12/03 Javascript
vue2实现可复用的轮播图carousel组件详解
2017/11/27 Javascript
在Vue中使用axios请求拦截的实现方法
2018/10/25 Javascript
vue实现div拖拽互换位置
2020/07/29 Javascript
微信小程序如何利用getCurrentPages进行页面传值
2019/07/01 Javascript
vue开发中遇到的问题总结
2020/04/07 Javascript
typescript配置alias的详细步骤
2020/08/12 Javascript
[50:04]DOTA2上海特级锦标赛D组小组赛#2 Liquid VS VP第二局
2016/02/28 DOTA
Python中Selenium模拟JQuery滑动解锁实例
2017/07/26 Python
python 通过麦克风录音 生成wav文件的方法
2019/01/09 Python
python实现二级登陆菜单及安装过程
2019/06/21 Python
python分数表示方式和写法
2019/06/26 Python
Win10系统下安装labelme及json文件批量转化方法
2019/07/30 Python
Python用来做Web开发的优势有哪些
2020/08/05 Python
浅析python 通⽤爬⾍和聚焦爬⾍
2020/09/28 Python
美国体育用品商店：Academy Sports + Outdoors
2020/01/04 全球购物
什么是serialVersionUID
2016/03/04 面试题
2014年乡镇民政工作总结
2014/12/02 职场文书
2015年后勤工作总结范文
2015/04/08 职场文书
《悲惨世界》：比天空更广阔的是人的心灵
2020/01/16 职场文书
Python爬虫框架之Scrapy中Spider的用法
2021/06/28 Python
JUnit5常用注解的使用
2021/07/02 Java/Android
Python使用BeautifulSoup4修改网页内容
2022/05/20 Python