python+selenium实现自动化百度搜索关键词


Posted in Python onJune 03, 2019

通过python配合爬虫接口利用selenium实现自动化打开chrome浏览器,进行百度关键词搜索。

1、安装python3,访问官网选择对应的版本安装即可,最新版为3.7。

python+selenium实现自动化百度搜索关键词

2、安装selenium库。

使用 pip install selenium 安装即可。

同时需要安装chromedriver,并放在python安装文件夹下,如下图所示。

python+selenium实现自动化百度搜索关键词

3、获取爬虫接口链接。

注册账号,点击爬虫代理,领取每日试用。

python+selenium实现自动化百度搜索关键词

from selenium import webdriver 

import requests,time 

 #自建IP池 

def get_proxy():

  r = requests.get('http://127.0.0.1:5555/random')

  return r.text 

import random 

FILE = './tuziip.txt' 

# 读取的txt文件路径 

# 获取代理IP 

def proxy_ip():

  ip_list = []

  with open(FILE, 'r') as f:

    while True:

      line = f.readline()

      if not line:

        break

      ip_list.append(line.strip())

  ip_port = random.choice(ip_list)

  return ip_port 

def bd():

  chromeOptions = webdriver.ChromeOptions()

  # 设置代理  

chromeOptions.add_argument("--proxy-server=http://"+proxy_ip())  

# 一定要注意,=两边不能有空格,不能是这样--proxy-server = http://202.20.16.82:10152

  browser = webdriver.Chrome(chrome_options = chromeOptions)  

# 查看本机ip,查看代理是否起作用  

  browser.get("https://www.baidu.com/")  

  browser.find_element_by_id("kw").send_keys("ip")

  browser.find_element_by_id("su").click()

  time.sleep(2)

  browser.find_element_by_id("kw").clear()

  time.sleep(1)

  browser.find_element_by_id("kw").send_keys("百度")

  browser.find_element_by_id("su").click()

  time.sleep(2)

  browser.find_element_by_id("kw").clear()

  time.sleep(1)

  browser.find_element_by_id("kw").send_keys("百度")

  browser.find_element_by_id("su").click()

  time.sleep(2)

  browser.find_element_by_id("kw").clear()

  time.sleep(1)

  browser.close()  

# 退出,清除浏览器缓存

  browser.quit() 

if __name__ == "__main__":

  while True:

    bd()

5、运行程序,如下图所示,可自动化搜索。

python+selenium实现自动化百度搜索关键词

Python 相关文章推荐
利用Python和OpenCV库将URL转换为OpenCV格式的方法
Mar 27 Python
Python 中urls.py:URL dispatcher(路由配置文件)详解
Mar 24 Python
Python 安装setuptools和pip工具操作方法(必看)
May 22 Python
python实现批量修改文件名代码
Sep 10 Python
浅谈python迭代器
Nov 08 Python
python批量图片处理简单示例
Aug 06 Python
Python3进制之间的转换代码实例
Aug 24 Python
python实现代码统计程序
Sep 19 Python
创建Shapefile文件并写入数据的例子
Nov 26 Python
jupyter notebook读取/导出文件/图片实例
Apr 16 Python
python中pandas库中DataFrame对行和列的操作使用方法示例
Jun 14 Python
利于python脚本编写可视化nmap和masscan的方法
Dec 29 Python
用Q-learning算法实现自动走迷宫机器人的方法示例
Jun 03 #Python
Python多进程方式抓取基金网站内容的方法分析
Jun 03 #Python
Python多进程入门、分布式进程数据共享实例详解
Jun 03 #Python
Python3实现定时任务的四种方式
Jun 03 #Python
500行Python代码打造刷脸考勤系统
Jun 03 #Python
Python学习笔记之pandas索引列、过滤、分组、求和功能示例
Jun 03 #Python
Python学习笔记之抓取某只基金历史净值数据实战案例
Jun 03 #Python
You might like
PHP生成短网址的3种方法代码实例
2014/07/08 PHP
PHP防盗链的基本思想 防盗链的设置方法
2015/09/25 PHP
php常用图片处理类
2016/03/16 PHP
PHP Smarty模版简单使用方法
2016/03/30 PHP
浅谈PHP的exec()函数无返回值排查方法(必看)
2017/03/31 PHP
javascript 一个自定义长度的文本自动换行的函数
2007/08/19 Javascript
js简单实现让文本框内容逐个字的显示出来
2013/10/22 Javascript
JavaScript中变量声明有var和没var的区别示例介绍
2014/09/15 Javascript
根据配置文件加载js依赖模块
2014/12/29 Javascript
javascript实现当前页导航激活的方法
2015/02/27 Javascript
教你如何使用firebug调试功能了解javascript闭包和this
2015/03/04 Javascript
JavaScript DOM基础
2015/04/13 Javascript
javascript中的作用域和闭包详解
2016/01/13 Javascript
AngularGauge 属性解析详解
2016/09/06 Javascript
AngularJS中update两次出现$promise属性无法识别的解决方法
2017/01/05 Javascript
js实现自定义路由
2017/02/04 Javascript
详解jQuery中的isPlainObject()使用方法
2018/02/27 jQuery
vue 的点击事件获取当前点击的元素方法
2018/09/15 Javascript
Vuejs+vue-router打包+Nginx配置的实例
2018/09/20 Javascript
浅谈JavaScript中你可能不知道URL构造函数的属性
2020/07/13 Javascript
Python抓取框架 Scrapy的架构
2016/08/12 Python
python多进程控制学习小结
2018/10/31 Python
python处理DICOM并计算三维模型体积
2019/02/26 Python
分析运行中的 Python 进程详细解析
2019/06/22 Python
安装python依赖包psycopg2来调用postgresql的操作
2021/01/01 Python
世界上最大的专业美容用品零售商:Sally Beauty
2017/07/02 全球购物
多媒体编辑专业毕业生推荐信
2013/11/05 职场文书
你懂得怎么写自荐信吗?
2013/12/27 职场文书
青年创业培训欢迎词
2014/01/10 职场文书
个人求职自荐信范文
2014/06/20 职场文书
民主生活会对照检查材料
2014/09/22 职场文书
思想作风建设心得体会
2014/10/22 职场文书
保送生自荐信范文
2015/03/26 职场文书
2015年消防工作总结
2015/04/24 职场文书
早安问候语大全
2015/11/10 职场文书
详解JavaScript中Arguments对象用途
2021/08/30 Javascript