python+selenium实现自动化百度搜索关键词


Posted in Python onJune 03, 2019

通过python配合爬虫接口利用selenium实现自动化打开chrome浏览器,进行百度关键词搜索。

1、安装python3,访问官网选择对应的版本安装即可,最新版为3.7。

python+selenium实现自动化百度搜索关键词

2、安装selenium库。

使用 pip install selenium 安装即可。

同时需要安装chromedriver,并放在python安装文件夹下,如下图所示。

python+selenium实现自动化百度搜索关键词

3、获取爬虫接口链接。

注册账号,点击爬虫代理,领取每日试用。

python+selenium实现自动化百度搜索关键词

from selenium import webdriver 

import requests,time 

 #自建IP池 

def get_proxy():

  r = requests.get('http://127.0.0.1:5555/random')

  return r.text 

import random 

FILE = './tuziip.txt' 

# 读取的txt文件路径 

# 获取代理IP 

def proxy_ip():

  ip_list = []

  with open(FILE, 'r') as f:

    while True:

      line = f.readline()

      if not line:

        break

      ip_list.append(line.strip())

  ip_port = random.choice(ip_list)

  return ip_port 

def bd():

  chromeOptions = webdriver.ChromeOptions()

  # 设置代理  

chromeOptions.add_argument("--proxy-server=http://"+proxy_ip())  

# 一定要注意,=两边不能有空格,不能是这样--proxy-server = http://202.20.16.82:10152

  browser = webdriver.Chrome(chrome_options = chromeOptions)  

# 查看本机ip,查看代理是否起作用  

  browser.get("https://www.baidu.com/")  

  browser.find_element_by_id("kw").send_keys("ip")

  browser.find_element_by_id("su").click()

  time.sleep(2)

  browser.find_element_by_id("kw").clear()

  time.sleep(1)

  browser.find_element_by_id("kw").send_keys("百度")

  browser.find_element_by_id("su").click()

  time.sleep(2)

  browser.find_element_by_id("kw").clear()

  time.sleep(1)

  browser.find_element_by_id("kw").send_keys("百度")

  browser.find_element_by_id("su").click()

  time.sleep(2)

  browser.find_element_by_id("kw").clear()

  time.sleep(1)

  browser.close()  

# 退出,清除浏览器缓存

  browser.quit() 

if __name__ == "__main__":

  while True:

    bd()

5、运行程序,如下图所示,可自动化搜索。

python+selenium实现自动化百度搜索关键词

Python 相关文章推荐
python获取Linux下文件版本信息、公司名和产品名的方法
Oct 05 Python
Python实现登录接口的示例代码
Jul 21 Python
详解从Django Rest Framework响应中删除空字段
Jan 11 Python
Python实现统计英文文章词频的方法分析
Jan 28 Python
Python GUI编程 文本弹窗的实例
Jun 11 Python
pandas分区间,算频率的实例
Jul 04 Python
在python中用print()输出多个格式化参数的方法
Jul 16 Python
Python中用pyinstaller打包时的图标问题及解决方法
Feb 17 Python
解决python ThreadPoolExecutor 线程池中的异常捕获问题
Apr 08 Python
解决Keras自带数据集与预训练model下载太慢问题
Jun 12 Python
CentOS 7如何实现定时执行python脚本
Jun 24 Python
python解包用法详解
Feb 17 Python
用Q-learning算法实现自动走迷宫机器人的方法示例
Jun 03 #Python
Python多进程方式抓取基金网站内容的方法分析
Jun 03 #Python
Python多进程入门、分布式进程数据共享实例详解
Jun 03 #Python
Python3实现定时任务的四种方式
Jun 03 #Python
500行Python代码打造刷脸考勤系统
Jun 03 #Python
Python学习笔记之pandas索引列、过滤、分组、求和功能示例
Jun 03 #Python
Python学习笔记之抓取某只基金历史净值数据实战案例
Jun 03 #Python
You might like
js下函数般调用正则的方法附代码
2008/06/22 PHP
PHP保存session到memcache服务器的方法
2016/01/19 PHP
基于jQuery的固定表格头部的代码(IE6,7,8测试通过)
2010/05/18 Javascript
JavaScript中的apply和call函数详解
2014/07/20 Javascript
JavaScript中的公有、私有、特权和静态成员用法分析
2014/11/20 Javascript
对比分析AngularJS中的$http.post与jQuery.post的区别
2015/02/27 Javascript
jQuery插件开发精品教程(让你的jQuery更上一个台阶)
2015/11/07 Javascript
Angular发布1.5正式版,专注于向Angular 2的过渡
2016/02/18 Javascript
移动端基础事件总结与应用
2017/01/12 Javascript
layui导航栏实现代码
2017/05/19 Javascript
使用node.js搭建服务器
2017/05/20 Javascript
js实现日期显示的一些操作(实例讲解)
2017/07/27 Javascript
AngularJS实现表单元素值绑定操作示例
2017/10/11 Javascript
JavaScript碎片—函数闭包(模拟面向对象)
2019/03/13 Javascript
Webpack 4如何动态切割JS注入文件名详解
2019/07/09 Javascript
vscode 插件开发 + vue的操作方法
2020/06/05 Javascript
在vue中实现echarts随窗体变化
2020/07/27 Javascript
vue:el-input输入时限制输入的类型操作
2020/08/05 Javascript
[10:28]2018DOTA2国际邀请赛寻真——VGJ.S寻梦之路
2018/08/15 DOTA
[59:00]OG vs TNC 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
详细解读Python的web.py框架下的application.py模块
2015/05/02 Python
Python安装官方whl包和tar.gz包的方法(推荐)
2017/06/04 Python
python实现定时发送qq消息
2019/01/18 Python
Python_查看sqlite3表结构,查询语句的示例代码
2019/07/17 Python
python基于pdfminer库提取pdf文字代码实例
2019/08/15 Python
使用Python代码实现Linux中的ls遍历目录命令的实例代码
2019/09/07 Python
Windows下python3安装tkinter的问题及解决方法
2020/01/06 Python
Python实现仿射密码的思路详解
2020/04/23 Python
keras用auc做metrics以及早停实例
2020/07/02 Python
吃透移动端 Html5 响应式布局
2019/12/16 HTML / CSS
英国绿色商店:Natural Collection
2019/05/03 全球购物
公共场所标语
2014/06/30 职场文书
批评与自我批评总结
2014/10/17 职场文书
战友聚会致辞
2015/07/28 职场文书
pytorch常用数据类型所占字节数对照表一览
2021/05/17 Python
Pytest中skip skipif跳过用例详解
2021/06/30 Python