Python爬虫之UserAgent的使用实例


Posted in Python onFebruary 21, 2019

问题: 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用, 最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent, 在这里记录一下, 留给自己爬虫使用。

安装 pip install fake-useragent

使用案例

基本使用

from fake_useragent import UserAgent
ua = UserAgent()
ua.ie
# Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US);
ua.msie
# Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)'
ua['Internet Explorer']
# Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US)
ua.opera
# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
ua.chrome
# Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2'
ua.google
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13
ua['google chrome']
# Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11
ua.firefox
# Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1
ua.ff
# Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1
ua.safari
# Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25
# and the best one, random via real world browser usage statistic
ua.random

注意:

fake-useragent 将收集到的数据缓存到temp文件夹, 例如 /tmp, 更新数据:

from fake_useragent import UserAgent
ua = UserAgent()
ua.update()

有时候会因为网络或者其他问题,出现异常(fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached), 可以禁用服务器缓存(从这里踩了一个坑, 没仔细看文档的锅):

from fake_useragent import UserAgent
ua = UserAgent(use_cache_server=False)

可以自己添加本地数据文件(v0.1.4+)

import fake_useragent
# I am STRONGLY!!! recommend to use version suffix
location = '/home/user/fake_useragent%s.json' % fake_useragent.VERSION
ua = fake_useragent.UserAgent(path=location)
ua.random

其他功能用到的也不是很多,详细见文档吧。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python绘图库Matplotlib的安装
Jul 03 Python
Python自动连接ssh的方法
Mar 07 Python
深入探究Python中变量的拷贝和作用域问题
May 05 Python
详解Django中的ifequal和ifnotequal标签使用
Jul 16 Python
Django如何防止定时任务并发浅析
May 14 Python
在pyqt5中QLineEdit里面的内容回车发送的实例
Jun 21 Python
Django 解决开发自定义抛出异常的问题
May 21 Python
PyTorch之nn.ReLU与F.ReLU的区别介绍
Jun 27 Python
虚拟机下载python是否需要联网
Jul 27 Python
Python ellipsis 的用法详解
Nov 20 Python
ROS系统将python包编译为可执行文件的简单步骤
Jul 25 Python
使用Python+OpenCV进行卡类型及16位卡号数字的OCR功能
Aug 30 Python
利用python实现在微信群刷屏的方法
Feb 21 #Python
Python实现微信自动好友验证,自动回复,发送群聊链接方法
Feb 21 #Python
使用python itchat包爬取微信好友头像形成矩形头像集的方法
Feb 21 #Python
对python借助百度云API对评论进行观点抽取的方法详解
Feb 21 #Python
用python实现刷点击率的示例代码
Feb 21 #Python
Python快速转换numpy数组中Nan和Inf的方法实例说明
Feb 21 #Python
python根据文章标题内容自动生成摘要的实例
Feb 21 #Python
You might like
php导出中文内容excel文件类实例
2015/07/06 PHP
如何使用php实现评委评分器
2015/07/31 PHP
PHP基于Closure类创建匿名函数的方法详解
2017/08/17 PHP
css图片自适应大小
2007/11/28 Javascript
jQuery实现原理的模拟代码 -6 代码下载
2010/08/16 Javascript
在JavaScript中操作时间之getMonth()方法的使用
2015/06/10 Javascript
Vue.js常用指令的使用小结
2017/06/23 Javascript
Bootstrap Table快速完美搭建后台管理系统
2017/09/20 Javascript
使用electron实现百度网盘悬浮窗口功能的示例代码
2018/10/24 Javascript
JS JQuery获取data-*属性值方法解析
2020/09/01 jQuery
[03:03]DOTA2校园争霸赛 济南城市决赛欢乐发奖活动
2013/10/21 DOTA
[02:42]DOTA2英雄基础教程 杰奇洛
2013/12/23 DOTA
[10:49]2014国际邀请赛 叨叨刀塔第二期为真正的电竞喝彩
2014/07/21 DOTA
[01:10]DOTA2次级职业联赛 - U5战队宣传片
2014/12/01 DOTA
Python里disconnect UDP套接字的方法
2015/04/23 Python
Python3实战之爬虫抓取网易云音乐的热门评论
2017/10/09 Python
python安装numpy&安装matplotlib& scipy的教程
2017/11/02 Python
Python Matplotlib实现三维数据的散点图绘制
2019/03/19 Python
解决pycharm启动后总是不停的updating indices...indexing的问题
2019/11/27 Python
python+opencv实现车牌定位功能(实例代码)
2019/12/24 Python
pycharm Tab键设置成4个空格的操作
2021/02/26 Python
html5+css3进度条倒计时动画特效代码【推荐】
2016/03/08 HTML / CSS
html5 初试 indexedDB(推荐)
2016/07/21 HTML / CSS
手术室护士自我鉴定
2013/10/14 职场文书
自主实习接收函
2014/01/13 职场文书
高中运动会广播稿
2014/01/21 职场文书
交通事故赔偿协议书范本
2014/04/15 职场文书
环保专项行动方案
2014/05/12 职场文书
驾驶员安全责任书
2014/07/22 职场文书
公安局负责人查摆问题及整改方案
2014/09/27 职场文书
2015年社区党务工作总结
2015/04/21 职场文书
中学推普周活动总结
2015/05/07 职场文书
2015年教学管理工作总结
2015/05/20 职场文书
2015年新农村建设指导员工作总结
2015/07/24 职场文书
2016教师六五普法学习心得体会
2016/01/21 职场文书
2016医师资格考试考生诚信考试承诺书
2016/03/25 职场文书