Python爬虫之UserAgent的使用实例


Posted in Python onFebruary 21, 2019

问题: 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用, 最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent, 在这里记录一下, 留给自己爬虫使用。

安装 pip install fake-useragent

使用案例

基本使用

from fake_useragent import UserAgent
ua = UserAgent()
ua.ie
# Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US);
ua.msie
# Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)'
ua['Internet Explorer']
# Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US)
ua.opera
# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
ua.chrome
# Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2'
ua.google
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13
ua['google chrome']
# Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11
ua.firefox
# Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1
ua.ff
# Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1
ua.safari
# Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25
# and the best one, random via real world browser usage statistic
ua.random

注意:

fake-useragent 将收集到的数据缓存到temp文件夹, 例如 /tmp, 更新数据:

from fake_useragent import UserAgent
ua = UserAgent()
ua.update()

有时候会因为网络或者其他问题,出现异常(fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached), 可以禁用服务器缓存(从这里踩了一个坑, 没仔细看文档的锅):

from fake_useragent import UserAgent
ua = UserAgent(use_cache_server=False)

可以自己添加本地数据文件(v0.1.4+)

import fake_useragent
# I am STRONGLY!!! recommend to use version suffix
location = '/home/user/fake_useragent%s.json' % fake_useragent.VERSION
ua = fake_useragent.UserAgent(path=location)
ua.random

其他功能用到的也不是很多,详细见文档吧。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python使用正则表达式分析网页中的图片并进行替换的方法
Mar 26 Python
Python使用MONGODB入门实例
May 11 Python
微信 用脚本查看是否被微信好友删除
Oct 28 Python
python爬虫实战之最简单的网页爬虫教程
Aug 13 Python
Python用户推荐系统曼哈顿算法实现完整代码
Dec 01 Python
windows下python 3.6.4安装配置图文教程
Aug 21 Python
对pandas处理json数据的方法详解
Feb 08 Python
使用Django搭建web服务器的例子(最最正确的方式)
Aug 29 Python
Python安装tar.gz格式文件方法详解
Jan 19 Python
Python 为什么推荐蛇形命名法原因浅析
Jun 18 Python
keras 简单 lstm实例(基于one-hot编码)
Jul 02 Python
python日志通过不同的等级打印不同的颜色(示例代码)
Jan 13 Python
利用python实现在微信群刷屏的方法
Feb 21 #Python
Python实现微信自动好友验证,自动回复,发送群聊链接方法
Feb 21 #Python
使用python itchat包爬取微信好友头像形成矩形头像集的方法
Feb 21 #Python
对python借助百度云API对评论进行观点抽取的方法详解
Feb 21 #Python
用python实现刷点击率的示例代码
Feb 21 #Python
Python快速转换numpy数组中Nan和Inf的方法实例说明
Feb 21 #Python
python根据文章标题内容自动生成摘要的实例
Feb 21 #Python
You might like
php将数据库中所有内容生成静态html文档的代码
2010/04/12 PHP
PHP实现显示照片exif信息的方法
2014/07/11 PHP
PHP排序算法之直接插入排序(Straight Insertion Sort)实例分析
2018/04/20 PHP
PHP序列化和反序列化深度剖析实例讲解
2020/12/29 PHP
js将json格式内容转换成对象的方法
2013/11/01 Javascript
jQuery使用ajaxSubmit()提交表单示例
2014/04/04 Javascript
JavaScript计时器示例分析
2015/02/05 Javascript
jQuery树形下拉菜单特效代码分享
2015/08/15 Javascript
基于jquery实现页面滚动到底自动加载数据的功能
2015/12/19 Javascript
JS面向对象编程详解
2016/03/06 Javascript
微信开发 js实现tabs选项卡效果
2016/10/28 Javascript
使用jQuery实现简单的tab框实例
2017/08/22 jQuery
jQuery实现可兼容IE6的遮罩功能详解
2017/09/19 jQuery
JS笛卡尔积算法与多重数组笛卡尔积实现方法示例
2017/12/01 Javascript
全新打包工具parcel零配置vue开发脚手架
2018/01/11 Javascript
vue2.0 子组件改变props值,并向父组件传值的方法
2018/03/01 Javascript
通过函数作用域和块级作用域看javascript的作用域链
2018/08/05 Javascript
layui框架table 数据表格的方法级渲染详解
2018/08/19 Javascript
VUE注册全局组件和局部组件过程解析
2019/10/10 Javascript
javascript设计模式 ? 单例模式原理与应用实例分析
2020/04/09 Javascript
Vue proxyTable配置多个接口地址,解决跨域的问题
2020/09/11 Javascript
python简单获取数组元素个数的方法
2015/07/13 Python
Python2.7基于淘宝接口获取IP地址所在地理位置的方法【测试可用】
2017/06/07 Python
利用Python爬取微博数据生成词云图片实例代码
2017/08/31 Python
高效使用Python字典的清单
2018/04/04 Python
python实现汽车管理系统
2018/11/30 Python
pandas的连接函数concat()函数的具体使用方法
2019/07/09 Python
CSS3中文字镂空、透明值、阴影效果设置示例小结
2016/03/07 HTML / CSS
canvas如何实现多张图片编辑的图片编辑器
2020/03/10 HTML / CSS
俄罗斯在线大型超市:ТутПросто
2021/01/08 全球购物
波兰办公用品和学校用品在线商店:Dlabiura24.pl
2020/11/18 全球购物
电子专业自荐信
2014/07/01 职场文书
重点工程汇报材料
2014/08/27 职场文书
党员教师批评与自我批评发言稿
2014/10/15 职场文书
2016年公司中秋节致辞
2015/11/26 职场文书
Python实现随机生成迷宫并自动寻路
2021/06/13 Python