Python爬虫之UserAgent的使用实例


Posted in Python onFebruary 21, 2019

问题: 在Python爬虫的过程中经常要模拟UserAgent, 因此自动生成UserAgent十分有用, 最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent, 在这里记录一下, 留给自己爬虫使用。

安装 pip install fake-useragent

使用案例

基本使用

from fake_useragent import UserAgent
ua = UserAgent()
ua.ie
# Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US);
ua.msie
# Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)'
ua['Internet Explorer']
# Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US)
ua.opera
# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
ua.chrome
# Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2'
ua.google
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13
ua['google chrome']
# Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11
ua.firefox
# Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1
ua.ff
# Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1
ua.safari
# Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25
# and the best one, random via real world browser usage statistic
ua.random

注意:

fake-useragent 将收集到的数据缓存到temp文件夹, 例如 /tmp, 更新数据:

from fake_useragent import UserAgent
ua = UserAgent()
ua.update()

有时候会因为网络或者其他问题,出现异常(fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached), 可以禁用服务器缓存(从这里踩了一个坑, 没仔细看文档的锅):

from fake_useragent import UserAgent
ua = UserAgent(use_cache_server=False)

可以自己添加本地数据文件(v0.1.4+)

import fake_useragent
# I am STRONGLY!!! recommend to use version suffix
location = '/home/user/fake_useragent%s.json' % fake_useragent.VERSION
ua = fake_useragent.UserAgent(path=location)
ua.random

其他功能用到的也不是很多,详细见文档吧。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
使用setup.py安装python包和卸载python包的方法
Nov 27 Python
Python中asyncore的用法实例
Sep 29 Python
详解Python的Django框架中的通用视图
May 04 Python
详解Python各大聊天系统的屏蔽脏话功能原理
Dec 01 Python
对pandas处理json数据的方法详解
Feb 08 Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
Apr 12 Python
python3使用腾讯企业邮箱发送邮件的实例
Jun 28 Python
Python实现平行坐标图的两种方法小结
Jul 04 Python
django删除表重建的实现方法
Aug 28 Python
如何使用Python抓取网页tag操作
Feb 14 Python
python中前缀运算符 *和 **的用法示例详解
May 28 Python
Python通过队列来实现进程间通信的示例
Oct 14 Python
利用python实现在微信群刷屏的方法
Feb 21 #Python
Python实现微信自动好友验证,自动回复,发送群聊链接方法
Feb 21 #Python
使用python itchat包爬取微信好友头像形成矩形头像集的方法
Feb 21 #Python
对python借助百度云API对评论进行观点抽取的方法详解
Feb 21 #Python
用python实现刷点击率的示例代码
Feb 21 #Python
Python快速转换numpy数组中Nan和Inf的方法实例说明
Feb 21 #Python
python根据文章标题内容自动生成摘要的实例
Feb 21 #Python
You might like
discuz论坛 用户登录 后台程序代码
2008/11/27 PHP
Ext.data.PagingMemoryProxy分页一次性读取数据的实现代码
2010/04/07 PHP
php 上传功能实例代码
2010/04/13 PHP
thinkphp在模型中自动完成session赋值示例代码
2014/09/09 PHP
php获取英文姓名首字母的方法
2015/07/13 PHP
ThinkPHP实现递归无级分类――代码少
2015/07/29 PHP
PHP数组中头部和尾部添加元素的方法(array_unshift,array_push)
2017/04/10 PHP
PHP智能识别收货地址信息实例
2019/01/05 PHP
为javascript添加String.Format方法
2020/08/11 Javascript
几个比较经典常用的jQuery小技巧
2010/03/01 Javascript
javascript与CSS复习(二)
2010/06/29 Javascript
express默认日志组件morgan的方法
2018/04/05 Javascript
基于Bootstrap下拉框插件bootstrap-select使用方法详解
2018/08/07 Javascript
VUE预渲染及遇到的坑
2018/09/03 Javascript
关于vue v-for循环解决img标签的src动态绑定问题
2018/09/18 Javascript
详解Vue2 添加对scss的支持
2019/01/02 Javascript
使用weixin-java-miniapp配置进行单个小程序的配置详解
2019/03/29 Javascript
微信小程序返回上一页传参并刷新过程解析
2019/12/13 Javascript
vue框架中props的typescript用法详解
2020/02/17 Javascript
浅谈vue生命周期共有几个阶段?分别是什么?
2020/08/07 Javascript
python使用心得之获得github代码库列表
2014/06/25 Python
python嵌套字典比较值与取值的实现示例
2017/11/03 Python
Python干货:分享Python绘制六种可视化图表
2018/08/27 Python
Python3.4学习笔记之常用操作符,条件分支和循环用法示例
2019/03/01 Python
在Ubuntu中安装并配置Pycharm教程的实现方法
2021/01/06 Python
利用 CSS3 实现的无缝轮播功能代码
2017/09/25 HTML / CSS
意大利巧克力店:Chocolate Shop
2019/07/24 全球购物
元旦促销方案
2014/03/15 职场文书
专题组织生活会方案
2014/06/15 职场文书
税务干部个人整改措施思想汇报
2014/10/10 职场文书
机关作风建设心得体会
2014/10/22 职场文书
学校勤俭节约倡议书
2015/04/29 职场文书
少年派的奇幻漂流观后感
2015/06/08 职场文书
2015年国庆放假通知范文
2015/08/18 职场文书
解决persistence.xml配置文件修改存放路径的问题
2022/02/24 Java/Android
Java 使用类型为Object的变量指向任意类型的对象
2022/04/13 Java/Android