python爬虫添加请求头代码实例


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

request

import requests


headers = {
  # 'Accept': 'application/json, text/javascript, */*; q=0.01',
  # 'Accept': '*/*',
  # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7',
  # 'Cache-Control': 'no-cache',
  # 'accept-encoding': 'gzip, deflate, br',
  'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
  'Referer': 'https://www.google.com/'
}

resp = requests.get('http://httpbin.org/get', headers=headers)
print(resp.content)

urllib

import urllib, urllib2
def get_page_source(url):
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  req = urllib2.Request(url, None, headers)
  response = urllib2.urlopen(req)
  page_source = response.read()
  return page_source

phantomjs请求页面

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
def get_headers_driver():
  desire = DesiredCapabilities.PHANTOMJS.copy()
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  for key, value in headers.iteritems():
    desire['phantomjs.page.customHeaders.{}'.format(key)] = value
  driver = webdriver.PhantomJS(desired_capabilities=desire, service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片
  return driver

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python搭建Django应用程序步骤及版本冲突问题解决
Nov 19 Python
python基础教程之常用运算符
Aug 29 Python
python实现模拟按键,自动翻页看u17漫画
Mar 17 Python
Python获取系统默认字符编码的方法
Jun 04 Python
python 数据清洗之数据合并、转换、过滤、排序
Feb 12 Python
Python闭包的两个注意事项(推荐)
Mar 20 Python
用python写个自动SSH登录远程服务器的小工具(实例)
Jun 17 Python
python实现m3u8格式转换为mp4视频格式
Feb 28 Python
python3 中使用urllib问题以及urllib详解
Aug 03 Python
基于注解实现 SpringBoot 接口防刷的方法
Mar 02 Python
Python中的min及返回最小值索引的操作
May 10 Python
Python NumPy灰度图像的压缩原理讲解
Aug 04 Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
pytorch 实现tensor与numpy数组转换
Dec 27 #Python
You might like
别人整理的服务器变量:$_SERVER
2006/10/20 PHP
解决控件遮挡问题:关于有窗口元素和无窗口元素
2007/01/28 PHP
php数组总结篇(一)
2008/09/30 PHP
php getsiteurl()函数
2009/09/05 PHP
WordPress判断用户是否登录的代码
2011/03/17 PHP
PHP封装的数据库保存session功能类
2016/07/11 PHP
修改jquery.lazyload.js实现页面延迟载入
2010/12/22 Javascript
JavaScript下通过的XMLHttpRequest发送请求的代码
2011/06/28 Javascript
Flow之一个新的Javascript静态类型检查器
2015/12/21 Javascript
使用Web Uploader实现多文件上传
2016/06/08 Javascript
js判断PC端与移动端跳转
2020/12/24 Javascript
关于jquery form表单序列化的注意事项详解
2017/08/01 jQuery
JS实现获取进今年第几天是周几的方法分析
2018/06/27 Javascript
JavaScript模拟实现自由落体效果
2018/08/28 Javascript
Vue CLI3搭建的项目中路径相关问题的解决
2018/09/17 Javascript
微信小程序日历组件使用方法详解
2018/12/29 Javascript
微信小程序完美解决scroll-view高度自适应问题的方法
2020/08/08 Javascript
vscode 使用Prettier插件格式化配置使用代码详解
2020/08/10 Javascript
Ant Design moment对象和字符串之间的相互转化教程
2020/10/27 Javascript
[02:16]深扒TI7聊天轮盘语音出处2
2017/05/11 DOTA
python选择排序算法的实现代码
2013/11/21 Python
详细解读Python中的__init__()方法
2015/05/02 Python
Python使用redis pool的一种单例实现方式
2016/04/16 Python
Python通过Django实现用户注册和邮箱验证功能代码
2017/12/11 Python
Mac在python3环境下安装virtualwrapper遇到的问题及解决方法
2019/07/09 Python
PYTHON绘制雷达图代码实例
2019/10/15 Python
浅谈Python的方法解析顺序(MRO)
2020/03/05 Python
Tory Burch美国官方网站:美国时尚生活品牌
2016/08/01 全球购物
项目经理的岗位职责
2013/11/23 职场文书
弘扬民族精神演讲稿
2014/05/07 职场文书
大学生万能检讨书范例
2014/10/04 职场文书
团委工作总结2015
2015/04/02 职场文书
辩护词范文大全
2015/05/21 职场文书
Python批量解压&压缩文件夹的示例代码
2022/04/04 Python
Python自动化实战之接口请求的实现
2022/05/30 Python
Win11怎么解除儿童账号限制?Win11解除微软儿童账号限制方法
2022/07/07 数码科技