python爬虫添加请求头代码实例


Posted in Python onDecember 28, 2019

这篇文章主要介绍了python爬虫添加请求头代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

request

import requests


headers = {
  # 'Accept': 'application/json, text/javascript, */*; q=0.01',
  # 'Accept': '*/*',
  # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7',
  # 'Cache-Control': 'no-cache',
  # 'accept-encoding': 'gzip, deflate, br',
  'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
  'Referer': 'https://www.google.com/'
}

resp = requests.get('http://httpbin.org/get', headers=headers)
print(resp.content)

urllib

import urllib, urllib2
def get_page_source(url):
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  req = urllib2.Request(url, None, headers)
  response = urllib2.urlopen(req)
  page_source = response.read()
  return page_source

phantomjs请求页面

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
def get_headers_driver():
  desire = DesiredCapabilities.PHANTOMJS.copy()
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  for key, value in headers.iteritems():
    desire['phantomjs.page.customHeaders.{}'.format(key)] = value
  driver = webdriver.PhantomJS(desired_capabilities=desire, service_args=['--load-images=yes'])#将yes改成no可以让浏览器不加载图片
  return driver

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
教你安装python Django(图文)
Nov 04 Python
20招让你的Python飞起来!
Sep 27 Python
Python使用回溯法子集树模板解决迷宫问题示例
Sep 01 Python
Python读csv文件去掉一列后再写入新的文件实例
Dec 28 Python
为什么选择python编程语言入门黑客攻防 给你几个理由!
Feb 02 Python
python中不能连接超时的问题及解决方法
Jun 10 Python
Python 调用 Outlook 发送邮件过程解析
Aug 08 Python
使用PyInstaller将Pygame库编写的小游戏程序打包为exe文件及出现问题解决方法
Sep 06 Python
Python OpenCV实现测量图片物体宽度
May 27 Python
pytorch读取图像数据转成opencv格式实例
Jun 02 Python
Python Switch Case三种实现方法代码实例
Jun 18 Python
PyTorch的Debug指南
May 07 Python
python使用rsa非对称加密过程解析
Dec 28 #Python
Python遍历字典方式就实例详解
Dec 28 #Python
python基于opencv检测程序运行效率
Dec 28 #Python
把vgg-face.mat权重迁移到pytorch模型示例
Dec 27 #Python
Pytorch 多维数组运算过程的索引处理方式
Dec 27 #Python
Pytorch 之修改Tensor部分值方式
Dec 27 #Python
pytorch 实现tensor与numpy数组转换
Dec 27 #Python
You might like
WML,Apache,和 PHP 的介绍
2006/10/09 PHP
PHP JSON 数据解析代码
2010/05/26 PHP
yiic命令时提示“php.exe”不是内部或外部命令的解决方法
2014/12/18 PHP
thinkphp3.x中变量的获取和过滤方法详解
2016/05/20 PHP
PHP实现的统计数据功能详解
2016/12/06 PHP
javascript比较文档位置
2008/04/08 Javascript
js过滤HTML标签以及空格的思路及代码
2013/05/24 Javascript
Js中获取frames中的元素示例代码
2013/07/30 Javascript
jquery中获得元素尺寸和坐标的方法整理
2014/05/18 Javascript
让checkbox不选中即将选中的checkbox不选中
2014/07/11 Javascript
js实现汉字排序的方法
2015/07/23 Javascript
javascript和jQuery实现网页实时聊天的ajax长轮询
2016/07/20 Javascript
一个简单的JavaScript Map实例(分享)
2016/08/03 Javascript
再谈javascript常见错误及解决方法
2016/09/16 Javascript
BootStrap 实现各种样式的进度条效果
2016/12/07 Javascript
Nodejs实现短信验证码功能
2017/02/09 NodeJs
JavaScript判断浏览器运行环境的详细方法
2019/06/30 Javascript
vue递归组件实战之简单树形控件实例代码
2019/08/27 Javascript
js的Object.assign用法示例分析
2020/03/05 Javascript
JS script脚本中async和defer区别详解
2020/06/24 Javascript
jQuery实现移动端扭蛋机抽奖
2020/11/08 jQuery
[32:47]完美世界DOTA2联赛 GXR vs IO 第二场 11.07
2020/11/09 DOTA
python关键字and和or用法实例
2015/05/28 Python
详解Python的Django框架中Manager方法的使用
2015/07/21 Python
Python中pygame安装方法图文详解
2015/11/11 Python
python调用接口的4种方式代码实例
2019/11/19 Python
Python脚本操作Excel实现批量替换功能
2019/11/20 Python
django有外键关系的两张表如何相互查找
2020/02/10 Python
SHEIN香港:价格实惠的女性时尚服装
2018/08/14 全球购物
美国厨房和园艺工具网上商店:Nestneed
2019/08/24 全球购物
家具促销活动方案
2014/02/16 职场文书
电子商务专业毕业生求职信
2014/06/12 职场文书
2014年乡镇个人工作总结
2014/12/03 职场文书
春秋淹城导游词
2015/02/11 职场文书
教师师德工作总结2015
2015/07/22 职场文书
老乡会致辞
2015/07/28 职场文书