使用requests库制作Python爬虫


Posted in Python onMarch 25, 2018

使用python爬虫其实就是方便,它会有各种工具类供你来使用,很方便。Java不可以吗?也可以,使用httpclient工具、还有一个大神写的webmagic框架,这些都可以实现爬虫,只不过python集成工具库,使用几行爬取,而Java需要写更多的行来实现,但目的都是一样。

下面介绍requests库简单使用:

#!/usr/local/env python
# coding:utf-8

import requests

#下面开始介绍requests的使用,环境语言是python3,使用下面的网址作为参考
#http://www.sse.com.cn/market/bonddata/data/tb/

request_param = {'jsonCallBack': 'jsonpCallback6588',
   'isPagination': 'true',
   'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',
   'BONDTYPE': '地×××府债券',
   'pageHelp.pageSize': '25',
   'pageHelp.pageNo': '2',
   'pageHelp.beginPage': '2',
   'pageHelp.cacheSize': '1',
   'pageHelp.endPage': '21'}

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'
#设置headers
headers = {'User-Agent': user_agent, 'Referer': referer}
#设置代理
proxy = {
 "http":"http://113.214.13.1:8000"
}

# 需要请求的URL地址
request_url = 'http://query.sse.com.cn/commonQuery.do?'

#设置请求地址
response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);
print(response.status_code)
#文本响应内容
print(response.text)
#json格式响应内容
print(response.json())
#二进制响应内容
print(response.content)
#原始格式
print(response.raw)
Python 相关文章推荐
利用Python的装饰器解决Bottle框架中用户验证问题
Apr 24 Python
深入理解python中的atexit模块
Mar 07 Python
python中Matplotlib实现绘制3D图的示例代码
Sep 04 Python
Python基于回溯法子集树模板解决野人与传教士问题示例
Sep 11 Python
Python网络编程之TCP套接字简单用法示例
Apr 09 Python
基于python实现高速视频传输程序
May 05 Python
Django框架使用内置方法实现登录功能详解
Jun 12 Python
简单了解python单例模式的几种写法
Jul 01 Python
Python的互斥锁与信号量详解
Sep 12 Python
redis数据库及与python交互用法简单示例
Nov 01 Python
Python库skimage绘制二值图像代码实例
Apr 10 Python
详解Python中import机制
Sep 11 Python
利用Python代码实现数据可视化的5种方法详解
Mar 25 #Python
Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作示例
Mar 23 #Python
教你使用python实现微信每天给女朋友说晚安
Mar 23 #Python
python微信公众号开发简单流程
Mar 23 #Python
python3如何将docx转换成pdf文件
Mar 23 #Python
python实现csv格式文件转为asc格式文件的方法
Mar 23 #Python
python字典快速保存于读取的方法
Mar 23 #Python
You might like
关于IIS php调用com组件的权限问题
2012/01/11 PHP
thinkPHP学习笔记之安装配置篇
2015/03/05 PHP
PHP Opcache安装和配置方法介绍
2015/05/28 PHP
PHP将身份证正反面两张照片合成一张图片的代码
2017/04/08 PHP
浅析PHP中的闭包和匿名函数
2017/12/25 PHP
实例分析PHP将字符串转换成数字的方法
2019/01/27 PHP
基于Laravel 5.2 regex验证的正确写法
2019/09/29 PHP
jQuery 文本框得失焦点的简单实例
2014/02/19 Javascript
connect中间件session、cookie的使用方法分享
2014/06/17 Javascript
nodejs开发环境配置与使用
2014/11/17 NodeJs
JS实现仿Windows经典风格的选项卡Tab切换代码
2015/10/20 Javascript
Vue.js中组件中的slot实例详解
2017/07/17 Javascript
js学习总结之DOM2兼容处理顺序问题的解决方法
2017/07/27 Javascript
Vue.js 2.0和Cordova开发webApp环境搭建方法
2018/02/26 Javascript
Vue项目中跨域问题解决方案
2018/06/05 Javascript
vue 解决addRoutes动态添加路由后刷新失效问题
2018/07/02 Javascript
Vue使用虚拟dom进行渲染view的方法
2019/12/26 Javascript
微信小程序仿淘宝热搜词在搜索框中轮播功能
2020/01/21 Javascript
详解ES6 扩展运算符的使用与注意事项
2020/11/12 Javascript
[00:33]DOTA2上海特级锦标赛 CDEC战队宣传片
2016/03/04 DOTA
python里对list中的整数求平均并排序
2014/09/12 Python
利用Fn.py库在Python中进行函数式编程
2015/04/22 Python
Python环境搭建之OpenCV的步骤方法
2017/10/20 Python
Python中fnmatch模块的使用详情
2018/11/30 Python
给Python学习者的文件读写指南(含基础与进阶)
2020/01/29 Python
PyCharm MySQL可视化Database配置过程图解
2020/06/09 Python
keras训练浅层卷积网络并保存和加载模型实例
2020/07/02 Python
详解win10下pytorch-gpu安装以及CUDA详细安装过程
2021/01/28 Python
html5贪吃蛇游戏使用63行代码完美实现
2013/06/25 HTML / CSS
BOSE德国官网:尽探索之力,享音乐之极
2016/12/11 全球购物
施华洛世奇巴西官网:SWAROVSKI巴西
2019/12/03 全球购物
幼儿园开学寄语
2014/04/03 职场文书
调解协议书
2014/04/16 职场文书
医药销售自我评价200字
2014/09/11 职场文书
中小学生学籍证明
2014/10/25 职场文书
倡议书作文
2015/01/19 职场文书