使用requests库制作Python爬虫


Posted in Python onMarch 25, 2018

使用python爬虫其实就是方便,它会有各种工具类供你来使用,很方便。Java不可以吗?也可以,使用httpclient工具、还有一个大神写的webmagic框架,这些都可以实现爬虫,只不过python集成工具库,使用几行爬取,而Java需要写更多的行来实现,但目的都是一样。

下面介绍requests库简单使用:

#!/usr/local/env python
# coding:utf-8

import requests

#下面开始介绍requests的使用,环境语言是python3,使用下面的网址作为参考
#http://www.sse.com.cn/market/bonddata/data/tb/

request_param = {'jsonCallBack': 'jsonpCallback6588',
   'isPagination': 'true',
   'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',
   'BONDTYPE': '地×××府债券',
   'pageHelp.pageSize': '25',
   'pageHelp.pageNo': '2',
   'pageHelp.beginPage': '2',
   'pageHelp.cacheSize': '1',
   'pageHelp.endPage': '21'}

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'
#设置headers
headers = {'User-Agent': user_agent, 'Referer': referer}
#设置代理
proxy = {
 "http":"http://113.214.13.1:8000"
}

# 需要请求的URL地址
request_url = 'http://query.sse.com.cn/commonQuery.do?'

#设置请求地址
response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);
print(response.status_code)
#文本响应内容
print(response.text)
#json格式响应内容
print(response.json())
#二进制响应内容
print(response.content)
#原始格式
print(response.raw)
Python 相关文章推荐
使用Python的Flask框架实现视频的流媒体传输
Mar 31 Python
Python使用poplib模块和smtplib模块收发电子邮件的教程
Jul 02 Python
Python基于pygame模块播放MP3的方法示例
Sep 30 Python
Python二叉树的定义及常用遍历算法分析
Nov 24 Python
Python+matplotlib绘制不同大小和颜色散点图实例
Jan 19 Python
pygame游戏之旅 添加icon和bgm音效的方法
Nov 21 Python
pycharm在调试python时执行其他语句的方法
Nov 29 Python
Python中的支持向量机SVM的使用(附实例代码)
Jun 26 Python
Python使用pdb调试代码的技巧
May 03 Python
python 日志模块 日志等级设置失效的解决方案
May 26 Python
pytorch 计算ConvTranspose1d输出特征大小方式
Jun 23 Python
Django中template for如何使用方法
Jan 31 Python
利用Python代码实现数据可视化的5种方法详解
Mar 25 #Python
Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作示例
Mar 23 #Python
教你使用python实现微信每天给女朋友说晚安
Mar 23 #Python
python微信公众号开发简单流程
Mar 23 #Python
python3如何将docx转换成pdf文件
Mar 23 #Python
python实现csv格式文件转为asc格式文件的方法
Mar 23 #Python
python字典快速保存于读取的方法
Mar 23 #Python
You might like
PHP语法速查表
2006/12/06 PHP
PHP XML error parsing SOAP payload on line 1
2010/06/17 PHP
php删除文件夹及其文件夹下所有文件的函数代码
2013/01/23 PHP
php函数重载的替代方法--伪重载详解
2015/05/08 PHP
PHP获取访问页面HTTP状态码的实现代码
2016/11/03 PHP
PHP使用preg_split()分割特殊字符(元字符等)的方法分析
2017/02/04 PHP
jquery ajax 同步异步的执行示例代码
2010/06/23 Javascript
js下通过prototype扩展实现indexOf的代码
2010/12/08 Javascript
js操作滚动条事件实例
2015/01/29 Javascript
JS实现很酷的水波文字特效实例
2015/02/26 Javascript
JS获取字符串实际长度(包含汉字)的简单方法
2016/08/11 Javascript
jQuery中常用动画效果函数(日常整理)
2016/09/17 Javascript
Bootstrap CSS组件之输入框组
2016/12/17 Javascript
Angular2-primeNG文件上传模块FileUpload使用详解
2017/01/14 Javascript
使用webpack搭建vue环境的教程详解
2019/12/31 Javascript
Vue优化:常见会导致内存泄漏问题及优化详解
2020/08/04 Javascript
JS实现拖动模糊框特效
2020/08/25 Javascript
Js跳出两级循环方法代码实例
2020/09/22 Javascript
[54:02]2018DOTA2亚洲邀请赛 4.1 小组赛 B组 IG vs VGJ.T
2018/04/03 DOTA
python实现一组典型数据格式转换
2018/12/15 Python
python 实现倒排索引的方法
2018/12/25 Python
Python如何筛选序列中的元素的方法实现
2019/07/15 Python
Python3实现飞机大战游戏
2020/04/24 Python
Python导入父文件夹中模块并读取当前文件夹内的资源
2020/11/19 Python
详解anaconda安装步骤
2020/11/23 Python
使用phonegap获取设备的一些信息方法
2017/03/31 HTML / CSS
三只松鼠官方旗舰店:全网坚果销售第1
2017/11/25 全球购物
马德里著名的运动鞋商店:NOIRFONCE
2019/04/12 全球购物
ktv收银员岗位职责
2013/12/16 职场文书
新领导上任欢迎词
2014/01/13 职场文书
计算机相关的自我评价
2014/01/15 职场文书
家居饰品店创业计划书
2014/01/31 职场文书
新学期开学标语
2014/06/30 职场文书
2014年人力资源部工作总结
2014/11/19 职场文书
MySQL查看表和清空表的常用命令总结
2021/05/26 MySQL
docker compose 部署 golang 的 Athens 私有代理问题
2022/04/28 Servers