使用requests库制作Python爬虫


Posted in Python onMarch 25, 2018

使用python爬虫其实就是方便,它会有各种工具类供你来使用,很方便。Java不可以吗?也可以,使用httpclient工具、还有一个大神写的webmagic框架,这些都可以实现爬虫,只不过python集成工具库,使用几行爬取,而Java需要写更多的行来实现,但目的都是一样。

下面介绍requests库简单使用:

#!/usr/local/env python
# coding:utf-8

import requests

#下面开始介绍requests的使用,环境语言是python3,使用下面的网址作为参考
#http://www.sse.com.cn/market/bonddata/data/tb/

request_param = {'jsonCallBack': 'jsonpCallback6588',
   'isPagination': 'true',
   'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',
   'BONDTYPE': '地×××府债券',
   'pageHelp.pageSize': '25',
   'pageHelp.pageNo': '2',
   'pageHelp.beginPage': '2',
   'pageHelp.cacheSize': '1',
   'pageHelp.endPage': '21'}

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'
#设置headers
headers = {'User-Agent': user_agent, 'Referer': referer}
#设置代理
proxy = {
 "http":"http://113.214.13.1:8000"
}

# 需要请求的URL地址
request_url = 'http://query.sse.com.cn/commonQuery.do?'

#设置请求地址
response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);
print(response.status_code)
#文本响应内容
print(response.text)
#json格式响应内容
print(response.json())
#二进制响应内容
print(response.content)
#原始格式
print(response.raw)
Python 相关文章推荐
Python中实现两个字典(dict)合并的方法
Sep 23 Python
python自然语言编码转换模块codecs介绍
Apr 08 Python
在Docker上开始部署Python应用的教程
Apr 17 Python
python创建关联数组(字典)的方法
May 04 Python
Python迭代器与生成器用法实例分析
Jul 09 Python
python3读取excel文件只提取某些行某些列的值方法
Jul 10 Python
python调用百度语音识别api
Aug 30 Python
实时获取Python的print输出流方法
Jan 07 Python
Python、 Pycharm、Django安装详细教程(图文)
Apr 12 Python
在python中实现调用可执行文件.exe的3种方法
Jul 07 Python
解决pandas展示数据输出时列名不能对齐的问题
Nov 18 Python
python实现高斯判别分析算法的例子
Dec 09 Python
利用Python代码实现数据可视化的5种方法详解
Mar 25 #Python
Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作示例
Mar 23 #Python
教你使用python实现微信每天给女朋友说晚安
Mar 23 #Python
python微信公众号开发简单流程
Mar 23 #Python
python3如何将docx转换成pdf文件
Mar 23 #Python
python实现csv格式文件转为asc格式文件的方法
Mar 23 #Python
python字典快速保存于读取的方法
Mar 23 #Python
You might like
PHP编程中字符串处理的5个技巧小结
2007/11/13 PHP
php 什么是PEAR?(第二篇)
2009/03/19 PHP
php中使用addslashes函数报错问题的解决方法
2013/02/06 PHP
Function eregi is deprecated (解决方法)
2013/06/21 PHP
不间断滚动JS打包类,基本可以实现所有的滚动效果,太强了
2007/12/08 Javascript
javascript 密码强弱度检测万能插件
2009/02/25 Javascript
js对数字的格式化使用说明
2011/01/12 Javascript
javascript开发随笔二 动态加载js和文件
2011/11/25 Javascript
jquery miniui 教程 表格控件 合并单元格应用
2012/11/25 Javascript
基于MVC3方式实现下拉列表联动(JQuery)
2013/09/02 Javascript
JavaScript面向对象编程入门教程
2014/04/16 Javascript
JavaScript框架(iframe)操作总结
2014/04/16 Javascript
jquery序列化方法实例分析
2015/06/10 Javascript
jQuery仅用3行代码实现的显示与隐藏功能完整实例
2015/10/08 Javascript
jQuery unbind()方法实例详解
2016/01/19 Javascript
javascript创建对象、对象继承的实用方式详解
2016/03/08 Javascript
jQuery插件Validation快速完成表单验证的方式
2016/07/28 Javascript
Bootstrap Table快速完美搭建后台管理系统
2017/09/20 Javascript
详细分析jsonp的原理和实现方式
2017/11/20 Javascript
BootStrap表单验证中的非Submit类型按钮点击时触发验证的坑
2019/09/05 Javascript
Python中表示字符串的三种方法
2017/09/06 Python
Python创建数字列表的示例
2019/11/28 Python
Python pandas如何向excel添加数据
2020/05/22 Python
html5自带表单验证体验优化及提示气泡修改功能
2017/09/12 HTML / CSS
美国正版电视节目和电影在线观看:Hulu
2018/05/24 全球购物
Schecker荷兰:狗狗用品和配件
2019/06/06 全球购物
2014年巴西世界杯口号
2014/06/05 职场文书
承诺书模板
2014/08/30 职场文书
初中生思想道德自我评价
2015/03/09 职场文书
公司地址变更通知
2015/04/25 职场文书
2016年春季运动会加油稿
2015/07/22 职场文书
企业安全生产检查制度
2015/08/06 职场文书
计算机教师工作总结
2015/08/13 职场文书
SQL Server 数据库实验课第五周——常用查询条件
2021/04/05 SQL Server
go原生库的中bytes.Buffer用法
2021/04/25 Golang
Python基础详解之邮件处理
2021/04/28 Python