使用requests库制作Python爬虫


Posted in Python onMarch 25, 2018

使用python爬虫其实就是方便,它会有各种工具类供你来使用,很方便。Java不可以吗?也可以,使用httpclient工具、还有一个大神写的webmagic框架,这些都可以实现爬虫,只不过python集成工具库,使用几行爬取,而Java需要写更多的行来实现,但目的都是一样。

下面介绍requests库简单使用:

#!/usr/local/env python
# coding:utf-8

import requests

#下面开始介绍requests的使用,环境语言是python3,使用下面的网址作为参考
#http://www.sse.com.cn/market/bonddata/data/tb/

request_param = {'jsonCallBack': 'jsonpCallback6588',
   'isPagination': 'true',
   'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',
   'BONDTYPE': '地×××府债券',
   'pageHelp.pageSize': '25',
   'pageHelp.pageNo': '2',
   'pageHelp.beginPage': '2',
   'pageHelp.cacheSize': '1',
   'pageHelp.endPage': '21'}

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'
#设置headers
headers = {'User-Agent': user_agent, 'Referer': referer}
#设置代理
proxy = {
 "http":"http://113.214.13.1:8000"
}

# 需要请求的URL地址
request_url = 'http://query.sse.com.cn/commonQuery.do?'

#设置请求地址
response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);
print(response.status_code)
#文本响应内容
print(response.text)
#json格式响应内容
print(response.json())
#二进制响应内容
print(response.content)
#原始格式
print(response.raw)
Python 相关文章推荐
python实现批量获取指定文件夹下的所有文件的厂商信息
Sep 28 Python
Python实现注册登录系统
Aug 08 Python
Python实现简单层次聚类算法以及可视化
Mar 18 Python
利用python将图片版PDF转文字版PDF
May 03 Python
pyqt5 QProgressBar清空进度条的实例
Jun 21 Python
python买卖股票的最佳时机(基于贪心/蛮力算法)
Jul 05 Python
Django Form 实时从数据库中获取数据的操作方法
Jul 25 Python
解决Tensorboard可视化错误:不显示数据 No scalar data was found
Feb 15 Python
Python统计文本词汇出现次数的实例代码
Feb 27 Python
pip安装tensorflow的坑的解决
Apr 19 Python
python3操作redis实现List列表实例
Aug 04 Python
python基础之类方法和静态方法
Oct 24 Python
利用Python代码实现数据可视化的5种方法详解
Mar 25 #Python
Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作示例
Mar 23 #Python
教你使用python实现微信每天给女朋友说晚安
Mar 23 #Python
python微信公众号开发简单流程
Mar 23 #Python
python3如何将docx转换成pdf文件
Mar 23 #Python
python实现csv格式文件转为asc格式文件的方法
Mar 23 #Python
python字典快速保存于读取的方法
Mar 23 #Python
You might like
PHP中读写文件实现代码
2011/10/20 PHP
使用PHP Socket写的POP3类
2013/10/30 PHP
PHP 之 写时复制介绍(Copy On Write)
2014/05/13 PHP
php单链表实现代码分享
2016/07/04 PHP
thinkphp5.0自定义验证规则使用方法
2017/11/16 PHP
php + WebUploader实现图片批量上传功能
2019/05/06 PHP
PHP7.3.10编译安装教程
2019/10/08 PHP
tp5 sum某个字段相加得到总数的例子
2019/10/18 PHP
通过PHP实现获取访问用户IP
2020/05/09 PHP
Javascript-Mozilla和IE中的一个函数直接量的问题
2007/01/09 Javascript
使用JS进行目录上传(相当于批量上传)
2010/12/05 Javascript
Javascript浮点数乘积运算出现多位小数的解决方法
2014/02/17 Javascript
JavaScript中实现依赖注入的思路分享
2015/01/15 Javascript
javascript实现全角半角检测的方法
2015/07/23 Javascript
详解页面滚动值scrollTop在FireFox与Chrome浏览器间的兼容问题
2015/12/03 Javascript
jQuery插件ajaxFileUpload使用实例解析
2016/10/19 Javascript
Node.js发送HTTP客户端请求并显示响应结果的方法示例
2017/04/12 Javascript
AngularJS 支付倒计时功能实现思路
2017/06/05 Javascript
判断js数据类型的函数实例详解
2019/05/23 Javascript
JavaScript 几种循环方式以及模块化的总结
2020/09/03 Javascript
[53:52]EG vs VGJ.T 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
python数据结构树和二叉树简介
2014/04/29 Python
Python实现按当前日期(年、月、日)创建多级目录的方法
2018/04/26 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
2018/12/18 Python
详解Python 字符串相似性的几种度量方法
2019/08/29 Python
Django实现文章详情页面跳转代码实例
2020/09/16 Python
如何利用pycharm进行代码更新比较
2020/11/04 Python
CSS3实现淘宝留白的方法
2020/06/05 HTML / CSS
a标签下载链接的简单实现
2016/09/13 HTML / CSS
留学自荐信写作方法
2014/01/27 职场文书
宣传普通话标语
2014/06/27 职场文书
党员自我评议对照检查材料
2014/09/27 职场文书
2014年初一班主任工作总结
2014/11/08 职场文书
党校学习个人总结
2015/02/15 职场文书
小学重阳节活动总结
2015/03/24 职场文书
使用numpy nonzero 找出非0元素
2021/05/14 Python