使用requests库制作Python爬虫


Posted in Python onMarch 25, 2018

使用python爬虫其实就是方便,它会有各种工具类供你来使用,很方便。Java不可以吗?也可以,使用httpclient工具、还有一个大神写的webmagic框架,这些都可以实现爬虫,只不过python集成工具库,使用几行爬取,而Java需要写更多的行来实现,但目的都是一样。

下面介绍requests库简单使用:

#!/usr/local/env python
# coding:utf-8

import requests

#下面开始介绍requests的使用,环境语言是python3,使用下面的网址作为参考
#http://www.sse.com.cn/market/bonddata/data/tb/

request_param = {'jsonCallBack': 'jsonpCallback6588',
   'isPagination': 'true',
   'sqlId': 'COMMON_BOND_XXPL_ZQXX_L',
   'BONDTYPE': '地×××府债券',
   'pageHelp.pageSize': '25',
   'pageHelp.pageNo': '2',
   'pageHelp.beginPage': '2',
   'pageHelp.cacheSize': '1',
   'pageHelp.endPage': '21'}

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
referer = 'http://www.sse.com.cn/market/bonddata/data/ltb/'
#设置headers
headers = {'User-Agent': user_agent, 'Referer': referer}
#设置代理
proxy = {
 "http":"http://113.214.13.1:8000"
}

# 需要请求的URL地址
request_url = 'http://query.sse.com.cn/commonQuery.do?'

#设置请求地址
response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param);
print(response.status_code)
#文本响应内容
print(response.text)
#json格式响应内容
print(response.json())
#二进制响应内容
print(response.content)
#原始格式
print(response.raw)
Python 相关文章推荐
浅析Python中的join()方法的使用
May 19 Python
Python基于Socket实现的简单聊天程序示例
Aug 05 Python
Python基于回溯法子集树模板解决数字组合问题实例
Sep 02 Python
使用python为mysql实现restful接口
Jan 05 Python
Python3中内置类型bytes和str用法及byte和string之间各种编码转换 问题
Sep 27 Python
Django实现学员管理系统
Feb 26 Python
python turtle工具绘制四叶草的实例分享
Feb 14 Python
python实现简单的五子棋游戏
Sep 01 Python
使用Python Tkinter实现剪刀石头布小游戏功能
Oct 23 Python
python中pdb模块实例用法
Jan 15 Python
matplotlib之属性组合包(cycler)的使用
Feb 24 Python
python字符串常规操作大全
May 02 Python
利用Python代码实现数据可视化的5种方法详解
Mar 25 #Python
Python cookbook(数据结构与算法)同时对数据做转换和换算处理操作示例
Mar 23 #Python
教你使用python实现微信每天给女朋友说晚安
Mar 23 #Python
python微信公众号开发简单流程
Mar 23 #Python
python3如何将docx转换成pdf文件
Mar 23 #Python
python实现csv格式文件转为asc格式文件的方法
Mar 23 #Python
python字典快速保存于读取的方法
Mar 23 #Python
You might like
PHP的cURL库简介及使用示例
2015/02/06 PHP
thinkphp验证码的实现(form、ajax实现验证)
2016/07/28 PHP
PHP基于堆栈实现的高级计算器功能示例
2017/09/15 PHP
laradock环境docker-compose操作详解
2019/07/29 PHP
IE iframe的onload方法分析小结
2010/01/07 Javascript
微信开发 消息推送实现代码
2016/10/21 Javascript
利用JavaScript实现拖拽改变元素大小
2016/12/14 Javascript
详解Vue中状态管理Vuex
2017/05/11 Javascript
详解vue2.0脚手架的webpack 配置文件分析
2017/05/27 Javascript
jQuery实现IE输入框完成placeholder标签功能的方法
2017/09/20 jQuery
vue.js模仿京东省市区三级联动的选择组件实例代码
2017/11/22 Javascript
基于vue-cli 路由 实现类似tab切换效果(vue 2.0)
2019/05/08 Javascript
vue项目配置同一局域网可使用ip访问的操作
2020/10/23 Javascript
Python实现对比不同字体中的同一字符的显示效果
2015/04/23 Python
基于Python如何使用AIML搭建聊天机器人
2016/01/27 Python
python itchat实现微信好友头像拼接图的示例代码
2017/08/14 Python
HTMl5的存储方式sessionStorage和localStorage详解
2014/03/18 HTML / CSS
HTML块级标签汇总(小篇)
2016/07/13 HTML / CSS
Woolworth官网:澳洲第一大超市
2017/06/25 全球购物
方法名是否可以与构造器的名字相同
2012/06/04 面试题
25道Java面试题集合
2013/05/21 面试题
一个J2EE项目团队的主要人员组成是什么
2012/06/04 面试题
后勤主管岗位职责
2014/03/01 职场文书
车间主任岗位职责
2014/03/16 职场文书
员工试用期考核自我鉴定
2014/04/13 职场文书
网页美工求职信范文
2014/04/17 职场文书
幼儿园教师师德师风演讲稿:爱我所爱 无悔青春
2014/09/10 职场文书
幼儿园教师个人总结
2015/02/05 职场文书
预备党员自我评价范文
2015/03/04 职场文书
2015年化验员工作总结
2015/04/10 职场文书
写作技巧:如何撰写一份优秀的营销策划书
2019/08/13 职场文书
《烈火英雄》观后感:致敬和平时代的英雄
2019/11/11 职场文书
redis 限制内存使用大小的实现
2021/05/08 Redis
python基础之函数的定义和调用
2021/10/24 Python
CSS三大特性继承性、层叠性和优先级详解
2022/01/18 HTML / CSS
解决ubuntu安装软件时,status-code=409报错的问题
2022/12/24 Servers