python爬虫教程之爬取百度贴吧并下载的示例


Posted in Python onMarch 07, 2014

测试url:http://tieba.baidu.com/p/27141123322?pn=
begin  1
end   4

import string ,urllib2
def baidu_tieba(url,begin_page,end_page):
    for i in range(begin_page, end_page+1):
        sName = string.zfill(i,5)+ '.html'
        print '正在下载第' + str(i) + '个网页,并将其存储为' + sName + '..........'
        f = open (sName,'w+')
        m = urllib2.urlopen(url + str(i)).read()
        f.write(m)
        f.close()

bdurl = str(raw_input('url:  \n'))
begin_page = int(raw_input('begin :\n'))
end_page = int(raw_input('end : \n'))
baidu_tieba(bdurl,begin_page,end_page)
Python 相关文章推荐
Python urllib模块urlopen()与urlretrieve()详解
Nov 01 Python
django1.8使用表单上传文件的实现方法
Nov 04 Python
Python内存管理方式和垃圾回收算法解析
Nov 11 Python
Python实现简单求解给定整数的质因数算法示例
Mar 25 Python
不管你的Python报什么错,用这个模块就能正常运行
Sep 14 Python
Python 使用folium绘制leaflet地图的实现方法
Jul 05 Python
python实现电子书翻页小程序
Jul 23 Python
解决django FileFIELD的编码问题
Mar 30 Python
简单了解pytest测试框架setup和tearDown
Apr 14 Python
基于tensorflow for循环 while循环案例
Jun 30 Python
使用numpngw和matplotlib生成png动画的示例代码
Jan 24 Python
使用豆瓣源来安装python中的第三方库方法
Jan 26 Python
python处理json数据中的中文
Mar 06 #Python
Python中针对函数处理的特殊方法
Mar 06 #Python
python连接mysql调用存储过程示例
Mar 05 #Python
python益智游戏计算汉诺塔问题示例
Mar 05 #Python
python连接mysql并提交mysql事务示例
Mar 05 #Python
python遍历文件夹并删除特定格式文件的示例
Mar 05 #Python
python的三目运算符和not in运算符使用示例
Mar 03 #Python
You might like
人族 Terran 基本策略
2020/03/14 星际争霸
使用swoole扩展php websocket示例
2014/02/13 PHP
php采用file_get_contents代替使用curl实例
2014/11/07 PHP
jQuery 选择表格(table)里的行和列及改变简单样式
2012/12/15 Javascript
一个JS的日期格式化算法示例
2013/07/31 Javascript
js中符号转意问题示例探讨
2013/08/19 Javascript
JavaScript中Cookies的相关使用教程
2015/06/04 Javascript
jQuery添加和删除指定标签的方法
2015/12/16 Javascript
Nodejs中session的简单使用及通过session实现身份验证的方法
2016/02/04 NodeJs
js跨域资源共享 基础篇
2016/07/02 Javascript
JavaScript队列、优先队列与循环队列
2016/11/14 Javascript
浅谈VUE单页应用首屏加载速度优化方案
2018/08/28 Javascript
详解使用webpack+electron+reactJs开发windows桌面应用
2019/02/01 Javascript
通过layer实现可输入的模态框的例子
2019/09/27 Javascript
vue移动端下拉刷新和上滑加载
2020/10/27 Javascript
使用Python编写一个在Linux下实现截图分享的脚本的教程
2015/04/24 Python
ansible作为python模块库使用的方法实例
2017/01/17 Python
Python3解决棋盘覆盖问题的方法示例
2017/12/07 Python
Python中asyncio与aiohttp入门教程
2018/10/16 Python
Python 输出时去掉列表元组外面的方括号与圆括号的方法
2018/12/24 Python
8种用Python实现线性回归的方法对比详解
2019/07/10 Python
Pytorch 中retain_graph的用法详解
2020/01/07 Python
django实现日志按日期分割
2020/05/21 Python
深入了解python列表(LIST)
2020/06/08 Python
欧姆龙医疗保健与医疗产品:Omron Healthcare
2020/02/10 全球购物
线程的基本概念、线程的基本状态以及状态之间的关系
2012/10/26 面试题
外贸学院会计专业应届生求职信
2013/11/14 职场文书
网上商城创业计划书范文
2014/01/31 职场文书
公司中层干部的自我评价分享
2014/03/01 职场文书
小学生操行评语大全
2014/04/22 职场文书
小学综合实践活动总结
2014/07/07 职场文书
关于工作经历的证明书
2014/10/11 职场文书
2015年初一班主任工作总结
2015/05/13 职场文书
初中语文教师研修日志
2015/11/13 职场文书
导游词之麻姑仙境
2019/11/18 职场文书
php 获取音视频时长,PHP 利用getid3 获取音频文件时长等数据
2021/04/01 PHP