python爬虫教程之爬取百度贴吧并下载的示例


Posted in Python onMarch 07, 2014

测试url:http://tieba.baidu.com/p/27141123322?pn=
begin  1
end   4

import string ,urllib2
def baidu_tieba(url,begin_page,end_page):
    for i in range(begin_page, end_page+1):
        sName = string.zfill(i,5)+ '.html'
        print '正在下载第' + str(i) + '个网页,并将其存储为' + sName + '..........'
        f = open (sName,'w+')
        m = urllib2.urlopen(url + str(i)).read()
        f.write(m)
        f.close()

bdurl = str(raw_input('url:  \n'))
begin_page = int(raw_input('begin :\n'))
end_page = int(raw_input('end : \n'))
baidu_tieba(bdurl,begin_page,end_page)
Python 相关文章推荐
浅谈python正则的常用方法 覆盖范围70%以上
Mar 14 Python
python psutil库安装教程
Mar 19 Python
对python中Matplotlib的坐标轴的坐标区间的设定实例讲解
May 25 Python
Django model序列化为json的方法示例
Oct 16 Python
python3 json数据格式的转换(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互转换)
Apr 01 Python
django中forms组件的使用与注意
Jul 08 Python
python实现证件照换底功能
Aug 20 Python
Python高级特性 切片 迭代解析
Aug 23 Python
Pycharm安装并配置jupyter notebook的实现
May 18 Python
Python基于xlutils修改表格内容过程解析
Jul 28 Python
python使用Windows的wmic命令监控文件运行状况,如有异常发送邮件报警
Jan 30 Python
Python数据结构之队列详解
Mar 21 Python
python处理json数据中的中文
Mar 06 #Python
Python中针对函数处理的特殊方法
Mar 06 #Python
python连接mysql调用存储过程示例
Mar 05 #Python
python益智游戏计算汉诺塔问题示例
Mar 05 #Python
python连接mysql并提交mysql事务示例
Mar 05 #Python
python遍历文件夹并删除特定格式文件的示例
Mar 05 #Python
python的三目运算符和not in运算符使用示例
Mar 03 #Python
You might like
PHP扩展模块memcached长连接使用方法分析
2014/12/24 PHP
thinkPHP实现的省市区三级联动功能示例
2017/05/05 PHP
PHP实现找出有序数组中绝对值最小的数算法分析
2017/08/07 PHP
详解php反序列化
2020/06/10 PHP
jquery操作checkbox火狐下第二次无法勾选的解决方法
2016/10/10 Javascript
Angular2利用组件与指令实现图片轮播组件
2017/03/27 Javascript
javascript基本常用排序算法解析
2017/09/27 Javascript
详解Angular中实现自定义组件的双向绑定的两种方法
2018/11/23 Javascript
实例讲解JavaScript预编译流程
2019/01/24 Javascript
jQuery实现小火箭返回顶部特效
2020/02/03 jQuery
Vue中引入svg图标的两种方式
2021/01/14 Vue.js
python解析发往本机的数据包示例 (解析数据包)
2014/01/16 Python
Python实现股市信息下载的方法
2015/06/15 Python
解决Python2.7读写文件中的中文乱码问题
2018/04/12 Python
Python中is和==的区别详解
2018/11/15 Python
对python 通过ssh访问数据库的实例详解
2019/02/19 Python
Python中三元表达式的几种写法介绍
2019/03/04 Python
这可能是最好玩的python GUI入门实例(推荐)
2019/07/19 Python
python爬虫 urllib模块url编码处理详解
2019/08/20 Python
Python坐标轴操作及设置代码实例
2020/06/04 Python
python opencv把一张图片嵌入(叠加)到另一张图片上的实现代码
2020/06/11 Python
python asyncio 协程库的使用
2021/01/21 Python
美国生鲜及杂货电商:FreshDirect
2018/01/29 全球购物
C/C++有关内存的思考题
2015/12/04 面试题
考试作弊被抓检讨书
2014/01/10 职场文书
承诺书格式范文
2014/06/03 职场文书
园林专业毕业生自荐信
2014/07/04 职场文书
学生安全责任书模板
2014/07/25 职场文书
新农村建设汇报材料
2014/08/15 职场文书
2014高中生入党思想汇报范文
2014/09/13 职场文书
法人授权委托书范本
2014/09/17 职场文书
学校食品安全责任书
2015/01/29 职场文书
2019最新公司租房合同(例文)
2019/07/18 职场文书
mysql批量新增和存储的方法实例
2021/04/07 MySQL
HTML5 语义化标签(移动端必备)
2021/08/23 HTML / CSS
python 使用pandas读取csv文件的方法
2022/12/24 Python