python实现批量下载新浪博客的方法


Posted in Python onJune 15, 2015

本文实例讲述了python实现批量下载新浪博客的方法。分享给大家供大家参考。具体实现方法如下:

# coding=utf-8 
import urllib2
import sys, os
import re
import string
from BeautifulSoup import BeautifulSoup
def encode(s):
  return s.decode('utf-8').encode(sys.stdout.encoding, 'ignore')
def getHTML(url):
  #proxy_handler = urllib2.ProxyHandler({'http':'http://211.138.124.211:80'})
  #opener = urllib2.build_opener(proxy_handler)
  #urllib2.install_opener(opener)
  req = urllib2.Request(url)
  response = urllib2.urlopen(req, timeout=15)
  return BeautifulSoup(response, convertEntities=BeautifulSoup.HTML_ENTITIES)
def visible(element):
  '''抓取可见的文本元素'''
  if element.parent.name in ['style', 'script', '[document]', 'head', 'title']:
    return False
  elif re.match('<!--.*-->', str(element)):
    return False
  elif element == u'\xa0':
    return False
  return True
def delReturn(element):
  '''删除元素内的换行'''
  return re.sub('(?<!^)\n+(?!$)', ' ', str(element)).decode('utf-8')
def validFilename(filename):
  # windows
  return re.sub('[\/:*?<>"|\xa0]', '', filename)
def writeToFile(text, filename, dirname):
  if not os.path.exists(dirname):
    os.makedirs(dirname)
    print encode('保存到目录'), dirname
  filename = validFilename(filename)
  print encode('保存文章'), filename
  path = os.path.join(dirname, filename)
  if not os.path.exists(path):
    f = open(path, 'w')
    f.write(text)
    f.close()
  else:
    print filename, encode('已经存在')
def formatContent(url, title=''):
  '''格式化文章内容'''
  page = getHTML(url)
  content = page.find('div', {'class':'articalContent'})
  art_id = re.search('blog_(\w+)\.html', url).group(1)
  blog_name = page.find('span', id='blognamespan').string
  if title == '':
    title = page.find('h2', id=re.compile('^t_')).string
  temp_data = filter(visible, content.findAll(text=True)) # 去掉不可见元素
  temp_data = ''.join(map(delReturn, temp_data)) # 删除元素内的换行符
  temp_data = temp_data.strip() # 删除文章首尾的空行
  temp_data = re.sub('\n{2,}', '\n\n', temp_data) # 删除文章内过多的空行
  # 输出到文件
  # 编码问题
  temp_data = '本文地址:'.decode('utf-8') + url + '\n\n' + temp_data
  op_text = temp_data.encode('utf-8')
  op_file = title + '_' + art_id +'.txt'
  writeToFile(op_text, op_file, blog_name)
def articlelist(url):
  articles = {}
  page = getHTML(url)
  pages = page.find('ul', {'class':'SG_pages'}).span.string
  page_num = int(re.search('(\d+)', pages).group(1))
  for i in range(1, page_num+1):
    print encode('生成第%d页文章索引'%i)
    if i != 1:
      url = re.sub('(_)\d+(\.html)$', '\g<1>'+str(i)+'\g<2>', url)
      page = getHTML(url)
    article = page.findAll('span', {'class':'atc_title'})
    for art in article:
      art_title = art.a['title']
      art_href = art.a['href']
      articles[art_title] = art_href
  return articles
def blog_dld(articles):
  if not isinstance(articles, dict):
    return False
  print encode('开始下载文章')
  for art_title, art_href in articles.items():
    formatContent(art_href, art_title)
if __name__ == '__main__':
  sel = raw_input(encode('你要下载的是(1)全部文章还是(2)单篇文章,输入1或者2: '))
  if sel == '1':
    #articlelist_url = 'http://blog.sina.com.cn/s/articlelist_1303481411_0_1.html'
    articlelist_url = raw_input(encode('请输入博客文章目录链接: '))
    articles = articlelist(articlelist_url)
    blog_dld(articles)
  else:
    #article_url = 'http://blog.sina.com.cn/s/blog_4db18c430100gxc5.html'
    article_url = raw_input(encode('请输入博客文章链接: '))
    formatContent(article_url)

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python操作Mysql实例代码教程在线版(查询手册)
Feb 18 Python
python的re模块应用实例
Sep 26 Python
PHP魔术方法__ISSET、__UNSET使用实例
Nov 25 Python
python使用os.listdir和os.walk获得文件的路径的方法
Dec 16 Python
python3+PyQt5自定义视图详解
Apr 24 Python
python+selenium 定位到元素,无法点击的解决方法
Jan 30 Python
Gauss-Seidel迭代算法的Python实现详解
Jun 29 Python
Python 多线程搜索txt文件的内容,并写入搜到的内容(Lock)方法
Aug 23 Python
Python实现非正太分布的异常值检测方式
Dec 09 Python
Python continue语句实例用法
Feb 06 Python
Python基于BeautifulSoup爬取京东商品信息
Jun 01 Python
PyTorch中permute的使用方法
Apr 26 Python
深入理解Python中各种方法的运作原理
Jun 15 #Python
python字符串编码识别模块chardet简单应用
Jun 15 #Python
Python字符串格式化
Jun 15 #Python
Java中重定向输出流实现用文件记录程序日志
Jun 12 #Python
Python2中的raw_input() 与 input()
Jun 12 #Python
Windows下实现Python2和Python3两个版共存的方法
Jun 12 #Python
Python3中的2to3转换工具使用示例
Jun 12 #Python
You might like
支持数组的ADDSLASHES的php函数
2010/02/16 PHP
Apache2中实现多网站域名绑定的实现方法
2011/06/01 PHP
php设计模式 FlyWeight (享元模式)
2011/06/26 PHP
使用php判断浏览器的类型和语言的函数代码
2013/02/28 PHP
基于magic_quotes_gpc与magic_quotes_runtime的区别与使用介绍
2013/04/22 PHP
php正则匹配html中带class的div并选取其中内容的方法
2015/01/13 PHP
PHP中如何使用session实现保存用户登录信息
2015/10/20 PHP
php workerman定时任务的实现代码
2018/12/23 PHP
网页上的Javascript编辑器和代码格式化
2010/04/25 Javascript
使用Javascript接收get传递的值的代码
2011/11/30 Javascript
js有序数组的连接问题
2013/10/01 Javascript
取消选中单选框radio的三种方式示例介绍
2013/12/23 Javascript
JavaScript实现数组在指定位置插入若干元素的方法
2015/04/06 Javascript
javascript动态添加删除tabs标签的方法
2015/07/06 Javascript
Nodejs Express4.x开发框架随手笔记
2015/11/23 NodeJs
JavaScript原生xmlHttp与jquery的ajax方法json数据格式实例
2015/12/04 Javascript
Node.js制作简单聊天室
2017/01/12 Javascript
JavaScript 字符串数字左补位,右补位,取固定长度,截位扩展函数代码
2017/03/25 Javascript
基于vue2.0实现简单轮播图
2017/11/27 Javascript
vue组件化中slot的基本使用方法
2019/05/01 Javascript
vue 自动化路由实现代码
2019/09/03 Javascript
[10:39]DOTA2上海特级锦标赛音乐会纪录片
2016/03/21 DOTA
Python 条件判断的缩写方法
2008/09/06 Python
python 获取本机ip地址的两个方法
2013/02/25 Python
基于MTCNN/TensorFlow实现人脸检测
2018/05/24 Python
django-rest-framework 自定义swagger过程详解
2019/07/18 Python
如何在scrapy中捕获并处理各种异常
2020/09/28 Python
Python包资源下载路径报404解决方案
2020/11/05 Python
利用Node实现HTML5离线存储的方法
2020/10/16 HTML / CSS
智能电子应届生求职信
2013/11/10 职场文书
篮球兴趣小组活动总结
2014/07/07 职场文书
音乐之声音乐广播稿
2014/09/10 职场文书
社区服务活动报告
2015/02/05 职场文书
督导岗位职责范本
2015/04/10 职场文书
2015年七夕情人节感言
2015/08/03 职场文书
文明礼仪主题班会
2015/08/13 职场文书