Python实现爬取逐浪小说的方法


Posted in Python onJuly 07, 2015

本文实例讲述了Python实现爬取逐浪小说的方法。分享给大家供大家参考。具体分析如下:

本人喜欢在网上看小说,一直使用的是小说下载阅读器,可以自动从网上下载想看的小说到本地,比较方便。最近在学习Python的爬虫,受此启发,突然就想到写一个爬取小说内容的脚本玩玩。于是,通过在逐浪上面分析源代码,找出结构特点之后,写了一个可以爬取逐浪上小说内容的脚本。

具体实现功能如下:输入小说目录页的url之后,脚本会自动分析目录页,提取小说的章节名和章节链接地址。然后再从章节链接地址逐个提取章节内容。现阶段只是将小说从第一章开始,每次提取一章内容,回车之后提取下一章内容。其他网站的结果可能有不同,需要做一定修改。在逐浪测试过正常。

现分享此代码,一是做个记录,方便自己以后回顾。二么也想抛砖引玉,希望各路大神不吝赐教。

#-*-coding:utf8-*-
#!/usr/bin/python
# Python:   2.7.8
# Platform:  Windows
# Program:   Get Novels From Internet
# Author:   wucl
# Description: Get Novels
# Version:   1.0
# History:   2015.5.27 完成目录和url提取
#       2015.5.28 完成目录中正则提取第*章,提取出章节链接并下载。在逐浪测试下载无误。
from bs4 import BeautifulSoup
import urllib2,re
def get_menu(url):
  """Get chapter name and its url"""
  user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0"
  headers = {'User-Agent':user_agent}
  req = urllib2.Request(url,headers = headers)
  page = urllib2.urlopen(req).read()
  soup = BeautifulSoup(page)
  novel = soup.find_all('title')[0].text.split('_')[0]
  # 提取小说名
  menu = []
  all_text = soup.find_all('a',target="_blank")
  # 提取记载有小说章节名和链接地址的模块
  regex=re.compile(ur'\u7b2c.+\u7ae0')
  # 中文正则匹配第..章,去除不必要的链接
  for title in all_text:
    if re.findall(regex,title.text):
      name = title.text
      x = [name,title['href']]
      menu.append(x)
      # 把记载有小说章节名和链接地址的列表插入列表中
  return menu,novel
def get_chapter(name,url):
  """Get every chapter in menu"""
  html=urllib2.urlopen(url).read()
  soup=BeautifulSoup(html)
  content=soup.find_all('p') # 提取小说正文
  return content[0].text
if __name__=="__main__":
  url=raw_input("""Input the main page's url of the novel in ZhuLang\n    Then Press Enter to Continue\n""")
  if url:
    menu,title=get_menu(url)
    print title,str(len(menu))+'\n   Press Enter To Continue  \n' 
    # 输出获取到的小说名和章节数
    for i in menu:
      chapter=get_chapter(i[0],i[1])
      raw_input()
      print '\n'+i[0]+'\n'    
      print chapter
      print '\n'

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
django项目运行因中文而乱码报错的几种情况解决
Nov 07 Python
不归路系列:Python入门之旅-一定要注意缩进!!!(推荐)
Apr 16 Python
Django框架模板文件使用及模板文件加载顺序分析
May 23 Python
Django框架创建mysql连接与使用示例
Jul 29 Python
python+Django实现防止SQL注入的办法
Oct 31 Python
Python Selenium安装及环境配置的实现
Mar 17 Python
解决django框架model中外键不落实到数据库问题
May 20 Python
python3.7调试的实例方法
Jul 21 Python
Python如何将模块打包并发布
Aug 30 Python
Windows环境下Python3.6.8 importError: DLLload failed:找不到指定的模块
Nov 01 Python
Python Unittest原理及基本使用方法
Nov 06 Python
Python机器学习之PCA降维算法详解
May 19 Python
python妹子图简单爬虫实例
Jul 07 #Python
python操作redis的方法
Jul 07 #Python
python生成IP段的方法
Jul 07 #Python
Python的多态性实例分析
Jul 07 #Python
Python中的urllib模块使用详解
Jul 07 #Python
Python实现图像几何变换
Jul 06 #Python
Python统计日志中每个IP出现次数的方法
Jul 06 #Python
You might like
php array_intersect比array_diff快(附详细的使用说明)
2011/07/03 PHP
PHP获取数组中某元素的位置及array_keys函数应用
2013/01/29 PHP
PHP7.1方括号数组符号多值复制及指定键值赋值用法分析
2016/09/26 PHP
laravel-admin表单提交隐藏一些数据,回调时获取数据的方法
2019/10/08 PHP
javascript 一段左右两边随屏滚动的代码
2009/06/18 Javascript
ajax 同步请求和异步请求的差异分析
2011/07/04 Javascript
图标线性回归斜着移动到指定的位置
2013/08/16 Javascript
js中Image对象以及对其预加载处理示例
2013/11/20 Javascript
Javascript 是你的高阶函数(高级应用)
2015/06/15 Javascript
跟我学习javascript的浮点数精度
2015/11/16 Javascript
JavaScript基础教程——入门必看篇
2016/05/20 Javascript
关于验证码在IE中不刷新的快速解决方法
2016/09/23 Javascript
AngularJS之自定义服务详解(factory、service、provider)
2017/04/14 Javascript
JS中图片压缩的方法小结
2017/11/14 Javascript
原生js实现移动端触摸轮播的示例代码
2017/12/22 Javascript
vue组件挂载到全局方法的示例代码
2018/08/02 Javascript
JS实现方形抽奖效果
2018/08/27 Javascript
使用express来代理服务的方法
2019/06/21 Javascript
ES6 let和const定义变量与常量的应用实例分析
2019/06/27 Javascript
layer弹出层显示在top顶层的方法
2019/09/11 Javascript
win7 下搭建sublime的python开发环境的配置方法
2014/06/18 Python
在Python的Django框架中编写错误提示页面
2015/07/22 Python
pybind11在Windows下的使用教程
2019/07/04 Python
python装饰器使用实例详解
2019/12/14 Python
Pyecharts绘制全球流向图的示例代码
2020/01/08 Python
Python求两个字符串最长公共子序列代码实例
2020/03/05 Python
Python获取对象属性的几种方式小结
2020/03/12 Python
大学生预备党员自我评价分享
2013/11/16 职场文书
2014年公司庆元旦活动方案
2014/03/05 职场文书
中学生学雷锋演讲稿
2014/04/26 职场文书
国庆节活动总结
2014/08/26 职场文书
学习焦裕禄同志为人民服务思想汇报
2014/09/10 职场文书
巾帼标兵事迹材料
2014/12/26 职场文书
2015年招商引资工作总结
2015/04/25 职场文书
Vue.Draggable实现交换位置
2022/04/07 Vue.js
MySQL控制流函数(-if ,elseif,else,case...when)
2022/07/07 MySQL