Python下载网络小说实例代码


Posted in Python onFebruary 03, 2018

看网络小说一般会攒上一波,然后导入Kindle里面去看,但是攒的多了,机械的Ctrl+C和Ctrl+V实在是OUT,所以就出现了此文。

其实Python我也是小白,用它的目的主要是它强大文本处理能力和网络支持,以及许多好用的库,不需要自己造轮子。而且真心比C方便啊(真是用了才知道)

分析要获取的网页

Python下载网络小说实例代码

我要获取的主要是3个东西:

  • 文章的标题。<div id="title">正文 第一章 北灵院</div>
  • 文章正文内容。<div id="content" style="line-height: 150%; color: rgb(0, 0, 0);">
  • 下一章的URL。<a href="11455541.html" rel="external nofollow" >下一页</a>

还有就是注意网页的编码,这个网页的编码是GBK,但在实际运行过程中,我用GBK会出现网页解码错误:

UnicodeDecodeError: ‘gbk' codec can't decode bytes in position 2-3: illegal multibyte sequence

所以换用了gb18030,问题就解决了,因为一般修仙网络小说中,会出现各种王霸之气的文字,你们懂得,所以需要更加牛逼文字库,你们感受一下博大精深的字符编码。

Python下载网络小说实例代码

源代码

我就知道,大家要这个,哈哈哈。

主函数

#主函数
if __name__ == '__main__':
  global numChapter
  global NOVERL

  NOVERL = '大主宰.txt'
  #NOVERL = '择天记.txt'
  NOVERL = '武动乾坤.txt'


  if(NOVERL == '大主宰.txt'):
    textStartURL = 'http://www.bxwx8.org/b/62/62724/11455540.html';#大主宰第一章的URL
    textStartURL = 'http://www.bxwx8.org/b/62/62724/28019405.html';#第一千两百三十七章 鬼大师
  else:  
    textStartURL = 'http://www.bxwx8.org/b/98/98289/17069215.html';#择天记第一章URL
    textStartURL = 'http://www.bxwx8.org/b/98/98289/28088874.html';#择天记第七十八章 合剑术

    textStartURL = 'http://www.bxwx8.org/b/35/35282/5839471.html';#武动乾坤第一章
    #textStartURL = 'http://www.bxwx8.org/b/35/35282/7620539.html';#武动乾坤
  nextURL = textStartURL;

  isEnd = False

  f = open(NOVERL, 'w', encoding='utf-8')  
  f.close()

  numChapter = 0;
  while(not isEnd):
    nextURL,isEnd = findNextTextURL(nextURL)

  print('end of capture!')
  print('获取到 ' + str(numChapter) + ' 章')

获取内容和下一章URL

#找到 下一章节的URL
#获取小说内容
def findNextTextURL(url):
  global numChapter
  global NOVERL
  #如果nextURL == endURL 则返回false

  if(NOVERL == '大主宰.txt'):
    endURL = 'http://www.bxwx8.org/b/62/62724/index.html'#大主宰
    headURL = 'http://www.bxwx8.org/b/62/62724/'#大主宰
  else:  
    endURL = 'http://www.bxwx8.org/b/98/98289/index.html'#择天记
    headURL = 'http://www.bxwx8.org/b/98/98289/'#择天记

    endURL = 'http://www.bxwx8.org/b/35/35282/index.html'#武动乾坤
    headURL = 'http://www.bxwx8.org/b/35/35282/'#武动乾坤

  isEnd = False 


  resp   = urllib.request.urlopen(url)

  #处理的字符的确是gbk的,但是其中夹杂的部分特殊字符,
  #是gbk编码中所没有的如果有些特殊字符是GB18030中有的,但是是gbk中没有的。
  #则用gbk去解码,去所不支持的字符,也比如会出错。
  #所以,此种情况,可以尝试用和当前编码(gbk)所兼容的但所包含字符更多的编码(gb18030)去解码,或许就可以了。
  #allHtml = resp.read().decode('gbk')#
  allHtml = resp.read().decode('gb18030')#

  textSoup = BeautifulSoup(allHtml)

  #章节名
  strChapter = textSoup.find(id='title').getText().split(r'【')[0]
  strChapter = strChapter.split(r'(')[0]
  strChapter = strChapter.replace('正文 ','') + '\n'
  numChapter = numChapter + 1
  strID = '#' + str(numChapter) + '-'
  strChapter = strID + strChapter

  strChapter = strChapter + '\n------------------------------\n' + url + '\n------------------------------\n'
  #小说正文
  strNovel = textSoup.find(id='content').getText()
  strNovel = strNovel.replace('  ','\n')

  #除去正文中多余的第XXX章
  strMatch = r"第[\u4e00-\u9fa5]+章"
  list2replace = re.findall(strMatch, strNovel)
  if list2replace:
    str2replace = list2replace[0]
    strNovel = strNovel.replace(str2replace, '')

  #合并章节和正文
  strNovel = strChapter + strNovel + '\n------------------------------\n------------------------------\n'

  #写到txt文件中
  write2TXT(strNovel)

  #获取下一个章节的URL
  nextURL = re.findall(r'var next_page = "[\w]+.html"', allHtml)[0]
  nextURL = nextURL.replace(r'"', '')
  nextURL = nextURL.replace(r'var next_page = ', '')
  nextURL = headURL + nextURL

  print(numChapter)#章节数
  print(strChapter)#章节名字
  print((nextURL))#下一章URL


  if(endURL == nextURL):
    isEnd = True

  return nextURL,isEnd

写入TXT

#写到文本文件中
def write2TXT(txt):
  global NOVERL

  f = open(NOVERL, 'a', encoding='utf-8')
  f.write(txt + '\n\n')
  f.close()

结束语

三个说明:

  • txt文本的编排肯定不好,而且在Kindle里面无法自动分章,多看阅读可以,原生系统就GG了,所以下一步可以用epubBuilder这款软件进行二次编排,输出mobi导入你的Kindle。
  • 本程序只是针对这个网站而已,但是如果网站换了,细节性代码就得重新写了。不过大框架还可以用。
  • 网络小说毒害有志青年,一入网文深是海,从此节操是路人,诸君且行且珍惜!

总结

以上就是本文关于Python下载网络小说实例代码的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python常见格式化字符串方法小结【百分号与format方法】
Sep 18 Python
利用Python实现Windows下的鼠标键盘模拟的实例代码
Jul 13 Python
Python2/3中urllib库的一些常见用法
Dec 19 Python
python提取包含关键字的整行数据方法
Dec 11 Python
Python 动态导入对象,importlib.import_module()的使用方法
Aug 28 Python
tensorflow之tf.record实现存浮点数数组
Feb 17 Python
python通过文本在一个图中画多条线的实例
Feb 21 Python
Python如何使用OS模块调用cmd
Feb 27 Python
python 实现读取csv数据,分类求和 再写进 csv
May 18 Python
Python爬虫实现自动登录、签到功能的代码
Aug 20 Python
如何实现一个python函数装饰器(Decorator)
Oct 12 Python
python中判断数字是否为质数的实例讲解
Dec 06 Python
JS设计模式之责任链模式实例详解
Feb 03 #Python
numpy使用技巧之数组过滤实例代码
Feb 03 #Python
python验证码识别实例代码
Feb 03 #Python
Django中cookie的基本使用方法示例
Feb 03 #Python
Python数据分析之双色球统计两个红和蓝球哪组合比例高的方法
Feb 03 #Python
Python数据分析之双色球统计单个红和蓝球哪个比例高的方法
Feb 03 #Python
Python数据分析之双色球中蓝红球分析统计示例
Feb 03 #Python
You might like
php和js交互一例-PHP教程,PHP应用
2007/01/03 PHP
关于php正则匹配汉字的方法介绍
2013/04/25 PHP
php实现字符串翻转的方法
2015/03/27 PHP
PHP数组操作类实例
2015/07/11 PHP
Yii2使用swiftmailer发送邮件的方法
2016/05/03 PHP
PHP+Ajax 检测网络是否正常实例详解
2016/12/16 PHP
php安装dblib扩展,连接mssql的具体步骤
2017/03/02 PHP
PHP笛卡尔积实现原理及代码实例
2020/12/09 PHP
jQuery1.9.1针对checkbox的调整方法(prop)
2014/05/01 Javascript
原生JS实现匀速图片轮播动画
2016/10/18 Javascript
详解springmvc 接收json对象的两种方式
2016/12/06 Javascript
详解用vue-cli来搭建vue项目和webpack
2017/04/20 Javascript
es6学习笔记之Async函数的使用示例
2017/05/11 Javascript
JavaScript文件的同步和异步加载的实现代码
2017/08/19 Javascript
微信小程序实现下载进度条的方法
2017/12/08 Javascript
websocket4.0+typescript 实现热更新的方法
2019/08/14 Javascript
js tab栏切换代码实例解析
2019/09/03 Javascript
vue组件是如何解析及渲染的?
2021/01/13 Vue.js
发布你的Python模块详解
2016/09/15 Python
Python中selenium实现文件上传所有方法整理总结
2017/04/01 Python
Python实现的绘制三维双螺旋线图形功能示例
2018/06/23 Python
python3.7实现云之讯、聚合短信平台的短信发送功能
2019/09/26 Python
pycharm运行scrapy过程图解
2019/11/22 Python
python3中sys.argv的实例用法
2020/04/24 Python
解决更改AUTH_USER_MODEL后出现的问题
2020/05/14 Python
基于Python组装jmx并调用JMeter实现压力测试
2020/11/03 Python
Python爬虫破解登陆哔哩哔哩的方法
2020/11/17 Python
pytest fixtures装饰器的使用和如何控制用例的执行顺序
2021/01/28 Python
如何强制垃圾回收
2015/10/06 面试题
化工专业个人的求职信范文
2013/11/28 职场文书
车辆转让协议书
2014/04/15 职场文书
捐书活动总结
2014/05/04 职场文书
综治目标管理责任书
2015/05/11 职场文书
人事任命书范本
2015/09/21 职场文书
Java 异步任务计算FutureTask
2022/04/28 Java/Android
vue3 自定义图片放大器效果的示例代码
2022/07/23 Vue.js