基于Python实现ComicReaper漫画自动爬取脚本过程解析


Posted in Python onNovember 11, 2019

这篇文章主要介绍了基于Python实现ComicReaper漫画自动爬取脚本过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

讲真的, 手机看漫画翻页总是会手残碰到页面上的广告好吧...

要是能只需要指定一本漫画的主页URL就能给我返回整本漫画就好了...

这促使我产生了使用Python 3来实现, 做一个 ComicReaper(漫画收割者) 的想法!

本文所用漫画链接 : http://www.manhuadb.com/manhua/2317

总体流程

基于Python实现ComicReaper漫画自动爬取脚本过程解析

那就开始吧

做一些准备工作

先用字符串存储两个链接, 一个是本次漫画网站站点的域名URL, 另一个是当前我们要爬取的漫画的主页URL

再定义一个 header 字典, 用于存储我们的 User-Agent 和 Referer Referrer (由于早期HTTP规范的拼写错误, 为了保持向后兼容就将错就错了)

首部字段 User-Agent

首部字段 User-Agent 告诉服务器当前创建请求的浏览器是什么(有的网站会针对不同的浏览器提供不同的页面, 比如如果是手机浏览器提出的请求, 服务器就向客户端提供网站的手机版页面)

比如说同样是请求 GitHub 的主页, 左边是使用笔记本电脑上面的浏览器请求的页面, 右边是在安卓手机上请求的页面

基于Python实现ComicReaper漫画自动爬取脚本过程解析

首部字段 Referer

首部字段 Referer 告诉服务器当前请求的页面是从哪个Web页面发起的(一般情况下 Referer 字段用于防盗链)

有的网站不允许直接访问网站里面的URL, 只能通过从主页点击某个链接来进行跳转, 或者...我们在请求之前把 User-Agent 字段设置为主页或发起页即可

url_domainame = r'http://www.manhuadb.com'
url_host = r'http://www.manhuadb.com/manhua/2317'
header = {
  'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0',
  'Referer' : ''
  }

获取章节目录

首先我们对我们接下来要做的事情做一个具体流程分析

我们要获取当前漫画所有章节的标题与URL(标题用于后期存储时文件夹的命名, URL用于跳转到当前章节的开始页面)并且存储在列表中

基于Python实现ComicReaper漫画自动爬取脚本过程解析

将会使用到Python的两个库, re 与 urllib

import re


 # 导入正则表达式
 import urllib.request  # 导入 urllib.request

对在浏览器中按下 [F12] 键打开开发者工具来对漫画的章节页面进行分析

基于Python实现ComicReaper漫画自动爬取脚本过程解析

我们可以看到页面中有很多章节, 也就是章节跳转链接, 每个链接的<a>标签中正好具有我们需要的标题和URL, 分别是<a>标签的 title 属性与 href 属性, 我们将使用字典来存储它

先不慌着前进, 考虑到整个HTML中有非常多的链接, 那么也就意味着页面中具有大量的<a>标签, 如果我们只是单纯地从HTML中过滤出<a>标签, 这样我们会得到大量我们并不需要的<a>标签, 这是不明智的, 我们必须只过滤出章节跳转链接的<a>标签, 仔细观察, 发现章节跳转链接的<a>标签们都具有一个特点, 那就是它们都具有 class 属性并且属性值为 "fixed-a-es" , 这就找到了一个可以定位章节<a>标签的依据, 把这一点加入到我们的正则表达式的匹配规则中去

现在就可以定义一个正则表达式匹配字符串了:

pat = r'<a class="fixed-a-es" href="(.*?)" rel="external nofollow" rel="external nofollow" title="(.*?)"'

为什么要这么写 :

  • 在Python中, 在字符串常量的开头加一个 'r' 表示本字符串中的 '\' 字符将不会用来作转义字符使用, 保留了它原本的含义, 也就是反斜杠字符
  • 在正则表达式中, '.' 字符用于匹配任何字符(当匹配时具有 're.S' 标志时此话成立, 否则只能匹配任意但除了 '\n' 以外的字符)
  • 在正则表达式中, '*' 字符用于描述它左边的匹配字符的出现次数为0次或若干次
  • 在正则表达式中, '(.*?)' 的组合用来表示一个贪婪匹配(并且会被捕捉到)

使用这个正则表达式, 就可以匹配到 title 属性与 href 属性的属性值中的双引号里面的内容了

具体实现是 chapterIndexReaper 函数, 主要用来"收割"当前漫画的所有章节并存储为字典列表

代码如下 :

#获取一本漫画的所有章节的目录
def chapterIndexReaper(url_host, header):
  # 定义一个临时字典, 用于临时存储一个章节的标题与url
  dic_temp = {
    'Title' : '',
    'Url' : ''
    }
  # 章节字典列表, 存储当前漫画的所有章节字典
  set_dic = []
  # 构建Request对象
  req = urllib.request.Request(url = url_host, headers = header)
  # 读取所请求的req并用utf-8编码来进行解码, 所得到的的字符串赋值给html
  html = urllib.request.urlopen(req).read().decode('utf-8')
  # 爬取漫画章节标题与url的正则表达式
  pat = r'<a class="fixed-a-es" href="(.*?)" rel="external nofollow" rel="external nofollow" title="(.*?)"'
  # 使用pat在html中进行进行匹配(re.S参数是为了让"."除了能够匹配本身规定的字符,
  # 另外也能匹配"\n"), 返回一个结果列表res
  res = re.findall(pat, html, re.S)
  for i in res:
    dic_temp['Title'] = i[1]
    dic_temp['Url'] = url_head + i[0]
    # 向当前的章节字典列表的后面追加新的章节, 注意, 此处要使用浅拷贝
    # (因为dic_temp是一个临时变量, 需要创建它的副本并追加到set_dic中去,
    # 否则当dic_temp刷新时set_dic中的元素会相应发生改变)
    set_dic.append(dic_temp.copy())
  return set_dic

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用正则搜索字符串或文件中的浮点数代码实例
Jul 11 Python
python开发之list操作实例分析
Feb 22 Python
谈谈如何手动释放Python的内存
Dec 17 Python
nohup后台启动Python脚本,log不刷新的解决方法
Jan 14 Python
Python实现的合并两个有序数组算法示例
Mar 04 Python
python儿童学游戏编程知识点总结
Jun 03 Python
Python解析命令行读取参数之argparse模块
Jul 26 Python
Django文件上传与下载(FileFlid)
Oct 06 Python
python读取word 中指定位置的表格及表格数据
Oct 23 Python
Django自定义全局403、404、500错误页面的示例代码
Mar 08 Python
keras在构建LSTM模型时对变长序列的处理操作
Jun 29 Python
python 多进程和协程配合使用写入数据
Oct 30 Python
Python多继承以及MRO顺序的使用
Nov 11 #Python
python 有效的括号的实现代码示例
Nov 11 #Python
Python+OpenCV实现实时眼动追踪的示例代码
Nov 11 #Python
python的pyecharts绘制各种图表详细(附代码)
Nov 11 #Python
python OpenCV GrabCut使用实例解析
Nov 11 #Python
Python上下文管理器用法及实例解析
Nov 11 #Python
Django 请求Request的具体使用方法
Nov 11 #Python
You might like
AM/FM收音机的安装与调试
2021/03/02 无线电
域名查询代码公布
2006/10/09 PHP
PHP STRING 陷阱原理说明
2010/07/24 PHP
20个2014年最优秀的PHP框架回顾
2014/10/22 PHP
php实现httpRequest的方法
2015/03/13 PHP
smarty模板引擎之配置文件数据和保留数据
2015/03/30 PHP
编写PHP脚本过滤用户上传的图片
2015/07/03 PHP
编写PHP程序检查字符串中的中文字符个数的实例分享
2016/03/17 PHP
jQuery TextBox自动完成条
2009/07/22 Javascript
jQuery动画与特效详解
2015/02/01 Javascript
BootStrap中Tab页签切换实例代码
2016/05/30 Javascript
js实现3d悬浮效果
2017/02/16 Javascript
JavaScript正则获取地址栏中参数的方法
2017/03/02 Javascript
利用JS如何计算字符串所占字节数示例代码
2017/09/13 Javascript
Vue filter介绍及其使用详解
2017/10/21 Javascript
深入浅析var,let,const的异同点
2018/08/07 Javascript
[02:43]中国五虎出征TI3视频
2013/08/02 DOTA
[02:25]DOTA2英雄基础教程 生死判决瘟疫法师
2013/12/06 DOTA
[02:37]2018DOTA2亚洲邀请赛赛前采访-EG篇
2018/04/03 DOTA
Python三元运算实现方法
2015/01/12 Python
python实现清屏的方法
2015/04/30 Python
在Python的Django框架中使用通用视图的方法
2015/07/21 Python
Python中return语句用法实例分析
2015/08/04 Python
python黑魔法之编码转换
2016/01/25 Python
Python实现数据库并行读取和写入实例
2017/06/09 Python
python 多维切片之冒号和三个点的用法介绍
2018/04/19 Python
解决python 3 urllib 没有 urlencode 属性的问题
2019/08/22 Python
python 安装移动复制第三方库操作
2020/07/13 Python
PyQt实现计数器的方法示例
2021/01/18 Python
蔻驰西班牙官网:COACH西班牙
2019/01/16 全球购物
建议书标准格式
2014/03/12 职场文书
庆祝新中国成立65周年“向国旗敬礼”网上签名寄语
2014/09/27 职场文书
2015公司年度工作总结
2015/05/14 职场文书
2015年中秋寄语
2015/07/31 职场文书
再见,2019我们不负使命;你好,2020我们砥砺前行
2020/01/03 职场文书
解决Mysql多行子查询的使用及空值问题
2022/01/22 MySQL