python爬虫之爬取笔趣阁小说


Posted in Python onApril 22, 2021

前言

为了上班摸鱼方便,今天自己写了个爬取笔趣阁小说的程序。好吧,其实就是找个目的学习python,分享一下。

一、首先导入相关的模块

import os
import requests
from bs4 import BeautifulSoup

二、向网站发送请求并获取网站数据

python爬虫之爬取笔趣阁小说

网站链接最后的一位数字为一本书的id值,一个数字对应一本小说,我们以id为1的小说为示例。

进入到网站之后,我们发现有一个章节列表,那么我们首先完成对小说列表名称的抓取

# 声明请求头
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}

# 创建保存小说文本的文件夹
if not os.path.exists('./小说'):
    os.mkdir('./小说/')
    
# 访问网站并获取页面数据
response = requests.get('http://www.biquw.com/book/1/').text
print(response)

写到这个地方同学们可能会发现了一个问题,当我去正常访问网站的时候为什么返回回来的数据是乱码呢?

这是因为页面html的编码格式与我们python访问并拿到数据的解码格式不一致导致的,python默认的解码方式为utf-8,但是页面编码可能是GBK或者是GB2312等,所以我们需要让python代码很具页面的解码方式自动变化

#### 重新编写访问代码
```python
response = requests.get('http://www.biquw.com/book/1/')
response.encoding = response.apparent_encoding
print(response.text)

'''
这种方式返回的中文数据才是正确的
'''

三、 拿到页面数据之后对数据进行提取

当大家通过正确的解码方式拿到页面数据之后,接下来需要完成静态页面分析了。我们需要从整个网页数据中拿到我们想要的数据(章节列表数据)

1.首先打开浏览器

2.按F12调出开发者工具

3.选中元素选择器

4.在页面中选中我们想要的数据并定位元素

5.观察数据所存在的元素标签

python爬虫之爬取笔趣阁小说

'''
根据上图所示,数据是保存在a标签当中的。a的父标签为li,li的父标签为ul标签,ul标签之上为div标签。所以如果想要获取整个页面的小说章节数据,那么需要先获取div标签。并且div标签中包含了class属性,我们可以通过class属性获取指定的div标签,详情看代码~
'''
# lxml: html解析库 将html代码转成python对象,python可以对html代码进行控制
soup = BeautifulSoup(response.text, 'lxml')
book_list = soup.find('div', class_='book_list').find_all('a')
# soup对象获取批量数据后返回的是一个列表,我们可以对列表进行迭代提取
for book in book_list:
    book_name = book.text
    # 获取到列表数据之后,需要获取文章详情页的链接,链接在a标签的href属性中
    book_url = book['href']

四、 获取到小说详情页链接之后进行详情页二次访问并获取文章数据

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)
book_info_html.encoding = book_info_html.apparent_encoding
soup = BeautifulSoup(book_info_html.text, 'lxml')

五、对小说详情页进行静态页面分析

python爬虫之爬取笔趣阁小说

info = soup.find('div', id='htmlContent')
print(info.text)

六、 数据下载

with open('./小说/' + book_name + '.txt', 'a', encoding='utf-8') as f:
    f.write(info.text)

最后让我们看一下代码效果吧~

python爬虫之爬取笔趣阁小说

抓取的数据

python爬虫之爬取笔趣阁小说
python爬虫之爬取笔趣阁小说

到此这篇关于python爬虫之爬取笔趣阁小说的文章就介绍到这了,更多相关python爬取小说内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现html转ubb代码(html2ubb)
Jul 03 Python
零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
Nov 05 Python
在Python中利用Pandas库处理大数据的简单介绍
Apr 07 Python
Python 'takes exactly 1 argument (2 given)' Python error
Dec 13 Python
Python3实现发送QQ邮件功能(附件)
Dec 23 Python
Python实现Dijkstra算法
Oct 17 Python
详解Python打包分发工具setuptools
Aug 05 Python
Pytorch实现GoogLeNet的方法
Aug 18 Python
利用Pytorch实现简单的线性回归算法
Jan 15 Python
python右对齐的实例方法
Jul 05 Python
PyTorch 导数应用的使用教程
Aug 31 Python
python blinker 信号库
May 04 Python
python获取淘宝服务器时间的代码示例
Apr 22 #Python
详解Django中 render() 函数的使用方法
python tkinter实现定时关机
Python爬虫之爬取某文库文档数据
Apr 21 #Python
Python数据分析之pandas函数详解
Apr 21 #Python
python基础之停用词过滤详解
Apr 21 #Python
python 模拟在天空中放风筝的示例代码
You might like
解析PHP多种序列化与反序列化的方法
2013/06/06 PHP
php表单敏感字符过滤类
2014/12/08 PHP
php和editplus正则表达式去除空白行
2015/04/17 PHP
PHP+Mysql+jQuery文件下载次数统计实例讲解
2015/10/10 PHP
使用Yii2实现主从数据库设置
2016/11/20 PHP
解决PHP使用CURL发送GET请求时传递参数的问题
2019/10/11 PHP
Javascript实例教程(19) 使用HoTMetal(2)
2006/12/23 Javascript
文字不间断滚动(上下左右)实例代码
2013/04/21 Javascript
结合JQ1.9通过js正则判断各种浏览器版本的方法
2013/12/30 Javascript
nodejs的10个性能优化技巧
2014/07/15 NodeJs
javascript实现方法调用与方法触发小结
2016/03/26 Javascript
JS加载iFrame出现空白问题的解决办法
2016/05/13 Javascript
JavaScript中附件预览功能实现详解(推荐)
2017/08/15 Javascript
vuejs 切换导航条高亮(路由菜单高亮)的方法示例
2018/05/29 Javascript
微信小程序实现留言功能
2018/10/31 Javascript
jquery validate 实现动态增加/删除验证规则操作示例
2019/10/28 jQuery
js实现3D旋转相册
2020/08/02 Javascript
[36:20]完美世界DOTA2联赛PWL S3 access vs Rebirth 第一场 12.17
2020/12/18 DOTA
python简单猜数游戏实例
2015/07/09 Python
彻底理解Python list切片原理
2017/10/27 Python
解决Python的str强转int时遇到的问题
2018/04/09 Python
pyspark 读取csv文件创建DataFrame的两种方法
2018/06/07 Python
Python 使用 PyMysql、DBUtils 创建连接池提升性能
2019/08/14 Python
Python如何对XML 解析
2020/06/28 Python
css3动画效果抖动解决方法
2018/09/03 HTML / CSS
图片上传插件ImgUploadJS:用HTML5 File API 实现截图粘贴上传、拖拽上传
2016/01/20 HTML / CSS
写好自荐信的技巧
2013/11/08 职场文书
2014信息技术专业毕业生自我评价
2014/01/17 职场文书
期末自我鉴定
2014/01/23 职场文书
党支部特色活动方案
2014/08/20 职场文书
天下第一关导游词
2015/02/06 职场文书
nginx限制并发连接请求数的方法
2021/04/01 Servers
pytorch中Schedule与warmup_steps的用法说明
2021/05/24 Python
HTML+JS实现在线朗读器
2022/02/15 Javascript
Java中的随机数Random
2022/03/17 Java/Android
Python实现Excel文件的合并(以新冠疫情数据为例)
2022/03/20 Python