python爬虫之爬取笔趣阁小说


Posted in Python onApril 22, 2021

前言

为了上班摸鱼方便,今天自己写了个爬取笔趣阁小说的程序。好吧,其实就是找个目的学习python,分享一下。

一、首先导入相关的模块

import os
import requests
from bs4 import BeautifulSoup

二、向网站发送请求并获取网站数据

python爬虫之爬取笔趣阁小说

网站链接最后的一位数字为一本书的id值,一个数字对应一本小说,我们以id为1的小说为示例。

进入到网站之后,我们发现有一个章节列表,那么我们首先完成对小说列表名称的抓取

# 声明请求头
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}

# 创建保存小说文本的文件夹
if not os.path.exists('./小说'):
    os.mkdir('./小说/')
    
# 访问网站并获取页面数据
response = requests.get('http://www.biquw.com/book/1/').text
print(response)

写到这个地方同学们可能会发现了一个问题,当我去正常访问网站的时候为什么返回回来的数据是乱码呢?

这是因为页面html的编码格式与我们python访问并拿到数据的解码格式不一致导致的,python默认的解码方式为utf-8,但是页面编码可能是GBK或者是GB2312等,所以我们需要让python代码很具页面的解码方式自动变化

#### 重新编写访问代码
```python
response = requests.get('http://www.biquw.com/book/1/')
response.encoding = response.apparent_encoding
print(response.text)

'''
这种方式返回的中文数据才是正确的
'''

三、 拿到页面数据之后对数据进行提取

当大家通过正确的解码方式拿到页面数据之后,接下来需要完成静态页面分析了。我们需要从整个网页数据中拿到我们想要的数据(章节列表数据)

1.首先打开浏览器

2.按F12调出开发者工具

3.选中元素选择器

4.在页面中选中我们想要的数据并定位元素

5.观察数据所存在的元素标签

python爬虫之爬取笔趣阁小说

'''
根据上图所示,数据是保存在a标签当中的。a的父标签为li,li的父标签为ul标签,ul标签之上为div标签。所以如果想要获取整个页面的小说章节数据,那么需要先获取div标签。并且div标签中包含了class属性,我们可以通过class属性获取指定的div标签,详情看代码~
'''
# lxml: html解析库 将html代码转成python对象,python可以对html代码进行控制
soup = BeautifulSoup(response.text, 'lxml')
book_list = soup.find('div', class_='book_list').find_all('a')
# soup对象获取批量数据后返回的是一个列表,我们可以对列表进行迭代提取
for book in book_list:
    book_name = book.text
    # 获取到列表数据之后,需要获取文章详情页的链接,链接在a标签的href属性中
    book_url = book['href']

四、 获取到小说详情页链接之后进行详情页二次访问并获取文章数据

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)
book_info_html.encoding = book_info_html.apparent_encoding
soup = BeautifulSoup(book_info_html.text, 'lxml')

五、对小说详情页进行静态页面分析

python爬虫之爬取笔趣阁小说

info = soup.find('div', id='htmlContent')
print(info.text)

六、 数据下载

with open('./小说/' + book_name + '.txt', 'a', encoding='utf-8') as f:
    f.write(info.text)

最后让我们看一下代码效果吧~

python爬虫之爬取笔趣阁小说

抓取的数据

python爬虫之爬取笔趣阁小说
python爬虫之爬取笔趣阁小说

到此这篇关于python爬虫之爬取笔趣阁小说的文章就介绍到这了,更多相关python爬取小说内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在Linux中通过Python脚本访问mdb数据库的方法
May 06 Python
详解Python list 与 NumPy.ndarry 切片之间的对比
Jul 24 Python
Python学习之Anaconda的使用与配置方法
Jan 04 Python
图解Python变量与赋值
Apr 03 Python
详解Python安装scrapy的正确姿势
Jun 26 Python
python3中函数参数的四种简单用法
Jul 09 Python
python 3.3 下载固定链接文件并保存的方法
Dec 18 Python
Python面向对象程序设计之类的定义与继承简单示例
Mar 18 Python
Python中一个for循环循环多个变量的示例
Jul 16 Python
Python类和实例的属性机制原理详解
Mar 21 Python
python操作微信自动发消息的实现(微信聊天机器人)
Jul 14 Python
python实现语音常用度量方法的代码详解
May 25 Python
python获取淘宝服务器时间的代码示例
Apr 22 #Python
详解Django中 render() 函数的使用方法
python tkinter实现定时关机
Python爬虫之爬取某文库文档数据
Apr 21 #Python
Python数据分析之pandas函数详解
Apr 21 #Python
python基础之停用词过滤详解
Apr 21 #Python
python 模拟在天空中放风筝的示例代码
You might like
上海地方志办公室-上海电子仪表工业志
2021/03/04 无线电
第十三节 对象串行化 [13]
2006/10/09 PHP
谈谈关于php的优点与缺点
2013/04/11 PHP
php while循环控制的简单实例
2016/05/30 PHP
PHP unset函数原理及使用方法解析
2020/08/14 PHP
javascript代码运行不出来执行错误的可能情况整理
2013/10/18 Javascript
动态加载脚本提升javascript性能
2014/02/24 Javascript
node.js中RPC(远程过程调用)的实现原理介绍
2014/12/05 Javascript
JavaScript错误处理
2015/02/03 Javascript
Javascript中使用A标签获取当前目录的绝对路径方法
2015/03/02 Javascript
jquery对象和DOM对象的任意相互转换
2016/02/21 Javascript
轻松掌握JavaScript中的Math object数学对象
2016/05/26 Javascript
浅谈javascript中new操作符的原理
2016/06/07 Javascript
js验证真实姓名与身份证号,手机号的简单实例
2016/07/18 Javascript
在JS中a标签加入单击事件屏蔽href跳转页面
2016/12/16 Javascript
javascript 秒表计时器实现代码
2017/03/09 Javascript
vue--vuex详解
2019/04/15 Javascript
js对象属性名驼峰式转下划线的实例代码
2020/09/17 Javascript
python strip()函数 介绍
2013/05/24 Python
python正则匹配查询港澳通行证办理进度示例分享
2013/12/27 Python
win10环境下python3.5安装步骤图文教程
2017/02/03 Python
Python反转序列的方法实例分析
2018/03/21 Python
对python3 Serial 串口助手的接收读取数据方法详解
2019/06/12 Python
pytorch 预训练层的使用方法
2019/08/20 Python
Flask项目中实现短信验证码和邮箱验证码功能
2019/12/05 Python
基于python监控程序是否关闭
2020/01/14 Python
完美解决keras保存好的model不能成功加载问题
2020/06/11 Python
python db类用法说明
2020/07/07 Python
装饰工程师岗位职责
2014/06/08 职场文书
介绍信如何写
2015/01/31 职场文书
2015年领导干部廉洁自律工作总结
2015/05/26 职场文书
初中数学课堂教学反思
2016/02/17 职场文书
导游词之安徽醉翁亭
2020/01/10 职场文书
vue首次渲染全过程
2021/04/21 Vue.js
Go使用协程交替打印字符
2021/04/29 Golang
mysql函数之截取字符串的实现
2022/08/14 MySQL