python爬虫之爬取笔趣阁小说


Posted in Python onApril 22, 2021

前言

为了上班摸鱼方便,今天自己写了个爬取笔趣阁小说的程序。好吧,其实就是找个目的学习python,分享一下。

一、首先导入相关的模块

import os
import requests
from bs4 import BeautifulSoup

二、向网站发送请求并获取网站数据

python爬虫之爬取笔趣阁小说

网站链接最后的一位数字为一本书的id值,一个数字对应一本小说,我们以id为1的小说为示例。

进入到网站之后,我们发现有一个章节列表,那么我们首先完成对小说列表名称的抓取

# 声明请求头
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}

# 创建保存小说文本的文件夹
if not os.path.exists('./小说'):
    os.mkdir('./小说/')
    
# 访问网站并获取页面数据
response = requests.get('http://www.biquw.com/book/1/').text
print(response)

写到这个地方同学们可能会发现了一个问题,当我去正常访问网站的时候为什么返回回来的数据是乱码呢?

这是因为页面html的编码格式与我们python访问并拿到数据的解码格式不一致导致的,python默认的解码方式为utf-8,但是页面编码可能是GBK或者是GB2312等,所以我们需要让python代码很具页面的解码方式自动变化

#### 重新编写访问代码
```python
response = requests.get('http://www.biquw.com/book/1/')
response.encoding = response.apparent_encoding
print(response.text)

'''
这种方式返回的中文数据才是正确的
'''

三、 拿到页面数据之后对数据进行提取

当大家通过正确的解码方式拿到页面数据之后,接下来需要完成静态页面分析了。我们需要从整个网页数据中拿到我们想要的数据(章节列表数据)

1.首先打开浏览器

2.按F12调出开发者工具

3.选中元素选择器

4.在页面中选中我们想要的数据并定位元素

5.观察数据所存在的元素标签

python爬虫之爬取笔趣阁小说

'''
根据上图所示,数据是保存在a标签当中的。a的父标签为li,li的父标签为ul标签,ul标签之上为div标签。所以如果想要获取整个页面的小说章节数据,那么需要先获取div标签。并且div标签中包含了class属性,我们可以通过class属性获取指定的div标签,详情看代码~
'''
# lxml: html解析库 将html代码转成python对象,python可以对html代码进行控制
soup = BeautifulSoup(response.text, 'lxml')
book_list = soup.find('div', class_='book_list').find_all('a')
# soup对象获取批量数据后返回的是一个列表,我们可以对列表进行迭代提取
for book in book_list:
    book_name = book.text
    # 获取到列表数据之后,需要获取文章详情页的链接,链接在a标签的href属性中
    book_url = book['href']

四、 获取到小说详情页链接之后进行详情页二次访问并获取文章数据

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)
book_info_html.encoding = book_info_html.apparent_encoding
soup = BeautifulSoup(book_info_html.text, 'lxml')

五、对小说详情页进行静态页面分析

python爬虫之爬取笔趣阁小说

info = soup.find('div', id='htmlContent')
print(info.text)

六、 数据下载

with open('./小说/' + book_name + '.txt', 'a', encoding='utf-8') as f:
    f.write(info.text)

最后让我们看一下代码效果吧~

python爬虫之爬取笔趣阁小说

抓取的数据

python爬虫之爬取笔趣阁小说
python爬虫之爬取笔趣阁小说

到此这篇关于python爬虫之爬取笔趣阁小说的文章就介绍到这了,更多相关python爬取小说内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python3写入文件常用方法实例分析
May 22 Python
python+pyqt实现右下角弹出框
Oct 26 Python
Python多继承顺序实例分析
May 26 Python
利用python GDAL库读写geotiff格式的遥感影像方法
Nov 29 Python
Python 中 function(#) (X)格式 和 (#)在Python3.*中的注意事项
Nov 30 Python
Python高斯消除矩阵
Jan 02 Python
python Gunicorn服务器使用方法详解
Jul 22 Python
python 画函数曲线示例
Dec 04 Python
Pycharm中import torch报错的快速解决方法
Mar 05 Python
Python pytesseract验证码识别库用法解析
Jun 29 Python
如何编写python的daemon程序
Jan 07 Python
如何基于python实现单目三维重建详解
Jun 25 Python
python获取淘宝服务器时间的代码示例
Apr 22 #Python
详解Django中 render() 函数的使用方法
python tkinter实现定时关机
Python爬虫之爬取某文库文档数据
Apr 21 #Python
Python数据分析之pandas函数详解
Apr 21 #Python
python基础之停用词过滤详解
Apr 21 #Python
python 模拟在天空中放风筝的示例代码
You might like
Zend Framework教程之Zend_Helpers动作助手ViewRenderer用法详解
2016/07/20 PHP
PHP实现在对象之外访问其私有属性private及保护属性protected的方法
2017/11/20 PHP
一个js拖拽的效果类和dom-drag.js浅析
2010/07/17 Javascript
js中字符替换函数String.replace()使用技巧
2011/08/14 Javascript
javascript实现简单的贪吃蛇游戏
2015/03/31 Javascript
jQuery获得子元素个数的方法
2015/04/14 Javascript
Javascript将字符串日期格式化为yyyy-mm-dd的方法
2016/10/27 Javascript
详解JavaScript时间处理之几个月前或几个月后的指定日期
2016/12/21 Javascript
微信小程序 连续旋转动画(this.animation.rotate)详解
2017/04/07 Javascript
Javascript实现异步编程的过程
2018/06/18 Javascript
通过函数作用域和块级作用域看javascript的作用域链
2018/08/05 Javascript
基于bootstrap页面渲染的问题解决方法
2018/08/09 Javascript
使用layui实现树形结构的方法
2019/09/20 Javascript
Vue监听滚动实现锚点定位(双向)示例
2019/11/13 Javascript
原生JavaScript实现拖动校验功能
2020/09/29 Javascript
浅谈Vue使用Elementui修改默认的最快方法
2020/12/05 Vue.js
[00:14]护身甲盾
2019/03/06 DOTA
下载糗事百科的内容_python版
2008/12/07 Python
Python字符编码与函数的基本使用方法
2017/09/30 Python
浅谈Matplotlib简介和pyplot的简单使用——文本标注和箭头
2018/01/09 Python
Python实现简单求解给定整数的质因数算法示例
2018/03/25 Python
Python数据分析库pandas基本操作方法
2018/04/08 Python
对python 读取线的shp文件实例详解
2018/12/22 Python
Python面向对象程序设计示例小结
2019/01/30 Python
纯CSS实现聊天框小尖角、气泡效果
2014/04/04 HTML / CSS
深入理解HTML的FormData对象
2016/05/17 HTML / CSS
Under Armour安德玛法国官网:美国高端运动科技品牌
2018/06/29 全球购物
Linux文件操作命令都有哪些
2016/07/23 面试题
大学生毕业自我鉴定范文
2013/09/19 职场文书
硕士研究生求职自荐信范文
2014/03/11 职场文书
教堂婚礼主持词
2014/03/14 职场文书
教你解决往mysql数据库中存入汉字报错的方法
2021/05/06 MySQL
Oracle创建只读账号的详细步骤
2021/06/07 Oracle
Java中多线程下载图片并压缩能提高效率吗
2021/07/01 Java/Android
gateway与spring-boot-starter-web冲突问题的解决
2021/07/16 Java/Android
Java 中的 Lambda List 转 Map 的多种方法详解
2022/07/07 Java/Android