python爬虫之爬取笔趣阁小说


Posted in Python onApril 22, 2021

前言

为了上班摸鱼方便,今天自己写了个爬取笔趣阁小说的程序。好吧,其实就是找个目的学习python,分享一下。

一、首先导入相关的模块

import os
import requests
from bs4 import BeautifulSoup

二、向网站发送请求并获取网站数据

python爬虫之爬取笔趣阁小说

网站链接最后的一位数字为一本书的id值,一个数字对应一本小说,我们以id为1的小说为示例。

进入到网站之后,我们发现有一个章节列表,那么我们首先完成对小说列表名称的抓取

# 声明请求头
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}

# 创建保存小说文本的文件夹
if not os.path.exists('./小说'):
    os.mkdir('./小说/')
    
# 访问网站并获取页面数据
response = requests.get('http://www.biquw.com/book/1/').text
print(response)

写到这个地方同学们可能会发现了一个问题,当我去正常访问网站的时候为什么返回回来的数据是乱码呢?

这是因为页面html的编码格式与我们python访问并拿到数据的解码格式不一致导致的,python默认的解码方式为utf-8,但是页面编码可能是GBK或者是GB2312等,所以我们需要让python代码很具页面的解码方式自动变化

#### 重新编写访问代码
```python
response = requests.get('http://www.biquw.com/book/1/')
response.encoding = response.apparent_encoding
print(response.text)

'''
这种方式返回的中文数据才是正确的
'''

三、 拿到页面数据之后对数据进行提取

当大家通过正确的解码方式拿到页面数据之后,接下来需要完成静态页面分析了。我们需要从整个网页数据中拿到我们想要的数据(章节列表数据)

1.首先打开浏览器

2.按F12调出开发者工具

3.选中元素选择器

4.在页面中选中我们想要的数据并定位元素

5.观察数据所存在的元素标签

python爬虫之爬取笔趣阁小说

'''
根据上图所示,数据是保存在a标签当中的。a的父标签为li,li的父标签为ul标签,ul标签之上为div标签。所以如果想要获取整个页面的小说章节数据,那么需要先获取div标签。并且div标签中包含了class属性,我们可以通过class属性获取指定的div标签,详情看代码~
'''
# lxml: html解析库 将html代码转成python对象,python可以对html代码进行控制
soup = BeautifulSoup(response.text, 'lxml')
book_list = soup.find('div', class_='book_list').find_all('a')
# soup对象获取批量数据后返回的是一个列表,我们可以对列表进行迭代提取
for book in book_list:
    book_name = book.text
    # 获取到列表数据之后,需要获取文章详情页的链接,链接在a标签的href属性中
    book_url = book['href']

四、 获取到小说详情页链接之后进行详情页二次访问并获取文章数据

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)
book_info_html.encoding = book_info_html.apparent_encoding
soup = BeautifulSoup(book_info_html.text, 'lxml')

五、对小说详情页进行静态页面分析

python爬虫之爬取笔趣阁小说

info = soup.find('div', id='htmlContent')
print(info.text)

六、 数据下载

with open('./小说/' + book_name + '.txt', 'a', encoding='utf-8') as f:
    f.write(info.text)

最后让我们看一下代码效果吧~

python爬虫之爬取笔趣阁小说

抓取的数据

python爬虫之爬取笔趣阁小说
python爬虫之爬取笔趣阁小说

到此这篇关于python爬虫之爬取笔趣阁小说的文章就介绍到这了,更多相关python爬取小说内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现身份证号码解析
Sep 01 Python
tensorflow输出权重值和偏差的方法
Feb 10 Python
python快速建立超简单的web服务器的实现方法
Feb 17 Python
Python 从一个文件中调用另一个文件的类方法
Jan 10 Python
在python中实现强制关闭线程的示例
Jan 22 Python
Python3.6.x中内置函数总结及讲解
Feb 22 Python
Python sep参数使用方法详解
Feb 12 Python
python3注册全局热键的实现
Mar 22 Python
python多进程下的生产者和消费者模型
May 07 Python
python中列表的含义及用法
May 26 Python
Python astype(np.float)函数使用方法解析
Jun 08 Python
OpenCV-Python实现怀旧滤镜与连环画滤镜
Jun 09 Python
python获取淘宝服务器时间的代码示例
Apr 22 #Python
详解Django中 render() 函数的使用方法
python tkinter实现定时关机
Python爬虫之爬取某文库文档数据
Apr 21 #Python
Python数据分析之pandas函数详解
Apr 21 #Python
python基础之停用词过滤详解
Apr 21 #Python
python 模拟在天空中放风筝的示例代码
You might like
PHP filter_var() 函数 Filter 函数
2012/04/25 PHP
PHP $_FILES中error返回值详解
2014/01/30 PHP
PHP使用Session遇到的一个Permission denied Notice解决办法
2014/07/30 PHP
php通过asort()给关联数组按照值排序的方法
2015/03/18 PHP
PHP中生成UUID自定义函数分享
2015/06/10 PHP
详解PHP处理字符串类似indexof的方法函数
2017/06/11 PHP
PHP实现的用户注册表单验证功能简单示例
2019/02/25 PHP
PHP+Apache实现二级域名之间共享cookie的方法
2019/07/24 PHP
javascript面向对象入门基础详细介绍
2012/09/05 Javascript
js调试工具Console命令详解
2014/10/21 Javascript
JS封装cookie操作函数实例(设置、读取、删除)
2015/11/17 Javascript
原生JavaScript实现异步多文件上传
2015/12/02 Javascript
JavaScript Math 对象常用方法总结
2016/04/28 Javascript
基于WebUploader的文件上传js插件
2016/08/19 Javascript
jQuery模拟Marquee实现无缝滚动效果完整实例
2016/09/29 Javascript
AngularJs篇:使用AngularJs打造一个简易权限系统的实现代码
2016/12/26 Javascript
JavaScript数组和对象的复制
2017/03/21 Javascript
nodejs实现的连接MySQL数据库功能示例
2018/01/25 NodeJs
详解使用Next.js构建服务端渲染应用
2018/07/10 Javascript
Elementui表格组件+sortablejs实现行拖拽排序的示例代码
2019/08/28 Javascript
原生JS实现拖拽效果
2020/12/04 Javascript
Vue+element-ui添加自定义右键菜单的方法示例
2020/12/08 Vue.js
将Python代码打包为jar软件的简单方法
2015/08/04 Python
Python判断两个文件是否相同与两个文本进行相同项筛选的方法
2019/03/01 Python
Python列表删除元素del、pop()和remove()的区别小结
2019/09/11 Python
Python集成开发工具Pycharm的安装和使用详解
2020/03/18 Python
PyQt5+Pycharm安装和配置图文教程详解
2020/03/24 Python
python使用re模块爬取豆瓣Top250电影
2020/10/20 Python
python 用opencv实现霍夫线变换
2020/11/27 Python
浅析两列自适应布局的3种思路
2016/05/03 HTML / CSS
享受加州生活方式的时尚舒适:XCVI
2018/07/09 全球购物
管理科学大学生求职信
2013/11/13 职场文书
18岁生日感言
2014/01/12 职场文书
奥巴马连任演讲稿
2014/05/15 职场文书
领导班子专题民主生活会情况想汇报
2014/09/30 职场文书
一文了解Java动态代理的原理及实现
2022/07/07 Java/Android