python爬取”顶点小说网“《纯阳剑尊》的示例代码


Posted in Python onOctober 16, 2020

爬取”顶点小说网“《纯阳剑尊》

代码

import requests
from bs4 import BeautifulSoup
# 反爬
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, \
  like Gecko) Chrome/70.0.3538.102 Safari/537.36'
}

# 获得请求
def open_url(url):
  response = requests.get(url, headers=headers)
  response.encoding = response.apparent_encoding
  html = response.text
  return html

# 提取标题
def get_title(url):
  soup = BeautifulSoup(url, 'lxml')
  title_tag = soup.find('dd')
  title = '\n' + title_tag.h1.get_text() + '\n'
  return title

# 提取文本
def get_texts(url):
  soup2 = BeautifulSoup(url, 'lxml')
  text_tags = soup2.find_all('dd', id="contents")
  return text_tags

# 保存标题
def save_title(filename, title):
  with open(filename, 'a+', encoding='utf-8') as file:
    file.write(title)

# 保存文本
def save_text(filename, text):
  with open(filename, 'a+', encoding='utf-8') as file:
    file.write(text)

# 主程序函数
def main():
  num = input('《纯阳剑尊》你想要下载第几章?(1-802)')
  num = int(num)
  number = 8184027 + num
  url = 'https://www.23us.so/files/article/html/15/15905/' + str(number) + '.html'
  filename = '纯阳剑尊.txt'
  r = open_url(url)
  title = get_title(r)
  tags = get_texts(r)
  save_title(filename, title)
  for text_tag in tags:
    text = text_tag.get_text() + '\n'
    save_text(filename, text)
  print('第{}章已经下载完成!'.format(num))

if __name__ == '__main__':
  main()

爬取结果:

python爬取”顶点小说网“《纯阳剑尊》的示例代码

python爬取”顶点小说网“《纯阳剑尊》的示例代码

以上就是python爬取”顶点小说网“《纯阳剑尊》的示例代码的详细内容,更多关于python 爬取顶点小说网的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python 变量类型及命名规则介绍
Jun 08 Python
Python中index()和seek()的用法(详解)
Apr 27 Python
用pickle存储Python的原生对象方法
Apr 28 Python
理解python中生成器用法
Dec 20 Python
Python调用C语言的实现
Jul 26 Python
Python 图像对比度增强的几种方法(小结)
Sep 25 Python
python基于TCP实现的文件下载器功能案例
Dec 10 Python
pytorch 模型的train模式与eval模式实例
Feb 20 Python
django中的数据库迁移的实现
Mar 16 Python
python报错: 'list' object has no attribute 'shape'的解决
Jul 15 Python
Python中Qslider控件实操详解
Feb 20 Python
分享几种python 变量合并方法
Mar 20 Python
Python使用内置函数setattr设置对象的属性值
Oct 16 #Python
python pymysql库的常用操作
Oct 16 #Python
Python基于callable函数检测对象是否可被调用
Oct 16 #Python
python collections模块的使用
Oct 16 #Python
python 如何使用find和find_all爬虫、找文本的实现
Oct 16 #Python
Django实现随机图形验证码的示例
Oct 15 #Python
如何使用Python自动生成报表并以邮件发送
Oct 15 #Python
You might like
PHP中文处理 中文字符串截取(mb_substr)和获取中文字符串字数
2011/11/10 PHP
mysql,mysqli,PDO的各自不同介绍
2012/09/19 PHP
开启PHP的伪静态模式
2015/12/31 PHP
php array_values 返回数组的值实例详解
2016/11/17 PHP
PHP下载大文件失败并限制下载速度的实例代码
2019/05/10 PHP
PHP 构造函数和析构函数原理与用法分析
2020/04/21 PHP
jquery事件机制扩展插件 jquery鼠标右键事件
2011/12/21 Javascript
jquery获取颜色在ie和ff下的区别示例介绍
2014/03/28 Javascript
JS、DOM和JQuery之间的关系示例分析
2014/04/09 Javascript
JS简单模拟触发按钮点击功能的方法
2015/11/30 Javascript
JS+Canvas绘制时钟效果
2020/08/20 Javascript
javascript 网页进度条简单实例
2017/02/22 Javascript
深入浅析AngularJS中的一次性数据绑定 (bindonce)
2017/05/11 Javascript
原生js jquery ajax请求以及jsonp的调用方法
2017/08/04 jQuery
hammer.js实现图片手势放大效果
2017/08/29 Javascript
layui固定下拉框的显示条数(有滚动条)的方法
2019/09/10 Javascript
JavaScript 常见的继承方式汇总
2020/09/17 Javascript
[02:32]DOTA2英雄基础教程 美杜莎
2014/01/07 DOTA
[01:32]dota2拉比克至宝(222)
2018/12/20 DOTA
[01:07:15]DOTA2-DPC中国联赛 正赛 DLG vs XG BO3 第二场 1月25日
2021/03/11 DOTA
对python过滤器和lambda函数的用法详解
2019/01/21 Python
python 实现矩阵上下/左右翻转,转置的示例
2019/01/23 Python
Python学习笔记之图片人脸检测识别实例教程
2019/03/06 Python
python 发送json数据操作实例分析
2019/10/15 Python
python中文分词库jieba使用方法详解
2020/02/11 Python
解决pycharm debug时界面下方不出现step等按钮及变量值的问题
2020/06/09 Python
keras.utils.to_categorical和one hot格式解析
2020/07/02 Python
世界上最大的餐具公司:Oneida
2016/12/17 全球购物
哄娃神器4moms商店:美国婴童用品品牌
2019/03/07 全球购物
size?爱尔兰官方网站:英国伦敦的球鞋精品店
2019/03/31 全球购物
2014年领班工作总结
2014/11/25 职场文书
给老婆的保证书
2015/01/16 职场文书
项目负责人岗位职责
2015/02/15 职场文书
Python3 多线程(连接池)操作MySQL插入数据
2021/06/09 Python
Python简易开发之制作计算器
2022/04/28 Python
使用ICOM IC-R9500接收机同时测评十台收音机中波接收性能
2022/05/10 无线电