Python 批量下载阴阳师网站壁纸


Posted in Python onMay 19, 2021

代码复制可直接使用,记得pip install下载requests和bs4

最终版本

# 引入系统类库用于打开关闭文件
import sys
# 使用文档解析类库
from bs4 import BeautifulSoup
# 使用网络请求类库
import requests

#图片保存目录
path = 'D:/阴阳师' 
#阴阳师壁纸网站
html_doc = "https://yys.163.com/media/picture.html" 

# 请求
requests_html_doc = requests.get(html_doc).text
# 正则匹配所有href地址
regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')
urls = regex.findall(requests_html_doc)

# set集合可以防止下载的图片重复
result = set()
for i in urls:
    result.add(i)

# 计数器用于图片命名
num = 0

# 文件路径、操作模式、编码  # r''
# 打开文件录入图片
f = open(r'result.txt', 'w', encoding='utf-8')
for a in urls:
    try:
        image_data = requests.get(a).content
        image_name = '{}.jpg'.format(num)  # 给每张图片命名
        save_path = path + '/' + image_name  # 图片的保存地址
        with open(save_path, 'wb') as f:
            f.write(image_data)
            print(image_name, '=======================>下载成功!!!')
            num = num+1  # 下一张图片名字序号加一
    except:
        pass
# 关闭文件录入
f.close()
print("\r\n扫描结果已写入到result.txt文件中\r\n")

过程

借鉴代码

自己从0开始,没有头绪,而且对python掌握度不高,那先借鉴别人的代码开始,第一篇借鉴的代码如下

# 引入系统类库
import sys
# 使用文档解析类库
from bs4 import BeautifulSoup
# 使用网络请求类库
import urllib.request
path = 'D:/阴阳师'

html_doc = "https://yys.163.com/media/picture.html"
# 获取请求
req = urllib.request.Request(html_doc)
# 打开页面
webpage = urllib.request.urlopen(req)

# 读取页面内容
html = webpage.read()
# 解析成文档对象
soup = BeautifulSoup(html, 'html.parser')  # 文档对象

# 非法URL 1
invalidLink1 = '#'
# 非法URL 2
invalidLink2 = 'javascript:void(0)'
# set集合可以防止下载的图片连接重复
result = set()
# 计数器用于图片命名
num = 0
# 查找文档中所有a标签
for k in soup.find_all('a'):
    # print(k)
    # 查找href标签
    link = k.get('href')
    # 过滤没找到的
    if(link is not None):
        # 过滤非法链接
        if link == invalidLink1:
            pass
        elif link == invalidLink2:
            pass
        elif link.find("javascript:") != -1:
            pass
        else:
            result.add(link)

for a in result:
    # 文件路径、操作模式、编码  # r''
    f = open(r'result.txt', 'w', encoding='utf-8')
    # image_data = urllib.request.get(url=a).content
    image_data = requests.get(url=a).content
    image_name = '{}.jpg'.format(num)  # 给每张图片命名
    save_path = path + '/' + image_name  # 图片的保存地址
    with open(save_path, 'wb') as f:
        f.write(image_data)
        print(image_name, '=======================>下载成功!!!')
        num = num+1  # 下一张图片名字序号加一
        f.close()

print("\r\n扫描结果已写入到result.txt文件中\r\n")

思考urllib.request和requests

借鉴的代码中使用urllib.request来请求,刚开始学习看到的一些代码实例也常用urllib.request来发起请求,之后看到有的代码使用的是requests。对于我个人,主观感受requests更加便捷,少写了几行代码,于是便去查阅了解两者的区别。

BeautifulSoup

接触到了BeautifulSoup,并且在一些文章的评论中看到对BeautifulSoup的称赞,进入文档查阅了下用法,改变了我之前对python,获取文档中部分特征的元素节点的写法困难的印象。

Beautiful Soup 4.4.0 文档

优化处理

之所以要加正则匹配,因为一开始获取到的图片链接里有空字符串的现象,在下载图片的时候直接报错整个程序挂掉,而且这个借鉴代码中的invalidLink1和invalidLink2看起来属实不舒服。所以添加了正则从源头保证链接的有效性,并且在执行下载代码中,添加了try,except保证程序出错也不会挂掉。

借鉴的代码中每一次的下载,都会对要保存的目录进行打开和关闭,于是将打开关闭抽离到最外层,下载的逻辑放在里面,下载图片成功的提速果然肉眼可见~

总结

壁纸确实不戳~,希望下一个学习的脚本能更加有趣~

以上就是Python 批量下载阴阳师网站壁纸的详细内容,更多关于python 下载阴阳师网站壁纸的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
给Python的Django框架下搭建的BLOG添加RSS功能的教程
Apr 08 Python
python中偏函数partial用法实例分析
Jul 08 Python
Python 出现错误TypeError: ‘NoneType’ object is not iterable解决办法
Jan 12 Python
python 读入多行数据的实例
Apr 19 Python
Python实现两个list求交集,并集,差集的方法示例
Aug 02 Python
解决python selenium3启动不了firefox的问题
Oct 13 Python
python+pyqt5实现图片批量缩放工具
Mar 18 Python
python实现kmp算法的实例代码
Apr 03 Python
python中将两组数据放在一起按照某一固定顺序shuffle的实例
Jul 15 Python
Python3将jpg转为pdf文件的方法示例
Dec 13 Python
python如何删除文件、目录
Jun 23 Python
C3 线性化算法与 MRO之Python中的多继承
Oct 05 Python
python 如何将两个实数矩阵合并为一个复数矩阵
May 19 #Python
python使用pywinauto驱动微信客户端实现公众号爬虫
python基于tkinter实现gif录屏功能
Python 读写 Matlab Mat 格式数据的操作
May 19 #Python
python3 hdf5文件 遍历代码
May 19 #Python
Python基础之元组与文件知识总结
Python使用protobuf序列化和反序列化的实现
You might like
关于php中的json_encode()和json_decode()函数的一些说明
2016/11/20 PHP
yii gridview实现时间段筛选功能
2017/08/15 PHP
详解php curl带有csrf-token验证模拟提交方法
2018/04/18 PHP
PHP替换Word中变量并导出PDF图片的实现方法
2020/11/26 PHP
二行代码解决全部网页木马
2008/03/28 Javascript
过虑特殊字符输入的js代码
2010/08/05 Javascript
setTimeout函数兼容各主流浏览器运行执行效果实例
2013/06/13 Javascript
js实现的折叠导航示例
2013/11/29 Javascript
使用JQ来编写最基本的淡入淡出效果附演示动画
2014/10/31 Javascript
jquery实现简单合拢与展开网页面板的方法
2015/09/01 Javascript
jQuery基于函数重载实现自定义Alert函数样式的方法
2016/07/27 Javascript
Javascript实现前端简单的路由实例
2016/09/11 Javascript
微信小程序 wx.uploadFile在安卓手机上面the same task is working问题解决
2016/12/14 Javascript
详解如何使用webpack+es6开发angular1.x
2017/08/16 Javascript
angularJs复选框checkbox选中进行ng-show显示隐藏的方法
2018/10/08 Javascript
解决idea开发遇到javascript动态添加html元素时中文乱码的问题
2020/09/29 Javascript
[00:20]DOTA2荣耀之路7:-ah fu-抢盾
2018/05/31 DOTA
Python 字符串操作实现代码(截取/替换/查找/分割)
2013/06/08 Python
如何在Python函数执行前后增加额外的行为
2016/10/20 Python
详解python 发送邮件实例代码
2016/12/22 Python
浅谈Python反射 & 单例模式
2019/03/21 Python
python 对字典按照value进行排序的方法
2019/05/09 Python
python绘制双Y轴折线图以及单Y轴双变量柱状图的实例
2019/07/08 Python
详解如何用python实现一个简单下载器的服务端和客户端
2019/10/28 Python
python-视频分帧&多帧合成视频实例
2019/12/10 Python
Python使用os.listdir和os.walk获取文件路径
2020/05/21 Python
Python 使用 PyQt5 开发的关机小工具分享
2020/07/16 Python
BOSE德国官网:尽探索之力,享音乐之极
2016/12/11 全球购物
布鲁明戴尔百货店:Bloomingdale’s
2016/12/21 全球购物
Ibood荷兰:互联网每日最佳在线优惠
2019/02/28 全球购物
原料仓管员岗位职责
2014/04/12 职场文书
小学生纪念九一八事变演讲稿
2014/09/14 职场文书
财务会计实训报告
2014/11/05 职场文书
实习指导教师评语
2014/12/30 职场文书
2015年营销工作总结范文
2015/04/23 职场文书
Python通过m3u8文件下载合并ts视频的操作
2021/04/16 Python