详解Python静态网页爬取获取高清壁纸


Posted in Python onApril 23, 2019

前言

在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤

一般地,我们去网上批量打开壁纸的时候一般操作如下:

1、打开壁纸网页

2、单击壁纸图(打开指定壁纸的页面)

3、选择分辨率(我们要下载高清的图)

4、保存图片

实际操作时,我们实现了如下几步网页地址的访问:打开了壁纸的网页→单击壁纸图打开指定页面→选择分辨率,点击后打开最终保存目标图片网页→保存图片

在爬虫的过程中我们就尝试通过模拟浏览器打开网页的操作,一步步获得、访问网页、最后获得目标图片的下载地址,对图片进行下载保存到指定路径中

*这些中间过程中网页的一些具体筛选条件的构造,需要打开指定页面的源代码去观察和寻找包含有目的链接的标签

具体实现项目与注释

这里我只想获得一些指定的图片,所以我先在网页上搜索“长门有希”,打开了一个搜索结果页面,发现在这个页面上就已经包含了同类型的其他壁纸链接,于是我一开始就把最初访问的目的地址设置为这个搜索结果页面

目标结果页面截图:

详解Python静态网页爬取获取高清壁纸

图中下标为"1/29"."2/29"为其他同类型目标壁纸,通过点击这些图片我们可以打开新的目标下载图片页面

这里我们查看一下网页源代码

详解Python静态网页爬取获取高清壁纸

图中黄色底的地方就是打开这些同类壁纸的目的地址(访问的时候需要加上前缀"http://desk.zol.com.cn")

现在我们可以尝试实现构建爬虫:

打开指定页面→筛选获得所有长门有希壁纸的目标下载页面链接

代码如下:

详解Python静态网页爬取获取高清壁纸

获得地址以后我们可以通过获取地址→打开指定页面→选择分辨率→获得目的下载地址→保存到本地指定路径中

在测试的时候我输出了一下上一步truelist中保存的内容

 详解Python静态网页爬取获取高清壁纸

可以看到保存的只是一个后缀,在访问的时候我们需要加上一个指定的前缀

实现代码如下(注释见代码):

详解Python静态网页爬取获取高清壁纸

 最后可以在自己的目标文件夹中看到爬下来的图片集~

详解Python静态网页爬取获取高清壁纸

以上所述是小编给大家介绍的Python爬取高清壁纸详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Flask框架学习笔记(一)安装篇(windows安装与centos安装)
Jun 25 Python
跟老齐学Python之Python安装
Sep 12 Python
Python 多进程和数据传递的理解
Oct 09 Python
Python2与Python3的区别实例分析
Apr 11 Python
Django 开发调试工具 Django-debug-toolbar使用详解
Jul 23 Python
Django Admin中增加导出CSV功能过程解析
Sep 04 Python
Python中socket网络通信是干嘛的
May 27 Python
python 如何利用argparse解析命令行参数
Sep 11 Python
Django通过设置CORS解决跨域问题
Nov 26 Python
matplotlib 画动态图以及plt.ion()和plt.ioff()的使用详解
Jan 05 Python
python基础之爬虫入门
May 10 Python
利用python进行数据加载
Jun 20 Python
Python matplotlib画图与中文设置操作实例分析
Apr 23 #Python
Python实现的删除重复文件或图片功能示例【去重】
Apr 23 #Python
详解Python 函数如何重载?
Apr 23 #Python
解决Django生产环境无法加载静态文件问题的解决
Apr 23 #Python
Python 存储字符串时节省空间的方法
Apr 23 #Python
Django页面数据的缓存与使用的具体方法
Apr 23 #Python
Python切片操作去除字符串首尾的空格
Apr 22 #Python
You might like
第1次亲密接触PHP5(2)
2006/10/09 PHP
php和数据库结合的一个简单的web实例 代码分析 (php初学者)
2011/07/28 PHP
windows7下安装php的imagick和imagemagick扩展教程
2014/07/04 PHP
CI框架学习笔记(一) - 环境安装、基本术语和框架流程
2014/10/26 PHP
ThinkPHP实现二级循环读取的方法
2014/11/03 PHP
php类自动装载、链式操作、魔术方法实现代码
2017/07/23 PHP
HTML TO JavaScript 转换
2006/06/26 Javascript
javascript 火狐(firefox)不显示本地图片问题解决
2008/07/05 Javascript
基于Jquery的开发个代阴影的对话框效果代码
2011/07/28 Javascript
JavaScript中的私有/静态属性介绍
2012/07/26 Javascript
禁止页面刷新让F5快捷键及右键都无效
2014/01/22 Javascript
基于jquery固定于顶部的导航响应浏览器滚动条事件
2014/11/02 Javascript
全面解析JavaScript中apply和call以及bind(推荐)
2016/06/15 Javascript
微信小程序表单验证功能完整实例
2017/12/01 Javascript
angular 服务的单例模式(依赖注入模式下)详解
2018/10/22 Javascript
详解vue-cli3多环境打包配置
2019/03/28 Javascript
使用webpack/gulp构建TypeScript项目的方法示例
2019/12/18 Javascript
vue 项目引入echarts 添加点击事件操作
2020/09/09 Javascript
在Vue中使用Viser说明(基于AntV-G2可视化引擎)
2020/10/28 Javascript
[50:20]DOTA2上海特级锦标赛主赛事日 - 5 总决赛Liquid VS Secret第四局
2016/03/06 DOTA
python中django框架通过正则搜索页面上email地址的方法
2015/03/21 Python
将Django项目部署到CentOs服务器中
2018/10/18 Python
python 自定义对象的打印方法
2019/01/12 Python
Python实现决策树并且使用Graphviz可视化的例子
2019/08/09 Python
python如何使用Redis构建分布式锁
2020/01/16 Python
将pymysql获取到的数据类型是tuple转化为pandas方式
2020/05/15 Python
python实现KNN近邻算法
2020/12/30 Python
numba提升python运行速度的实例方法
2021/01/25 Python
美国高端医师级美容产品电商:BeautifiedYou.com
2017/04/17 全球购物
俄罗斯电子产品、计算机和家用电器购物网站:OLDI
2019/10/27 全球购物
中软Java笔试题
2012/11/11 面试题
信访工作经验交流材料
2014/05/23 职场文书
幼儿园感恩节活动总结
2015/03/24 职场文书
2015年学校工作总结范文
2015/04/20 职场文书
2016大学先进团支部事迹材料
2016/03/01 职场文书
入党申请书怎么写?
2019/06/21 职场文书