Python爬虫入门案例之回车桌面壁纸网美女图片采集


Posted in Python onOctober 16, 2021

知识点

  • requests
  • parsel
  • re
  • os

环境

  •  python3.8
  • pycharm2021

目标网址:

https://mm.enterdesk.com/bizhi/63899-347866.html

Python爬虫入门案例之回车桌面壁纸网美女图片采集

【付费VIP完整版】只要看了就能学会的教程,80集Python基础入门视频教学

点这里即可免费在线观看

注意: 在我们查看网页源代码的时候 (1. 控制台为准 2. 以右键查看网页源代码 3. 元素面板)

  • 发送网络请求
  • 获取网页源代码
  • 提取想要的图片链接   css样式提取 xpath re正则表达式 bs4
  • 替换所有的图片链接 换成大图
  • 保存图片

爬虫代码

导入模块

import requests     # 第三方库 pip install requests
import parsel       # 第三方库 pip install parsel
import os           # 新建文件夹

发送网络请求

response = requests.get('https://mm.enterdesk.com/bizhi/64011-348522.html')

获取网页源代码

data_html = response_1.text

提取每个相册的详情页链接地址

selector_1 = parsel.Selector(data_html)
photo_url_list = selector_1.css('.egeli_pic_dl dd a::attr(href)').getall()
title_list = selector_1.css('.egeli_pic_dl dd a img::attr(title)').getall()
for photo_url, title in zip(photo_url_list, title_list):
    print(f'*****************正在爬取{title}*****************')
    response = requests.get(photo_url)
    # <Response [200]>: 请求成功的标识
    selector = parsel.Selector(response.text)
    # 提取想要的图片链接[第一个链接, 第二个链接,....]
    img_src_list = selector.css('.swiper-wrapper a img::attr(src)').getall()
    # 新建一个文件夹
    if not os.path.exists('img/' + title):
        os.mkdir('img/' + title)

替换所有的图片链接 换成大图

for img_src in img_src_list:
    # 字符串的替换
    img_url = img_src.replace('_360_360', '_source')

保存图片 图片名字

# 图片 音频 视频 二进制数据content
img_data = requests.get(img_url).content
# 图片名称 字符串分割
# 分割完之后 会给我们返回一个列表
img_title = img_url.split('/')[-1]
with open(f'img/{title}/{img_title}', mode='wb') as f:
    f.write(img_data)
print(img_title, '保存成功!!!')

翻页

page_html = requests.get('https://mm.enterdesk.com/').text
counts = parsel.Selector(page_html).css('.wrap.no_a::attr(href)').get().split('/')[-1].split('.')[0]
for page in range(1, int(counts) + 1):
    print(f'------------------------------------正在爬取第{page}页------------------------------------')
    发送网络请求
    response_1 = requests.get(f'https://mm.enterdesk.com/{page}.html')

爬取结果

Python爬虫入门案例之回车桌面壁纸网美女图片采集

Python爬虫入门案例之回车桌面壁纸网美女图片采集

Python爬虫入门案例之回车桌面壁纸网美女图片采集

到此这篇关于Python爬虫入门案例之回车桌面壁纸网美女图片采集的文章就介绍到这了,更多相关Python 图片采集内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python使用in操作符时元组和数组的区别分析
May 19 Python
对python中数据集划分函数StratifiedShuffleSplit的使用详解
Dec 11 Python
python对于requests的封装方法详解
Jan 03 Python
在python中利用opencv简单做图片比对的方法
Jan 24 Python
python处理DICOM并计算三维模型体积
Feb 26 Python
python3使用matplotlib绘制条形图
Mar 25 Python
python3 小数位的四舍五入(用两种方法解决round 遇5不进)
Apr 11 Python
python 动态迁移solr数据过程解析
Sep 04 Python
Pandas读取csv时如何设置列名
Jun 02 Python
python三引号如何输入
Jul 06 Python
python/golang实现循环链表的示例代码
Sep 14 Python
Python Unittest原理及基本使用方法
Nov 06 Python
Python Django模型详解
Python 阶乘详解
Oct 05 #Python
Python 实现Mac 屏幕截图详解
基于Python和openCV实现图像的全景拼接详细步骤
C3 线性化算法与 MRO之Python中的多继承
Python编程super应用场景及示例解析
Python编程源码报错解决方法总结经验分享
Oct 05 #Python
You might like
PHP5 安装方法
2006/10/09 PHP
PHP 简单日历实现代码
2009/10/28 PHP
PHP中=赋值操作符对不同数据类型的不同行为
2011/01/02 PHP
JAVASCRIPT下判断IE与FF的比较简单的方式
2008/10/17 Javascript
ajax无刷新动态调用股票信息(改良版)
2008/11/01 Javascript
检测是否已安装 .NET Framework 3.5的js脚本
2009/02/14 Javascript
理解JavaScript中的对象 推荐
2011/01/09 Javascript
Node.js实战 建立简单的Web服务器
2012/03/08 Javascript
jquery动画3.创建一个带遮罩效果的图片走廊
2012/08/24 Javascript
jQuery中:last-child选择器用法实例
2014/12/31 Javascript
js+CSS实现模拟华丽的select控件下拉菜单效果
2015/09/01 Javascript
javascript事件冒泡简单示例
2016/06/20 Javascript
深入理解JavaScript中的for循环
2017/02/07 Javascript
bootstrap table 多选框分页保留示例代码
2017/03/08 Javascript
bootstrap响应式表格实例详解
2017/05/15 Javascript
浅析JavaScript中的平稳退化(graceful degradation)
2017/07/24 Javascript
Vue项目从webpack3.x升级webpack4不完全指南
2019/04/28 Javascript
jquery+css实现Tab栏切换的代码实例
2019/05/14 jQuery
TypeScript的安装、使用、自动编译的实现
2020/04/10 Javascript
详细分析Node.js 多进程
2020/06/22 Javascript
微信小程序实现身份证取景框拍摄
2020/09/09 Javascript
[03:10]2014DOTA2 TI马来劲旅Titan首战告捷目标只是8强
2014/07/10 DOTA
常用python数据类型转换函数总结
2014/03/11 Python
Python中函数的用法实例教程
2014/09/08 Python
pip命令无法使用的解决方法
2018/06/12 Python
利用Python读取txt文档的方法讲解
2018/06/23 Python
Python参数解析模块sys、getopt、argparse使用与对比分析
2019/04/02 Python
解决yum对python依赖版本问题
2019/07/05 Python
关于.NET, HTML的五个问题
2012/08/29 面试题
应聘教师自荐信
2013/10/12 职场文书
竞职演讲稿范文
2014/01/11 职场文书
社区工作者先进事迹
2014/01/18 职场文书
党的群众路线教育实践活动领导班子整改措施
2014/10/28 职场文书
浪漫的婚礼主持词
2015/06/30 职场文书
2016年入党心得体会范文
2016/01/23 职场文书
一文帮你理解PReact10.5.13源码
2021/04/03 Javascript