Python爬虫入门案例之回车桌面壁纸网美女图片采集


Posted in Python onOctober 16, 2021

知识点

  • requests
  • parsel
  • re
  • os

环境

  •  python3.8
  • pycharm2021

目标网址:

https://mm.enterdesk.com/bizhi/63899-347866.html

Python爬虫入门案例之回车桌面壁纸网美女图片采集

【付费VIP完整版】只要看了就能学会的教程,80集Python基础入门视频教学

点这里即可免费在线观看

注意: 在我们查看网页源代码的时候 (1. 控制台为准 2. 以右键查看网页源代码 3. 元素面板)

  • 发送网络请求
  • 获取网页源代码
  • 提取想要的图片链接   css样式提取 xpath re正则表达式 bs4
  • 替换所有的图片链接 换成大图
  • 保存图片

爬虫代码

导入模块

import requests     # 第三方库 pip install requests
import parsel       # 第三方库 pip install parsel
import os           # 新建文件夹

发送网络请求

response = requests.get('https://mm.enterdesk.com/bizhi/64011-348522.html')

获取网页源代码

data_html = response_1.text

提取每个相册的详情页链接地址

selector_1 = parsel.Selector(data_html)
photo_url_list = selector_1.css('.egeli_pic_dl dd a::attr(href)').getall()
title_list = selector_1.css('.egeli_pic_dl dd a img::attr(title)').getall()
for photo_url, title in zip(photo_url_list, title_list):
    print(f'*****************正在爬取{title}*****************')
    response = requests.get(photo_url)
    # <Response [200]>: 请求成功的标识
    selector = parsel.Selector(response.text)
    # 提取想要的图片链接[第一个链接, 第二个链接,....]
    img_src_list = selector.css('.swiper-wrapper a img::attr(src)').getall()
    # 新建一个文件夹
    if not os.path.exists('img/' + title):
        os.mkdir('img/' + title)

替换所有的图片链接 换成大图

for img_src in img_src_list:
    # 字符串的替换
    img_url = img_src.replace('_360_360', '_source')

保存图片 图片名字

# 图片 音频 视频 二进制数据content
img_data = requests.get(img_url).content
# 图片名称 字符串分割
# 分割完之后 会给我们返回一个列表
img_title = img_url.split('/')[-1]
with open(f'img/{title}/{img_title}', mode='wb') as f:
    f.write(img_data)
print(img_title, '保存成功!!!')

翻页

page_html = requests.get('https://mm.enterdesk.com/').text
counts = parsel.Selector(page_html).css('.wrap.no_a::attr(href)').get().split('/')[-1].split('.')[0]
for page in range(1, int(counts) + 1):
    print(f'------------------------------------正在爬取第{page}页------------------------------------')
    发送网络请求
    response_1 = requests.get(f'https://mm.enterdesk.com/{page}.html')

爬取结果

Python爬虫入门案例之回车桌面壁纸网美女图片采集

Python爬虫入门案例之回车桌面壁纸网美女图片采集

Python爬虫入门案例之回车桌面壁纸网美女图片采集

到此这篇关于Python爬虫入门案例之回车桌面壁纸网美女图片采集的文章就介绍到这了,更多相关Python 图片采集内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python显示天气预报
Mar 02 Python
Python使用urllib模块的urlopen超时问题解决方法
Nov 08 Python
Python标准库之随机数 (math包、random包)介绍
Nov 25 Python
python操作mongodb根据_id查询数据的实现方法
May 20 Python
Python中装饰器兼容加括号和不加括号的写法详解
Jul 05 Python
python+django+sql学生信息管理后台开发
Jan 11 Python
浅谈tensorflow1.0 池化层(pooling)和全连接层(dense)
Apr 27 Python
python3实现多线程聊天室
Dec 12 Python
Python3获取电脑IP、主机名、Mac地址的方法示例
Apr 11 Python
python爬虫中多线程的使用详解
Sep 23 Python
pandas-resample按时间聚合实例
Dec 27 Python
Python中rapidjson参数校验实现
Jul 25 Python
Python Django模型详解
Python 阶乘详解
Oct 05 #Python
Python 实现Mac 屏幕截图详解
基于Python和openCV实现图像的全景拼接详细步骤
C3 线性化算法与 MRO之Python中的多继承
Python编程super应用场景及示例解析
Python编程源码报错解决方法总结经验分享
Oct 05 #Python
You might like
php实现jQuery扩展函数
2009/10/30 PHP
php使用codebase生成随机数
2014/03/25 PHP
destoon整合ucenter后注册页面不跳转的解决方法
2014/06/21 PHP
yii2.0使用Plupload实现带缩放功能的多图上传
2015/12/22 PHP
php pdo连接数据库操作示例
2019/11/18 PHP
window.open以post方式将内容提交到新窗口
2012/12/26 Javascript
Nodejs sublime text 3安装与配置
2014/06/19 NodeJs
影响jQuery使用的14个方面
2014/09/01 Javascript
教你使用javascript简单写一个页面模板引擎
2015/05/05 Javascript
在JavaScript中操作时间之setYear()方法的使用
2015/06/12 Javascript
jquery分隔Url的param方法(推荐)
2016/05/25 Javascript
原生JS实现《别踩白块》游戏(兼容IE)
2017/02/20 Javascript
简单实现js放大镜效果
2017/07/24 Javascript
Vue.js学习笔记之修饰符详解
2017/07/25 Javascript
通过javascript实现段落的收缩与展开
2019/06/26 Javascript
JS实现简易留言板(节点操作)
2020/03/16 Javascript
jQuery实现简单三级联动效果
2020/09/05 jQuery
Python实现CET查分的方法
2015/03/10 Python
Python程序退出方式小结
2017/12/09 Python
浅析Python3爬虫登录模拟
2018/02/07 Python
python实现简单图片物体标注工具
2019/03/18 Python
python opencv 简单阈值算法的实现
2019/08/04 Python
centos+nginx+uwsgi+Django实现IP+port访问服务器
2019/11/15 Python
Python中过滤字符串列表的方法
2020/12/22 Python
Marlies Dekkers内衣法国官方网上商店:国际知名的荷兰内衣品牌
2019/03/18 全球购物
ProForm英国站点:健身房和健身器材网上商店
2019/06/05 全球购物
Club Monaco加拿大官网:设计师男女服装
2019/09/29 全球购物
《十六年前的回忆》教学反思
2014/02/14 职场文书
介绍信怎么写
2015/01/30 职场文书
客服专员岗位职责范本
2015/04/07 职场文书
车间质检员岗位职责
2015/04/08 职场文书
起诉书范文
2015/05/20 职场文书
单位领导婚礼致辞
2015/07/28 职场文书
党员反腐倡廉学习心得体会
2015/08/15 职场文书
写给消防战士们的一封慰问信
2019/10/07 职场文书
python 批量压缩图片的脚本
2021/06/02 Python