python爬虫实例之获取动漫截图


Posted in Python onMay 31, 2020

引言

之前有些无聊(呆在家里实在玩的腻了),然后就去B站看了一些python爬虫视频,没有进行基础的理论学习,也就是直接开始实战,感觉跟背公式一样的进行爬虫,也算行吧,至少还能爬一些东西,hhh。我今天来分享一个我的爬虫代码。

正文

话不多说,直接上完整代码

ps:这个代码有些问题 每次我爬到fate的图片它就给我报错,我只好用个try来跳过了,如果有哪位大佬能帮我找出错误并给与纠正,我将不胜感激

import requests as r
import re
import os
import time
file_name = "动漫截图"
if not os.path.exists(file_name):
 os.mkdir(file_name)
    
for p in range(1,34):
  print("--------------------正在爬取第{}页内容------------------".format(p))
  url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)
  headers = {"user-agent"
   : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36"}
   
  resp = r.get(url, headers=headers) 
  html = resp.text

  images = re.findall('data-original="(.*?)" ', html)
  names =re.findall('title="(.*?)"', html)
  #print(images)
  #print(names)
  dic = dict(zip(images, names))
  for image in images:
    time.sleep(1)
    print(image, dic[image])
    name = dic[image]
    #name = image.split('/')[-1]
    i = r.get(image, headers=headers).content
    try:
      with open(file_name + '/' + name + '.jpg' , 'wb') as f:
       f.write(i)
    except FileNotFoundError:
     continue

先导入要使用的库

import requests as r
import re
import os
import time

然后去分析要去爬的网址: https://www.acgimage.com/shot/recommend

下图是网址的内容:

python爬虫实例之获取动漫截图

好了 url已经确定

下面去寻找headers

python爬虫实例之获取动漫截图

找到user-agent 将其内容复制到headers中

第一步就完成了

下面是代码展示

url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)
headers = {"user-agent"
   : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36"
   }

然后检索要爬的图片内容

python爬虫实例之获取动漫截图

从上图就可以找到图片的位置:data-origina=后面的内容
以及图片的名字:title=后面的内容

然后用正则表达式re来检索就行了

images = re.findall('data-original="(.*?)" ', html)
names =re.findall('title="(.*?)"', html)

最后将其保存就好了

i = r.get(image, headers=headers).content
with open(file_name + '/' + name + '.jpg' , 'wb') as f:
     f.write(i)

还有就是一些细节了

比如换页

第一页网址:

https://www.acgimage.com/shot/recommend

第二页网址:https://www.acgimage.com/shot/recommend?page=2

然后将page后面的数字改动就可以跳到相应的页面

换页的问题也就解决了

or p in range(1,34):
    url = 'https://www.acgimage.com/shot/recommend?page={}'.format(p)

以及将爬到的图片放到自己建立的文件zh

使用了os库

file_name = "动漫截图"
 if not os.path.exists(file_name):
   os.mkdir(file_name)

以及为了不影响爬取的网站 使用了sleep函数

虽然爬取的速度慢了一些

但是这是应遵守的道德

time.sleep(1)

以上 这就是我的爬虫过程

还是希望大佬能解决我的错误之处

万分感谢

总结

到此这篇关于python爬虫实例之获取动漫截图的文章就介绍到这了,更多相关python爬虫获取动漫截图内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现html转ubb代码(html2ubb)
Jul 03 Python
Python中用sleep()方法操作时间的教程
May 22 Python
Python内存管理方式和垃圾回收算法解析
Nov 11 Python
python实现人民币大写转换
Jun 20 Python
python使用turtle库绘制树
Jun 25 Python
python 读取文本文件的行数据,文件.splitlines()的方法
Jul 12 Python
Flask框架Jinjia模板常用语法总结
Jul 19 Python
python利用Tesseract识别验证码的方法示例
Jan 21 Python
Python实现判断一个整数是否为回文数算法示例
Mar 02 Python
Python pysnmp使用方法及代码实例
Aug 24 Python
python从ftp获取文件并下载到本地
Dec 05 Python
python中HTMLParser模块知识点总结
Jan 25 Python
如何利用Python识别图片中的文字
May 31 #Python
Python模拟登入的N种方式(建议收藏)
May 31 #Python
Python多线程正确用法实例解析
May 30 #Python
PyQt5实现简单的计算器
May 30 #Python
PyQt5实现登录页面
May 30 #Python
Python网页解析器使用实例详解
May 30 #Python
PyQt5实现画布小程序
May 30 #Python
You might like
删除及到期域名的查看(抢域名必备哦)
2008/05/14 PHP
解析如何通过PHP函数获取当前运行的环境 来进行判断执行逻辑(小技巧)
2013/06/25 PHP
php中static 静态变量和普通变量的区别
2016/12/01 PHP
PHP sdk实现在线打包代码示例
2020/12/09 PHP
由prototype_1.3.1进入javascript殿堂-类的初探
2006/11/06 Javascript
基于jquery的获取浏览器窗口大小的代码
2011/03/28 Javascript
探索Emberjs制作一个简单的Todo应用
2012/11/07 Javascript
jquery滚动组件(vticker.js)实现页面动态数据的滚动效果
2013/07/03 Javascript
JSON 数字排序多字段排序介绍
2013/09/18 Javascript
自己使用jquery写的一个无缝滚动的插件
2014/04/30 Javascript
jqueryUI里拖拽排序示例分析
2015/02/26 Javascript
JavaScript模拟深蓝vs卡斯帕罗夫的国际象棋对局示例
2015/04/22 Javascript
jQuery插件制作之参数用法实例分析
2015/06/01 Javascript
javascript的列表切换【实现代码】
2016/05/03 Javascript
Bootstrap按钮下拉菜单组件详解
2016/05/10 Javascript
Omi v1.0.2发布正式支持传递javascript表达式
2017/03/21 Javascript
纯js实现图片匀速淡入淡出效果
2017/08/22 Javascript
微信小程序实现文字从右向左无限滚动
2020/11/18 Javascript
Vue 中如何正确引入第三方模块的方法步骤
2019/05/05 Javascript
Python写的英文字符大小写转换代码示例
2015/03/06 Python
Python-OpenCV基本操作方法详解
2018/04/02 Python
python去掉 unicode 字符串前面的u方法
2018/10/21 Python
Python去除字符串前后空格的几种方法
2019/03/04 Python
Python处理时间日期坐标轴过程详解
2019/06/25 Python
tornado+celery的简单使用详解
2019/12/21 Python
python实现飞行棋游戏
2020/02/05 Python
解决jupyter notebook打不开无反应 浏览器未启动的问题
2020/04/10 Python
CSS3 实现弹跳的小球动画
2020/10/26 HTML / CSS
百思买加拿大:Best Buy Canada
2018/03/20 全球购物
澳大利亚快时尚鞋类市场:Billini
2018/05/20 全球购物
统计学专业毕业生的自我评价分享
2013/11/28 职场文书
工作会议方案
2014/05/21 职场文书
公务员的复习计划书,请收下!
2019/07/15 职场文书
PyQt5 显示超清高分辨率图片的方法
2021/04/11 Python
Python中threading库实现线程锁与释放锁
2021/05/17 Python
python文本处理的方案(结巴分词并去除符号)
2021/05/26 Python