Python3爬取英雄联盟英雄皮肤大图实例代码


Posted in Python onNovember 14, 2018

爬虫思路

初步尝试

我先查看了network,并没有发现有可用的API;然后又用bs4去分析英雄列表页,但是请求到html里面,并没有英雄列表,在英雄列表的节点上,只有“正在加载中”这样的字样;同样的方法,分析英雄详情也是这种情况,所以我猜测,这些数据应该是Javascript负责加载的。

Python3爬取英雄联盟英雄皮肤大图实例代码

继续尝试

然后我就查看了 英雄列表的源代码 ,查看外部引入的js文件,以及行内的js脚本,大概在368行,发现了有处理英雄列表的js注释,然后继续往下读这些代码,发现了第一个彩蛋,也就是他引入了一个champion.js的文件,我猜测,这个应该就是英雄列表大全了,然后我打开了这个链接的js,一眼看过去,黑麻麻一片,然后格式化了一下压缩的js,确定这就是英雄列表的js数据文件了。

Python3爬取英雄联盟英雄皮肤大图实例代码

接着尝试

前面通过查看列表的源代码,找到了英雄列表的js数据文件,那么,我继续随机点开了一个英雄的详情,然后查看 英雄详情源代码 ,然后大概在568行看到有一个showSkin的js方法,通过这里,发现了第二个彩蛋,也就是皮肤图片的URL地址拼接方法。

Python3爬取英雄联盟英雄皮肤大图实例代码

最后尝试

上面找到了皮肤图片URL的拼接方法,并且发现了一行很关键的代码 var skin =LOLherojs.champion[heroid].data.skins ,也就是,这个skin变量,就是英雄皮肤的所有图片数组,但是这个文件内,并没有LOLherojs这个变量,也就是外部引入的,所以,需要继续查看下面的源代码,找到引入这个变量的位置,果不其然,在757行,发现了最后一个彩蛋,也就是,英雄皮肤的js文件,通过这里可以知道,每个英雄都有一个单独的js文件,并且知道了这个js文件的URL拼接方法。

Python3爬取英雄联盟英雄皮肤大图实例代码

思路总结

通过上面的分析,我们就得到了爬取LOL皮肤图片的所有数据准备了,也就是,直接,只需要提取js中的英雄列表以及英雄详情数据,就可实现我们的需求了。下面是运行后抓取到的图片……

Python3爬取英雄联盟英雄皮肤大图实例代码

运行环境

Python运行环境:python3.6

用到的模块:requests、json、urllib、os

未安装的模块,请使用pip instatll进行安装,例如:pip install requests

完整代码

其他啥的废话就不多说了,直接上完整代码,有问题,直接留言给我就行,另外,代码已上传 GitHub 。再说明一下,那些有问题的英雄详情的js文件,大家有时间也可以琢磨下,或者有其他的更加快捷的爬取这些图片的方法,也可以拿出来交流和讨论,谢谢。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
抓取英雄联盟英雄全皮肤
author: gxcuizy
date: 2018-11-13
"""
import requests
import json
from urllib import parse
import os
class GetLolSkin(object):
  """抓取LOL英雄皮肤"""
  def __init__(self):
    """初始化变量"""
    self.hero_url = 'https://lol.qq.com/biz/hero/champion.js'
    self.hero_detail_url = 'http://lol.qq.com/biz/hero/'
    self.skin_folder = 'skin'
    self.skin_url = 'https://ossweb-img.qq.com/images/lol/web201310/skin/big'
  @staticmethod
  def get_html(url):
    """下载html"""
    request = requests.get(url)
    request.encoding = 'gbk'
    if request.status_code == 200:
      return request.text
    else:
      return "{}"
  def get_hero_list(self):
    """获取英雄的完整信息列表"""
    hero_js = self.get_html(self.hero_url)
    # 删除左右的多余信息,得到json数据
    out_left = "if(!LOLherojs)var LOLherojs={};LOLherojs.champion="
    out_right = ';'
    hero_list = hero_js.replace(out_left, '').rstrip(out_right)
    return json.loads(hero_list)
  def get_hero_info(self, hero_id):
    """获取英雄的详细信息"""
    # 获取js详情
    detail_url = parse.urljoin(self.hero_detail_url, hero_id + '.js')
    detail_js = self.get_html(detail_url)
    # 删除左右的多余信息,得到json数据
    out_left = "if(!herojs)var herojs={champion:{}};herojs['champion'][%s]=" % hero_id
    out_right = ';'
    hero_info = detail_js.replace(out_left, '').rstrip(out_right)
    return json.loads(hero_info)
  def download_skin_list(self, skin_list, hero_name):
    """下载皮肤列表"""
    # 循环下载皮肤
    for skin_info in skin_list:
      # 拼接图片名字
      if skin_info['name'] == 'default':
        skin_name = '默认皮肤'
      else:
        if ' ' in skin_info['name']:
          name_info = skin_info['name'].split(' ')
          skin_name = name_info[0]
        else:
          skin_name = skin_info['name']
      hero_skin_name = hero_name + '-' + skin_name + '.jpg'
      self.download_skin(skin_info['id'], hero_skin_name)
  def download_skin(self, skin_id, skin_name):
    """下载皮肤图片"""
    # 下载图片
    img_url = self.skin_url + skin_id + '.jpg'
    request = requests.get(img_url)
    if request.status_code == 200:
      print('downloading……%s' % skin_name)
      img_path = os.path.join(self.skin_folder, skin_name)
      with open(img_path, 'wb') as img:
        img.write(request.content)
    else:
      print('img error!')
  def make_folder(self):
    """初始化,创建图片文件夹"""
    if not os.path.exists(self.skin_folder):
      os.mkdir(self.skin_folder)
  def run(self):
    # 获取英雄列表信息
    hero_json = self.get_hero_list()
    hero_keys = hero_json['keys']
    # 循环遍历英雄
    for hero_id, hero_code in hero_keys.items():
      hero_name = hero_json['data'][hero_code]['name']
      hero_info = self.get_hero_info(hero_id)
      if hero_info:
        skin_list = hero_info['result'][hero_id]['skins']
        # 下载皮肤
        self.download_skin_list(skin_list, hero_name)
      else:
        print('英雄【%s】的皮肤获取有问题……' % hero_name)
# 程序执行入口
if __name__ == '__main__':
  lol = GetLolSkin()
  # 创建图片存储文件
  lol.make_folder()
  # 执行脚本
  lol.run()

总结

以上所述是小编给大家介绍的Python3爬取英雄联盟英雄皮肤大图实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python lambda和Python def区别分析
Nov 30 Python
Python压缩和解压缩zip文件
Feb 14 Python
介绍Python中的__future__模块
Apr 27 Python
插入排序_Python与PHP的实现版(推荐)
May 11 Python
Python cookbook(数据结构与算法)筛选及提取序列中元素的方法
Mar 19 Python
tensorflow 使用flags定义命令行参数的方法
Apr 23 Python
Django实现一对多表模型的跨表查询方法
Dec 18 Python
Ubuntu18.04中Python2.7与Python3.6环境切换
Jun 14 Python
PyQt5+Caffe+Opencv搭建人脸识别登录界面
Aug 28 Python
DJango的创建和使用详解(默认数据库sqlite3)
Nov 18 Python
jupyter notebook实现显示行号
Apr 13 Python
python 抓取知乎指定回答下视频的方法
Jul 09 Python
python 顺时针打印矩阵的超简洁代码
Nov 14 #Python
Python 实现取矩阵的部分列,保存为一个新的矩阵方法
Nov 14 #Python
Python实现常见的回文字符串算法
Nov 14 #Python
Python 单元测试(unittest)的使用小结
Nov 14 #Python
python for循环输入一个矩阵的实例
Nov 14 #Python
python获取中文字符串长度的方法
Nov 14 #Python
对python插入数据库和生成插入sql的示例讲解
Nov 14 #Python
You might like
PHP正则表达式之定界符和原子介绍
2012/10/05 PHP
php中使用getimagesize获取图片、flash等文件的尺寸信息实例
2014/04/29 PHP
PHP计算指定日期所在周的开始和结束日期的方法
2015/03/24 PHP
PHP几个实用自定义函数小结
2016/01/25 PHP
php blowfish加密解密算法
2016/07/02 PHP
py文件转exe时包含paramiko模块出错解决方法
2016/08/12 PHP
PHP环境搭建(php+Apache+mysql)
2016/11/14 PHP
PHP微信H5支付开发实例
2018/07/25 PHP
thinkphp3.2同时连接两个数据库的简单方法
2019/08/13 PHP
jquery.validate使用攻略 第三部
2010/07/01 Javascript
循环 vs 递归浅谈
2013/02/28 Javascript
js滑动提示效果代码分享
2016/03/10 Javascript
Bootstrap Table的使用总结
2016/10/08 Javascript
React根据宽度自适应高度的示例代码
2017/10/11 Javascript
Element-ui之ElScrollBar组件滚动条的使用方法
2018/09/14 Javascript
JavaScript闭包相关知识解析
2019/10/19 Javascript
vue 实现根据data中的属性值来设置不同的样式
2020/08/04 Javascript
python snownlp情感分析简易demo(分享)
2017/06/04 Python
神经网络(BP)算法Python实现及应用
2018/04/16 Python
python遍历文件夹,指定遍历深度与忽略目录的方法
2018/07/11 Python
Selenium定位元素操作示例
2018/08/10 Python
python判断输入日期为第几天的实例
2018/11/13 Python
浅谈Python接口对json串的处理方法
2018/12/19 Python
python实现飞机大战项目
2020/03/11 Python
基于Python第三方插件实现西游记章节标注汉语拼音的方法
2020/05/22 Python
keras .h5转移动端的.tflite文件实现方式
2020/05/25 Python
Python while true实现爬虫定时任务
2020/06/08 Python
CSS3属性box-sizing使用指南
2014/12/09 HTML / CSS
详解CSS3:overflow属性
2020/11/17 HTML / CSS
高一物理教学反思
2014/01/24 职场文书
小学数学教研活动总结
2014/07/01 职场文书
申报优秀教师材料
2014/12/16 职场文书
MySQL 自定义变量的概念及特点
2021/05/13 MySQL
总结Python变量的相关知识
2021/06/28 Python
SpringCloud Feign请求头删除修改的操作代码
2022/03/20 Java/Android
MySQL磁盘碎片整理实例演示
2022/04/03 MySQL