python爬虫搭配起Bilibili唧唧的流程分析


Posted in Python onDecember 01, 2020

前言

最近需要大规模下载B站视频,同时要将下载好的视频用BV号进行重命名,最后上传至服务器。这个工作一开始我是完全手工完成的,通过游猴来下载,可是下载几十个视频还好,再多一点的话真是太烦了,而且生产力低下,因此诞生了编写脚本的想法。
一开始我需要在B站搜索关键词,然后不断点开视频后进行下载,同时在视频下载后还需要找到这个视频来修改BV号,效率实在太低,特别是当下载的视频多了,再返回来寻找它对应的BV号时也是个很繁琐的过程,因此决定进行编写python脚本。
本次的脚本可以大幅度提高工作效率,但是它并不是全自动完成任务的,毕竟我们用到了Bilibili唧唧。(唧唧真的很好用,其实也可以完全做成全自动,但我觉得没什么必要了,效率已经很高啦~)
大家如果还有什么更好的建议欢迎评论告诉我。
最后,给个赞吧,亲~

概述

简要介绍一下工作流程:
(1)通过爬虫爬取一堆视频BV号,存放于txt文件中,如下所示:

python爬虫搭配起Bilibili唧唧的流程分析

(2)不断复制BV号,唧唧便会自动进行下载视频

(3)通过脚本将下载好的视频一键化改名

python爬虫搭配起Bilibili唧唧的流程分析

正文

爬虫部分

1.依赖库

requestsl

xml

2.代码
相关讲解已在注释标注。

'''
author:Ericam
description: 用于爬取b站视频链接
'''
import requests
import re
from lxml import etree
import time

'''
该函数用于解析爬取的网页。
提取出网页里视频的url链接以及对应的视频名。
'''
def getHref(url,page):
 try:
 req = requests.get(url,timeout=5,headers=headers)
 html = req.text
 data = etree.HTML(html)
 '''
 page-1://*[@id="all-list"]/div[1]/div[2]/ul[@class="video-list"]/li
 other://*[@id="all-list"]/div[1]/ul[@class="video-list"]/li
 '''
 pattern = '//*[@id="all-list"]/div[1]/div[2]/ul[contains(@class,"video-list")]/li' if page == 1 else '//*[@id="all-list"]/div[1]/ul[contains(@class,"video-list")]/li'
 vurlList = data.xpath(pattern)
 for li in vurlList:
  vurl = li.xpath(".//a/attribute::href")[0]
  title = li.xpath(".//a/attribute::title")[0]
  yield vurl,title
 except:
 print('第%d页爬取失败' % page)
 print('Unfortunitely -- An Unknow Error Happened, Please wait 3 seconds')
 time.sleep(3)

'''
该函数用于正则提取,将url内的BV号提取出来
'''
def getBv(href):
 pattern = re.compile('(BV.*?)\?')
 data = re.search(pattern,href)
 if data == None:
 return ''
 return data.group(1)

if __name__ == "__main__":

 #头部伪装
 headers = {
 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'
 }
 hrefList = []
 titleList = []
 #需要爬取多少页,自行进行修改,本代码测试1~2页
 for i in range(1,3): 
 url = "https://search.bilibili.com/all?keyword=歪嘴战神&page={0}".format(i) #修改keyword后的关键字即可
 l = getHref(url,i)
 for vurl,title in l:
  hrefList.append(vurl)
  titleList.append(title)
 print("第{0}页爬取结束".format(i))
 time.sleep(2)
 
 print("---------------------------开始截取BV号-----------------------------")
 for i in range(len(hrefList)):
 hrefList[i] = getBv(hrefList[i])
 with open("bv.txt",'w',encoding='utf-8') as f:
 for i in range(len(hrefList)): 
  f.write(hrefList[i]+"\t"+titleList[i]+"\n")
 print("爬取结束")

3.爬取结果

python爬虫搭配起Bilibili唧唧的流程分析

唧唧下载视频

给出唧唧的链接,唧唧,很好用的小工具。
我们只需要将刚才爬取好的链接放在一边,不断复制BV号,然后唧唧进行下载即可。

python爬虫搭配起Bilibili唧唧的流程分析

视频重命名

唧唧下载好的视频如下所示:

python爬虫搭配起Bilibili唧唧的流程分析

为什么需要将它们进行改名呢,因为如果当视频数量越来越多时,比如几千几万时,通过名字便会越来越难以管理,同时也难以进行去重,很大概率会不断下载重复的视频。
在B站,BV号便是每个视频的“身份证”(主键),因此用其进行视频命名可以方便日后管理,同时也方便进行去重。

代码

'''
author:Ericam
description: 用于将下载下来的b站视频重命名,命名格式为bv号
'''
import os
import difflib

if __name__ == '__main__':
 
 bvpath = os.path.join("D:/","Coding","python","Python爬虫")
 os.chdir(bvpath)
 d = {}
 '''
 bvdownload.txt里存放bv号与title名
 若之前爬虫爬取了几千个,而唧唧只下载了几百个,便可以将这些已下载的bv和title复制到
 bvdownload.txt中,将已下载的视频进行改名
 '''
 with open("bvdownload.txt",'r',encoding='utf-8')as f:
 lines = f.readlines()
 for val in lines:
  val = val.strip("\n")
  data = val.split("\t")
  bv = data[0]
  title = data[1]
  d[title] = bv
 
 #视频存放位置
 path = 'F:/bilibili视频/'
 os.chdir(path)
 videoList = os.listdir()
 
 #开始进行模糊匹配
 for key in d:
 video = difflib.get_close_matches(key,videoList,1, cutoff=0.3)
 if len(video) == 0:
  continue
 video = video[0]
 #检查视频是否已存在,若存在则删除视频
 if os.path.isfile(d[key]+".mp4") and os.path.isfile(video):
  os.remove(video)
 else:
  if os.path.isfile(video):
  os.rename(video,d[key]+".mp4")
 print("重命名完成!")

结果演示

重命名完成的视频列表如下:

python爬虫搭配起Bilibili唧唧的流程分析

到此这篇关于python爬虫搭配起Bilibili唧唧的流程分析的文章就介绍到这了,更多相关python爬虫Bilibili内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python爬虫教程之爬取百度贴吧并下载的示例
Mar 07 Python
Python中subprocess的简单使用示例
Jul 28 Python
Python 获取当前所在目录的方法详解
Aug 02 Python
Python编写Windows Service服务程序
Jan 04 Python
Python使用win32com模块实现数据库表结构自动生成word表格的方法
Jul 17 Python
Python开发最牛逼的IDE——pycharm
Aug 01 Python
对python多线程与global变量详解
Nov 09 Python
Python sklearn KFold 生成交叉验证数据集的方法
Dec 11 Python
django 控制页面跳转的例子
Aug 06 Python
节日快乐! Python画一棵圣诞树送给你
Dec 24 Python
Python基础之函数嵌套知识总结
May 23 Python
使用tensorflow 实现反向传播求导
May 26 Python
python爬虫看看虎牙女主播中谁最“顶”步骤详解
Dec 01 #Python
详解Django自定义图片和文件上传路径(upload_to)的2种方式
Dec 01 #Python
使用python爬取抖音app视频的实例代码
Dec 01 #Python
基于Python实现粒子滤波效果
Dec 01 #Python
Django集成MongoDB实现过程解析
Dec 01 #Python
基于Django快速集成Echarts代码示例
Dec 01 #Python
Python更改pip镜像源的方法示例
Dec 01 #Python
You might like
PHP输出当前进程所有变量/常量/模块/函数/类的示例
2013/11/07 PHP
laravel安装zend opcache加速器教程
2015/03/02 PHP
基于PHP后台的Android新闻浏览客户端
2016/05/23 PHP
PHP配置ZendOpcache插件加速
2019/02/14 PHP
根据分辨率不同,调用不同的css文件
2006/08/25 Javascript
jQuery Dialog 弹出层对话框插件
2010/08/09 Javascript
jquery实现的动态回到顶部特效代码
2015/10/28 Javascript
JavaScript获取URL中参数querystring的方法详解
2016/10/11 Javascript
Angular的事件和表单详解
2016/12/26 Javascript
jQueryUI Sortable 应用Demo(分享)
2017/09/07 jQuery
bootstrap paginator分页插件的两种使用方式实例详解
2017/11/14 Javascript
基于vue1和vue2获取dom元素的方法
2018/03/17 Javascript
使用jQuery动态设置单选框的选中效果
2018/12/06 jQuery
Vue中图片Src使用变量的方法
2019/10/30 Javascript
详解一些适用于Node.js的命名约定
2019/12/08 Javascript
Python抽象类的新写法
2015/06/18 Python
python实现给微信公众号发送消息的方法
2017/06/30 Python
python中将zip压缩包转为gz.tar的方法
2018/10/18 Python
解决Pycharm 包已经下载,但是运行代码提示找不到模块的问题
2019/08/31 Python
python实现大量图片重命名
2020/03/23 Python
浅谈django不使用restframework自定义接口与使用的区别
2020/07/15 Python
python PIL模块的基本使用
2020/09/29 Python
python实现数学模型(插值、拟合和微分方程)
2020/11/13 Python
如何设置PyCharm中的Python代码模版(推荐)
2020/11/20 Python
美国50岁以上单身人士约会平台:SilverSingles
2018/06/29 全球购物
Pandora德国官网:购买潘多拉手链、戒指、项链和耳环
2020/02/20 全球购物
个人自我评价分享
2013/12/20 职场文书
电大毕业自我鉴定
2014/02/03 职场文书
节约用水的口号
2014/06/20 职场文书
国际贸易求职信
2014/07/05 职场文书
教师个人发展总结
2015/02/11 职场文书
拾金不昧表扬信怎么写
2015/05/04 职场文书
公司车辆管理制度
2015/08/04 职场文书
小学音乐课歌曲《堆雪人》教学反思
2016/02/18 职场文书
Nginx如何获取自定义请求header头和URL参数详解
2022/07/23 Servers
CSS中理解层叠性及权重如何分配
2022/12/24 HTML / CSS