Python如何爬取b站热门视频并导入Excel


Posted in Python onAugust 10, 2020

代码如下

#encoding:utf-8
import requests
from lxml import etree
import xlwt
import os
 
# 爬取b站热门视频信息
def spider():
  video_list = []
  url = "https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3"
  html = requests.get(url, headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}).text
  html = etree.HTML(html)
  infolist = html.xpath("//li[@class='rank-item']")
  for item in infolist:
    rank = "".join(item.xpath("./div[@class='num']/text()"))
    video_link = "".join(item.xpath(".//div[@class='info']/a/@href"))
    title = "".join(item.xpath(".//div[@class='info']/a/text()"))
    payinfo = "".join(item.xpath(".//div[@class='detail']/span/text()")).split("万")
    play = payinfo[0] + "万"
    comment = payinfo[1]
    if comment.isdigit() == False:
      comment += "万"
    upname = "".join(item.xpath(".//div[@class='detail']/a/span/text()"))
    uplink = "http://" + "".join(item.xpath(".//div[@class='detail']/a/@href"))
    hot = "".join(item.xpath(".//div[@class='pts']/div/text()"))
    video_list.append({
      'rank': rank,
      'videolink': video_link,
      'title': title,
      'play': play,
      'comment': comment,
      'upname': upname,
      'uplink': uplink,
      'hot': hot
    })
  return video_list
 
 
def write_Excel():
  # 将爬取的信息添加到Excel
  video_list = spider()
  workbook = xlwt.Workbook() # 定义表格
  sheet = workbook.add_sheet("b站热门视频")  # 添加sheet的name
  xstyle = xlwt.XFStyle()  # 实例化表格样式对象
  xstyle.alignment.horz = 0x02 # 字体居中
  xstyle.alignment.vert = 0x01
  head = ['视频名', 'up主','排名', '热度','播放量','评论数']
  for h in range(len(head)):
    sheet.write(0, h, head[h], xstyle)
  i = 1
  for item in video_list:
    # 向单元格(视频名)添加该视频的超链接
    if '"' in item["title"]:
      item["title"] = item["title"].split('"')[1]
    title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")'  # 设置超链接
    sheet.col(0).width = int(256 * len(title_data) * 3/5)  # 设置列宽
    sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
    name_data = 'HYPERLINK("'+item["uplink"]+'";"'+item["upname"]+'")'
    sheet.col(1).width = int(256 * len(name_data) * 3/5)
    sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
    sheet.write(i, 2, item["rank"], xstyle)
    sheet.write(i, 3, item["hot"], xstyle)
    sheet.write(i, 4, item["play"], xstyle)
    sheet.write(i, 5, item["comment"], xstyle)
    i += 1
  # 如果文件存在,则将其删除
  file = "b站热门视频信息.xls"
  if os.path.exists(file):
    os.remove(file)
  workbook.save(file)
 
if __name__ == '__main__':
  write_Excel()

结果展示:

Python如何爬取b站热门视频并导入Excel

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现每次处理一个字符的三种方法
Oct 09 Python
python通过post提交数据的方法
May 06 Python
Python的for和break循环结构中使用else语句的技巧
May 24 Python
Python paramiko模块的使用示例
Apr 11 Python
详谈套接字中SO_REUSEPORT和SO_REUSEADDR的区别
Apr 28 Python
Python 利用scrapy爬虫通过短短50行代码下载整站短视频
Oct 29 Python
python中ImageTk.PhotoImage()不显示图片却不报错问题解决
Dec 06 Python
为何人工智能(AI)首选Python?读完这篇文章你就知道了(推荐)
Apr 06 Python
卸载tensorflow-cpu重装tensorflow-gpu操作
Jun 23 Python
python实现简单贪吃蛇游戏
Sep 29 Python
linux系统下pip升级报错的解决方法
Jan 31 Python
只需要100行Python代码就可以实现的贪吃蛇小游戏
May 27 Python
拿来就用!Python批量合并PDF的示例代码
Aug 10 #Python
Python 发送邮件方法总结
Aug 10 #Python
Python getattr()函数使用方法代码实例
Aug 10 #Python
Python matplotlib模块及柱状图用法解析
Aug 10 #Python
Python如何操作docker redis过程解析
Aug 10 #Python
基于Python实现下载网易音乐代码实例
Aug 10 #Python
Python grequests模块使用场景及代码实例
Aug 10 #Python
You might like
php守护进程 加linux命令nohup实现任务每秒执行一次
2011/07/04 PHP
php类中private属性继承问题分析
2012/11/01 PHP
如何使用php判断所处服务器操作系统的类型
2013/06/20 PHP
关于php内存不够用的快速解决方法
2013/10/26 PHP
php 5.6版本中编写一个PHP扩展的简单示例
2015/01/20 PHP
PHP常见错误提示含义解释(实用!值得收藏)
2016/04/25 PHP
PHPMAILER实现PHP发邮件功能
2018/04/18 PHP
yii2 上传图片的示例代码
2018/11/02 PHP
PHP array_reverse() 函数原理及实例解析
2020/07/14 PHP
fromCharCode和charCodeAt 方法
2006/12/27 Javascript
Javascript 中的 && 和 || 使用小结
2010/04/25 Javascript
jQuery EasyUI API 中文文档 - ValidateBox验证框
2011/10/06 Javascript
javaScript 利用闭包模拟对象的私有属性
2011/12/29 Javascript
Javascript级联下拉菜单以及AJAX数据验证核心代码
2013/05/10 Javascript
javascript操作table(insertRow,deleteRow,insertCell,deleteCell方法详解)
2013/12/16 Javascript
Jquery遍历checkbox获取选中项value值的方法
2014/02/13 Javascript
ExtJs纵坐标值重复问题的解决方法
2014/02/27 Javascript
node.js微信公众平台开发教程
2016/03/04 Javascript
通过BootStrap实现轮播图的实际应用
2016/09/26 Javascript
利用JS判断鼠标移入元素的方向
2016/12/11 Javascript
vue2滚动条加载更多数据实现代码
2017/01/10 Javascript
Angular2下使用pdf插件的方法详解
2017/04/29 Javascript
Vue2.0基于vue-cli+webpack父子组件通信(实例讲解)
2017/09/14 Javascript
Vue组件化开发之通用型弹出框的实现
2020/02/28 Javascript
Vue axios获取token临时令牌封装案例
2020/09/11 Javascript
用pywin32实现windows模拟鼠标及键盘动作
2014/04/22 Python
Python文件的读写和异常代码示例
2017/10/31 Python
Python读取本地文件并解析网页元素的方法
2018/05/21 Python
python matlibplot绘制3D图形
2018/07/02 Python
Python使用Selenium爬取淘宝异步加载的数据方法
2018/12/17 Python
Python3.5 win10环境下导入kera/tensorflow报错的解决方法
2019/12/19 Python
python 批量下载bilibili视频的gui程序
2020/11/20 Python
HTML5有哪些新特征
2015/12/01 HTML / CSS
荷兰家电购物网站:Expert.nl
2020/01/18 全球购物
12月小学生校园广播稿
2014/02/04 职场文书
幼儿园教师工作感言
2014/02/15 职场文书