python 爬取哔哩哔哩up主信息和投稿视频


Posted in Python onJune 07, 2021

项目地址:

https://github.com/cgDeepLearn/BilibiliCrawler

 项目特点

  1. 采取了一定的反反爬策略。
  2. Bilibili更改了用户页面的api, 用户抓取解析程序需要重构。

快速开始

  1. 拉取项目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
  2. 进入项目主目录,安装虚拟环境crawlenv(请参考使用说明里的虚拟环境安装)。
  3. 激活环境并在主目录运行crawl,爬取结果将保存在data目录csv文件中。
ource activate crawlenv
python initial.py file  # 初始化file模式
python crawl_user.py file 1 100  # file模式,1 100是开始、结束bilibili的uid

进入data目录查看抓取的数据,是不是很简单!

如果需要使用数据库保存和一些其他的设置,请看下面的使用说明

使用说明

1.拉取项目

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git

2.进入项目主目录, 安装虚拟环境

  • 若已安装anaconda
conda create -n crawlenv python=3.6
source activate crawlenv  # 激活虚拟环境
pip install -r requirements.txt
  • 若使用virtualenv
virtualenv crawlenv
source crawlenv/bin/activate  # 激活虚拟环境,windows下不用source
pip install -r requirements.txt  # 安装项目依赖

3. 修改配置文件

进入config目录,修改config.ini配置文件(默认使用的是postgresql数据库,如果你是使用的是postgresql,只需要将其中的参数替换成你的,下面其他的步骤可以忽略) 数据库配置选择其中一个你本地安装的即可,将参数更换成你的 如果你需要更自动化的数据库配置,请移步我的DB_ORM项目

[db_mysql]
user = test
password = test
host = localhost
port = 3306
dbname = testdb

[db_postgresql]
user = test
password = test
host = localhost
port = 5432
dbname = testdb

然后修改conf.py中获取配置文件的函数

def get_db_args():
    """
    获取数据库配置信息
    """
    return dict(CONFIG.items('db_postgresql'))  # 如果安装的是mysql,请将参数替换为db_mysql

进入db目录,修改basic.py的连接数据库的DSN

# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# 若使用的是mysql,请将上面的connect_str替换成下面的
connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# sqlite3,mongo等请移步我的DB_ORM项目,其他一些数据库也将添加支持

4. 运行爬虫

  • 在主目录激活虚拟环境, 初次运行请执行
python initial.py db # db模式,file模式请将db换成file
# file模式会将抓取结果保存在data目录
# db模式会将数据保存在设置好的数据库中
# 若再次以db模式运行将会drop所有表后再create,初次运行后请慎重再次使用!!!
# 如果修改添加了表,并不想清空数据,请运行 python create_all.py
  • 开始抓取示例
python crawl_user.py db 1 10000 # crawl_user 抓取用户数据,db 保存在数据库中, 1 10000为抓取起止id
python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取视频ajax信息保存到数据库中,
python crawl_user_video.py db 1 10000 #同时抓取user 和videoinfo
# 示例为uid从1到100的user如果有投稿视频则抓取其投稿视频的信息,
# 若想通过视频id逐个抓取请运行python crawl_video_by_aid.py db 1 1000
  • 爬取速率控制

程序内已进行了一些抓取速率的设置,但各机器cpu、mem不同抓取速率也不同,请酌情修改
太快太慢请修改各crawl中的sleepsec参数,ip会被限制访问频率,overspeed会导致爬取数据不全,
之后会添加运行参数speed(high, low),不用再手动配置速率

  • 日志

爬取日志在logs目录
user, video分别为用户和视频的爬取日志
storage为数据库日志 如需更换log格式,请修改logger模块

  • 后台运行

linux下运行python ......前面加上nohup,例如:

nohup python crawl_user db 1 10000

程序输出保存文件,默认会包存在主目录额nohup.out文件中,添加 > fielname就会保存在设置的文件中:

nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out  # 输出将保存在video_ajaxup_1_1000.out中
  • 更多

程序多线程使用的生产者消费者模式中产生了程序运行的状况的打印信息,类似如下

produce 1_1
consumed 1_1
...

如想运行更快,请在程序各项设置好后注释掉其中的打印程序

# utils/pcModels.py
print('[+] produce %s_%s' % (index, pitem))  # 请注释掉

print('[-] consumed %s_%s\n' % (index, data))  # 请注释掉

更多

项目是单机多线程,若想使用分布式爬取,请参考Crawler-Celery

以上就是python 爬取哔哩哔哩up主信息和投稿视频的详细内容,更多关于python 爬取哔哩哔哩的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python Web框架Flask下网站开发入门实例
Feb 08 Python
python使用多线程不断刷新网页的方法
Mar 31 Python
Python异常对代码运行性能的影响实例解析
Feb 08 Python
opencv python 基于KNN的手写体识别的实例
Aug 03 Python
Python箱型图绘制与特征值获取过程解析
Oct 22 Python
pycharm运行scrapy过程图解
Nov 22 Python
Python使用正则实现计算字符串算式
Dec 29 Python
使用python-Jenkins批量创建及修改jobs操作
May 12 Python
python实现图像随机裁剪的示例代码
Dec 10 Python
python通过cython加密代码
Dec 11 Python
Python实现智慧校园自动评教全新版
Jun 18 Python
Python3.10的一些新特性原理分析
Sep 15 Python
OpenCV-Python直方图均衡化实现图像去雾
OpenCV-Python实现人脸磨皮算法
Python实现拼音转换
Python实现简繁体转换
在Python中如何使用yield
Jun 07 #Python
python 爬取天气网卫星图片
Python实现天气查询软件
You might like
实用函数10
2007/11/08 PHP
php 进度条实现代码
2009/03/10 PHP
php模拟socket一次连接,多次发送数据的实现代码
2011/07/26 PHP
php+ajax做仿百度搜索下拉自动提示框(有实例)
2012/08/21 PHP
ThinkPHP模板比较标签用法详解
2014/06/30 PHP
PHP面向对象程序设计之类常量用法实例
2014/08/20 PHP
php通过淘宝API查询IP地址归属等信息
2015/12/25 PHP
php实现产品加入购物车功能(1)
2020/07/23 PHP
基于Codeigniter框架实现的student信息系统站点动态发布功能详解
2017/03/23 PHP
php实现支持中文的文件下载功能示例
2017/08/30 PHP
PHP读取并输出XML文件数据的简单实现方法
2017/12/22 PHP
Laravel用户授权系统的使用方法示例
2018/09/16 PHP
PHP递归算法的简单实例
2019/02/28 PHP
juqery 学习之四 筛选查找
2010/11/30 Javascript
js+css使DIV始终居于屏幕中间 左下 左上 右上 右下的代码集合
2011/03/10 Javascript
intro.js 页面引导简单用法 分享
2013/08/06 Javascript
javascript比较两个日期的先后示例代码
2014/12/31 Javascript
localResizeIMG先压缩后使用ajax无刷新上传(移动端)
2015/08/11 Javascript
javascript中的五种基本数据类型
2015/08/26 Javascript
一个可复用的vue分页组件
2017/05/15 Javascript
js浏览器滚动条卷去的高度scrolltop(实例讲解)
2017/07/07 Javascript
纯JavaScript实现实时反馈系统时间
2017/10/26 Javascript
浅谈js获取ModelAndView值的问题
2018/03/28 Javascript
vue项目实现多语言切换的思路
2020/09/17 Javascript
Python利用正则表达式实现计算器算法思路解析
2018/04/25 Python
Tensorflow卷积神经网络实例进阶
2018/05/24 Python
在python中利用KNN实现对iris进行分类的方法
2018/12/11 Python
你可能不知道的Python 技巧小结
2020/01/29 Python
澳大利亚小众服装品牌:Maurie & Eve
2018/03/27 全球购物
新东网科技Java笔试题
2012/07/13 面试题
职工运动会邀请函
2014/01/19 职场文书
商品陈列协议书
2014/09/29 职场文书
党员批评与自我批评总结
2014/10/15 职场文书
编写python程序的90条建议
2021/04/14 Python
Pycharm 如何设置HTML文件自动补全代码或标签
2021/05/21 Python
mongodb数据库迁移变更的解决方案
2021/09/04 MongoDB