python 爬取哔哩哔哩up主信息和投稿视频


Posted in Python onJune 07, 2021

项目地址:

https://github.com/cgDeepLearn/BilibiliCrawler

 项目特点

  1. 采取了一定的反反爬策略。
  2. Bilibili更改了用户页面的api, 用户抓取解析程序需要重构。

快速开始

  1. 拉取项目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
  2. 进入项目主目录,安装虚拟环境crawlenv(请参考使用说明里的虚拟环境安装)。
  3. 激活环境并在主目录运行crawl,爬取结果将保存在data目录csv文件中。
ource activate crawlenv
python initial.py file  # 初始化file模式
python crawl_user.py file 1 100  # file模式,1 100是开始、结束bilibili的uid

进入data目录查看抓取的数据,是不是很简单!

如果需要使用数据库保存和一些其他的设置,请看下面的使用说明

使用说明

1.拉取项目

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git

2.进入项目主目录, 安装虚拟环境

  • 若已安装anaconda
conda create -n crawlenv python=3.6
source activate crawlenv  # 激活虚拟环境
pip install -r requirements.txt
  • 若使用virtualenv
virtualenv crawlenv
source crawlenv/bin/activate  # 激活虚拟环境,windows下不用source
pip install -r requirements.txt  # 安装项目依赖

3. 修改配置文件

进入config目录,修改config.ini配置文件(默认使用的是postgresql数据库,如果你是使用的是postgresql,只需要将其中的参数替换成你的,下面其他的步骤可以忽略) 数据库配置选择其中一个你本地安装的即可,将参数更换成你的 如果你需要更自动化的数据库配置,请移步我的DB_ORM项目

[db_mysql]
user = test
password = test
host = localhost
port = 3306
dbname = testdb

[db_postgresql]
user = test
password = test
host = localhost
port = 5432
dbname = testdb

然后修改conf.py中获取配置文件的函数

def get_db_args():
    """
    获取数据库配置信息
    """
    return dict(CONFIG.items('db_postgresql'))  # 如果安装的是mysql,请将参数替换为db_mysql

进入db目录,修改basic.py的连接数据库的DSN

# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# 若使用的是mysql,请将上面的connect_str替换成下面的
connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# sqlite3,mongo等请移步我的DB_ORM项目,其他一些数据库也将添加支持

4. 运行爬虫

  • 在主目录激活虚拟环境, 初次运行请执行
python initial.py db # db模式,file模式请将db换成file
# file模式会将抓取结果保存在data目录
# db模式会将数据保存在设置好的数据库中
# 若再次以db模式运行将会drop所有表后再create,初次运行后请慎重再次使用!!!
# 如果修改添加了表,并不想清空数据,请运行 python create_all.py
  • 开始抓取示例
python crawl_user.py db 1 10000 # crawl_user 抓取用户数据,db 保存在数据库中, 1 10000为抓取起止id
python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取视频ajax信息保存到数据库中,
python crawl_user_video.py db 1 10000 #同时抓取user 和videoinfo
# 示例为uid从1到100的user如果有投稿视频则抓取其投稿视频的信息,
# 若想通过视频id逐个抓取请运行python crawl_video_by_aid.py db 1 1000
  • 爬取速率控制

程序内已进行了一些抓取速率的设置,但各机器cpu、mem不同抓取速率也不同,请酌情修改
太快太慢请修改各crawl中的sleepsec参数,ip会被限制访问频率,overspeed会导致爬取数据不全,
之后会添加运行参数speed(high, low),不用再手动配置速率

  • 日志

爬取日志在logs目录
user, video分别为用户和视频的爬取日志
storage为数据库日志 如需更换log格式,请修改logger模块

  • 后台运行

linux下运行python ......前面加上nohup,例如:

nohup python crawl_user db 1 10000

程序输出保存文件,默认会包存在主目录额nohup.out文件中,添加 > fielname就会保存在设置的文件中:

nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out  # 输出将保存在video_ajaxup_1_1000.out中
  • 更多

程序多线程使用的生产者消费者模式中产生了程序运行的状况的打印信息,类似如下

produce 1_1
consumed 1_1
...

如想运行更快,请在程序各项设置好后注释掉其中的打印程序

# utils/pcModels.py
print('[+] produce %s_%s' % (index, pitem))  # 请注释掉

print('[-] consumed %s_%s\n' % (index, data))  # 请注释掉

更多

项目是单机多线程,若想使用分布式爬取,请参考Crawler-Celery

以上就是python 爬取哔哩哔哩up主信息和投稿视频的详细内容,更多关于python 爬取哔哩哔哩的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python中字典dict常用操作方法实例总结
Apr 04 Python
Python实现二叉搜索树
Feb 03 Python
django admin添加数据自动记录user到表中的实现方法
Jan 05 Python
解决pycharm界面不能显示中文的问题
May 23 Python
浅谈pycharm的xmx和xms设置方法
Dec 03 Python
Python 实现王者荣耀中的敏感词过滤示例
Jan 21 Python
python pygame实现球球大作战
Nov 25 Python
Django自带的加密算法及加密模块详解
Dec 03 Python
python数据爬下来保存的位置
Feb 17 Python
pytorch 使用加载训练好的模型做inference
Feb 20 Python
Python实现像awk一样分割字符串
Sep 15 Python
python内置模块之上下文管理contextlib
Jun 14 Python
OpenCV-Python直方图均衡化实现图像去雾
OpenCV-Python实现人脸磨皮算法
Python实现拼音转换
Python实现简繁体转换
在Python中如何使用yield
Jun 07 #Python
python 爬取天气网卫星图片
Python实现天气查询软件
You might like
php中Smarty模板初体验
2011/08/08 PHP
php对数组排序的简单实例
2013/12/25 PHP
jQuery 使用手册(二)
2009/09/23 Javascript
基于jQuery实现点击同时更改两个iframe的网址
2010/07/01 Javascript
JS实现当前页居中分页效果的方法
2015/06/18 Javascript
基于jQuery Circlr插件实现产品图片360度旋转
2015/09/20 Javascript
基于JavaScript实现移动端TAB触屏切换效果
2015/10/20 Javascript
关于原生js中bind函数的简单实现
2016/08/10 Javascript
jQuery解决input元素的blur事件和其他非表单元素的click事件冲突问题
2016/08/15 Javascript
详解node HTTP请求客户端 - Request
2017/05/05 Javascript
vue.js动态数据绑定学习笔记
2017/05/19 Javascript
JavaScript中如何判断一个值的类型
2017/09/15 Javascript
Vue使用枚举类型实现HTML下拉框步骤详解
2018/02/05 Javascript
bootstrap select2插件用ajax来获取和显示数据的实例
2018/08/09 Javascript
JavaScript数据结构与算法之基本排序算法定义与效率比较【冒泡、选择、插入排序】
2019/02/21 Javascript
使用Vue调取接口,并渲染数据的示例代码
2019/10/28 Javascript
javascript中的with语句学习笔记及用法
2020/02/17 Javascript
浅谈JavaScript 声明提升
2020/09/14 Javascript
[46:02]DOTA2上海特级锦标赛D组资格赛#2 Liquid VS VP第二局
2016/02/28 DOTA
python里将list中元素依次向前移动一位
2014/09/12 Python
浅谈Python单向链表的实现
2015/12/24 Python
简单了解Python中的几种函数
2017/11/03 Python
python3写爬取B站视频弹幕功能
2017/12/22 Python
Python连接Mssql基础教程之Python库pymssql
2018/09/16 Python
详解opencv Python特征检测及K-最近邻匹配
2019/01/21 Python
使用celery执行Django串行异步任务的方法步骤
2019/06/06 Python
Python多线程Threading、子线程与守护线程实例详解
2020/03/24 Python
详解如何使用Pytest进行自动化测试
2021/01/14 Python
音乐系毕业生自荐信
2013/10/27 职场文书
参观考察邀请函范文
2014/01/29 职场文书
本科毕业生求职自荐信
2014/02/03 职场文书
优秀应届毕业生推荐信
2014/02/18 职场文书
个人四风问题整改措施
2014/10/24 职场文书
婚礼双方父亲致辞
2015/07/27 职场文书
交通安全宣传标语(100条)
2019/08/22 职场文书
Springboot配置suffix指定mvc视图的后缀方法
2021/07/03 Java/Android