python 爬取哔哩哔哩up主信息和投稿视频


Posted in Python onJune 07, 2021

项目地址:

https://github.com/cgDeepLearn/BilibiliCrawler

 项目特点

  1. 采取了一定的反反爬策略。
  2. Bilibili更改了用户页面的api, 用户抓取解析程序需要重构。

快速开始

  1. 拉取项目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
  2. 进入项目主目录,安装虚拟环境crawlenv(请参考使用说明里的虚拟环境安装)。
  3. 激活环境并在主目录运行crawl,爬取结果将保存在data目录csv文件中。
ource activate crawlenv
python initial.py file  # 初始化file模式
python crawl_user.py file 1 100  # file模式,1 100是开始、结束bilibili的uid

进入data目录查看抓取的数据,是不是很简单!

如果需要使用数据库保存和一些其他的设置,请看下面的使用说明

使用说明

1.拉取项目

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git

2.进入项目主目录, 安装虚拟环境

  • 若已安装anaconda
conda create -n crawlenv python=3.6
source activate crawlenv  # 激活虚拟环境
pip install -r requirements.txt
  • 若使用virtualenv
virtualenv crawlenv
source crawlenv/bin/activate  # 激活虚拟环境,windows下不用source
pip install -r requirements.txt  # 安装项目依赖

3. 修改配置文件

进入config目录,修改config.ini配置文件(默认使用的是postgresql数据库,如果你是使用的是postgresql,只需要将其中的参数替换成你的,下面其他的步骤可以忽略) 数据库配置选择其中一个你本地安装的即可,将参数更换成你的 如果你需要更自动化的数据库配置,请移步我的DB_ORM项目

[db_mysql]
user = test
password = test
host = localhost
port = 3306
dbname = testdb

[db_postgresql]
user = test
password = test
host = localhost
port = 5432
dbname = testdb

然后修改conf.py中获取配置文件的函数

def get_db_args():
    """
    获取数据库配置信息
    """
    return dict(CONFIG.items('db_postgresql'))  # 如果安装的是mysql,请将参数替换为db_mysql

进入db目录,修改basic.py的连接数据库的DSN

# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# 若使用的是mysql,请将上面的connect_str替换成下面的
connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# sqlite3,mongo等请移步我的DB_ORM项目,其他一些数据库也将添加支持

4. 运行爬虫

  • 在主目录激活虚拟环境, 初次运行请执行
python initial.py db # db模式,file模式请将db换成file
# file模式会将抓取结果保存在data目录
# db模式会将数据保存在设置好的数据库中
# 若再次以db模式运行将会drop所有表后再create,初次运行后请慎重再次使用!!!
# 如果修改添加了表,并不想清空数据,请运行 python create_all.py
  • 开始抓取示例
python crawl_user.py db 1 10000 # crawl_user 抓取用户数据,db 保存在数据库中, 1 10000为抓取起止id
python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取视频ajax信息保存到数据库中,
python crawl_user_video.py db 1 10000 #同时抓取user 和videoinfo
# 示例为uid从1到100的user如果有投稿视频则抓取其投稿视频的信息,
# 若想通过视频id逐个抓取请运行python crawl_video_by_aid.py db 1 1000
  • 爬取速率控制

程序内已进行了一些抓取速率的设置,但各机器cpu、mem不同抓取速率也不同,请酌情修改
太快太慢请修改各crawl中的sleepsec参数,ip会被限制访问频率,overspeed会导致爬取数据不全,
之后会添加运行参数speed(high, low),不用再手动配置速率

  • 日志

爬取日志在logs目录
user, video分别为用户和视频的爬取日志
storage为数据库日志 如需更换log格式,请修改logger模块

  • 后台运行

linux下运行python ......前面加上nohup,例如:

nohup python crawl_user db 1 10000

程序输出保存文件,默认会包存在主目录额nohup.out文件中,添加 > fielname就会保存在设置的文件中:

nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out  # 输出将保存在video_ajaxup_1_1000.out中
  • 更多

程序多线程使用的生产者消费者模式中产生了程序运行的状况的打印信息,类似如下

produce 1_1
consumed 1_1
...

如想运行更快,请在程序各项设置好后注释掉其中的打印程序

# utils/pcModels.py
print('[+] produce %s_%s' % (index, pitem))  # 请注释掉

print('[-] consumed %s_%s\n' % (index, data))  # 请注释掉

更多

项目是单机多线程,若想使用分布式爬取,请参考Crawler-Celery

以上就是python 爬取哔哩哔哩up主信息和投稿视频的详细内容,更多关于python 爬取哔哩哔哩的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
给Python入门者的一些编程建议
Jun 15 Python
深入理解Python对Json的解析
Feb 14 Python
Python单元测试unittest的具体使用示例
Dec 17 Python
Python数据类型之Tuple元组实例详解
May 08 Python
用Python获取摄像头并实时控制人脸的实现示例
Jul 11 Python
Python检查 云备份进程是否正常运行代码实例
Aug 22 Python
python实现两个文件夹的同步
Aug 29 Python
python实现图片上添加图片
Nov 26 Python
使用python实现微信小程序自动签到功能
Apr 27 Python
pytorch加载自己的图像数据集实例
Jul 07 Python
python实现canny边缘检测
Sep 14 Python
Django分页器的用法你都了解吗
May 26 Python
OpenCV-Python直方图均衡化实现图像去雾
OpenCV-Python实现人脸磨皮算法
Python实现拼音转换
Python实现简繁体转换
在Python中如何使用yield
Jun 07 #Python
python 爬取天气网卫星图片
Python实现天气查询软件
You might like
php守护进程 加linux命令nohup实现任务每秒执行一次
2011/07/04 PHP
浅析PHP程序防止ddos,dns,集群服务器攻击的解决办法
2013/06/18 PHP
PHP实现时间比较和时间差计算的方法示例
2017/07/24 PHP
ThinkPHP5分页paginate代码实例解析
2020/11/10 PHP
jquery选择器使用详解
2014/04/08 Javascript
轻松创建nodejs服务器(5):事件处理程序
2014/12/18 NodeJs
NodeJS学习笔记之FS文件模块
2015/01/13 NodeJs
JavaScript使用setInterval()函数实现简单轮询操作的方法
2015/02/02 Javascript
ichart.js绘制虚线、平均分虚线效果的实现代码
2016/05/05 Javascript
AngularJS ng-controller 指令简单实例
2016/08/01 Javascript
jQuery实现的tab标签切换效果示例
2016/09/05 Javascript
jQuery插件easyUI实现通过JS显示Dialog的方法
2016/09/16 Javascript
使用prop解决一个checkbox选中后再次选中失效的问题
2017/07/05 Javascript
详解Angular结合zTree异步加载节点数据
2018/01/20 Javascript
vue中实现先请求数据再渲染dom分享
2018/03/17 Javascript
jquery获取select选中值的文本,并赋值给另一个输入框的方法
2018/08/21 jQuery
微信小程序自定义导航教程(兼容各种手机)
2018/12/12 Javascript
JS浅拷贝和深拷贝原理与实现方法分析
2019/02/28 Javascript
bootstrap datepicker的基本使用教程
2019/07/09 Javascript
html2canvas属性和使用方法以及如何使用html2canvas将HTML内容写入Canvas生成图片
2020/01/12 Javascript
解决VUEX的mapState/...mapState等取值问题
2020/07/24 Javascript
vue-cli4.0多环境配置变量与模式详解
2020/12/30 Vue.js
python解析xml文件实例分享
2013/12/04 Python
pycharm远程调试openstack代码
2017/11/21 Python
多版本python的pip 升级后, pip2 pip3 与python版本失配解决方法
2019/09/11 Python
python3 使用Opencv打开USB摄像头,配置1080P分辨率的操作
2019/12/11 Python
Pycharm新手使用教程(图文详解)
2020/09/17 Python
图库照片、免版税图片、矢量艺术、视频片段:Depositphotos
2019/08/02 全球购物
铭立家具面试题
2012/12/06 面试题
为什么要用EJB
2014/04/17 面试题
教师求职自荐信
2014/03/09 职场文书
青安岗事迹材料
2014/05/14 职场文书
党员四风问题对照检查材料思想汇报
2014/09/16 职场文书
南京大屠杀观后感
2015/06/02 职场文书
幼儿园开学温馨提示
2015/07/15 职场文书
GoFrame基于性能测试得知grpool使用场景
2022/06/21 Golang