python 爬取哔哩哔哩up主信息和投稿视频


Posted in Python onJune 07, 2021

项目地址:

https://github.com/cgDeepLearn/BilibiliCrawler

 项目特点

  1. 采取了一定的反反爬策略。
  2. Bilibili更改了用户页面的api, 用户抓取解析程序需要重构。

快速开始

  1. 拉取项目, git clone https://github.com/cgDeepLearn/BilibiliCrawler.git
  2. 进入项目主目录,安装虚拟环境crawlenv(请参考使用说明里的虚拟环境安装)。
  3. 激活环境并在主目录运行crawl,爬取结果将保存在data目录csv文件中。
ource activate crawlenv
python initial.py file  # 初始化file模式
python crawl_user.py file 1 100  # file模式,1 100是开始、结束bilibili的uid

进入data目录查看抓取的数据,是不是很简单!

如果需要使用数据库保存和一些其他的设置,请看下面的使用说明

使用说明

1.拉取项目

git clone https://github.com/cgDeepLearn/BilibiliCrawler.git

2.进入项目主目录, 安装虚拟环境

  • 若已安装anaconda
conda create -n crawlenv python=3.6
source activate crawlenv  # 激活虚拟环境
pip install -r requirements.txt
  • 若使用virtualenv
virtualenv crawlenv
source crawlenv/bin/activate  # 激活虚拟环境,windows下不用source
pip install -r requirements.txt  # 安装项目依赖

3. 修改配置文件

进入config目录,修改config.ini配置文件(默认使用的是postgresql数据库,如果你是使用的是postgresql,只需要将其中的参数替换成你的,下面其他的步骤可以忽略) 数据库配置选择其中一个你本地安装的即可,将参数更换成你的 如果你需要更自动化的数据库配置,请移步我的DB_ORM项目

[db_mysql]
user = test
password = test
host = localhost
port = 3306
dbname = testdb

[db_postgresql]
user = test
password = test
host = localhost
port = 5432
dbname = testdb

然后修改conf.py中获取配置文件的函数

def get_db_args():
    """
    获取数据库配置信息
    """
    return dict(CONFIG.items('db_postgresql'))  # 如果安装的是mysql,请将参数替换为db_mysql

进入db目录,修改basic.py的连接数据库的DSN

# connect_str = "postgresql+psycopg2://{}:{}@{}:{}/{}".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# 若使用的是mysql,请将上面的connect_str替换成下面的
connect_str = "mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8".format(kwargs['user'], kwargs['password'], kwargs['host'], kwargs['port'], kwargs['dbname'])
# sqlite3,mongo等请移步我的DB_ORM项目,其他一些数据库也将添加支持

4. 运行爬虫

  • 在主目录激活虚拟环境, 初次运行请执行
python initial.py db # db模式,file模式请将db换成file
# file模式会将抓取结果保存在data目录
# db模式会将数据保存在设置好的数据库中
# 若再次以db模式运行将会drop所有表后再create,初次运行后请慎重再次使用!!!
# 如果修改添加了表,并不想清空数据,请运行 python create_all.py
  • 开始抓取示例
python crawl_user.py db 1 10000 # crawl_user 抓取用户数据,db 保存在数据库中, 1 10000为抓取起止id
python crawl_video_ajax.py db 1 100 # crawl_video_ajax 抓取视频ajax信息保存到数据库中,
python crawl_user_video.py db 1 10000 #同时抓取user 和videoinfo
# 示例为uid从1到100的user如果有投稿视频则抓取其投稿视频的信息,
# 若想通过视频id逐个抓取请运行python crawl_video_by_aid.py db 1 1000
  • 爬取速率控制

程序内已进行了一些抓取速率的设置,但各机器cpu、mem不同抓取速率也不同,请酌情修改
太快太慢请修改各crawl中的sleepsec参数,ip会被限制访问频率,overspeed会导致爬取数据不全,
之后会添加运行参数speed(high, low),不用再手动配置速率

  • 日志

爬取日志在logs目录
user, video分别为用户和视频的爬取日志
storage为数据库日志 如需更换log格式,请修改logger模块

  • 后台运行

linux下运行python ......前面加上nohup,例如:

nohup python crawl_user db 1 10000

程序输出保存文件,默认会包存在主目录额nohup.out文件中,添加 > fielname就会保存在设置的文件中:

nohup python crawl_video_ajax.py db 1 1000 > video_ajaxup_1_1000.out  # 输出将保存在video_ajaxup_1_1000.out中
  • 更多

程序多线程使用的生产者消费者模式中产生了程序运行的状况的打印信息,类似如下

produce 1_1
consumed 1_1
...

如想运行更快,请在程序各项设置好后注释掉其中的打印程序

# utils/pcModels.py
print('[+] produce %s_%s' % (index, pitem))  # 请注释掉

print('[-] consumed %s_%s\n' % (index, data))  # 请注释掉

更多

项目是单机多线程,若想使用分布式爬取,请参考Crawler-Celery

以上就是python 爬取哔哩哔哩up主信息和投稿视频的详细内容,更多关于python 爬取哔哩哔哩的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python的tkinter布局之简单的聊天窗口实现方法
Sep 03 Python
Python中threading模块join函数用法实例分析
Jun 04 Python
使用Python+Splinter自动刷新抢12306火车票
Jan 03 Python
Python元组拆包和具名元组解析实例详解
Mar 26 Python
python2使用bs4爬取腾讯社招过程解析
Aug 14 Python
python str字符串转uuid实例
Mar 03 Python
python微信公众号开发简单流程实现
Mar 09 Python
解决Python paramiko 模块远程执行ssh 命令 nohup 不生效的问题
Jul 14 Python
Python基于Serializer实现字段验证及序列化
Nov 04 Python
Python 虚拟环境工作原理解析
Dec 24 Python
Python中的min及返回最小值索引的操作
May 10 Python
使用pd.merge表连接出现多余行的问题解决
Jun 16 Python
OpenCV-Python直方图均衡化实现图像去雾
OpenCV-Python实现人脸磨皮算法
Python实现拼音转换
Python实现简繁体转换
在Python中如何使用yield
Jun 07 #Python
python 爬取天气网卫星图片
Python实现天气查询软件
You might like
动漫定律:眯眯眼都是怪物!这些角色狠话不多~
2020/03/03 日漫
php include的妙用,实现路径加密
2008/07/29 PHP
ThinkPHP控制器里javascript代码不能执行的解决方法
2014/11/22 PHP
详解Yii实现分页的两种方法
2017/01/14 PHP
phpQuery采集网页实现代码实例
2020/04/02 PHP
js 操作css实现代码
2009/06/11 Javascript
js作用域及作用域链概念理解及使用
2013/04/15 Javascript
JS获取地址栏参数的几种方法小结
2014/02/28 Javascript
jQuery+AJAX实现遮罩层登录验证界面(附源码)
2020/09/13 Javascript
Easyui form combobox省市区三级联动
2016/01/13 Javascript
jQuery xml字符串的解析、读取及查找方法
2016/03/01 Javascript
JavaScript中校验银行卡号的实现代码
2016/12/19 Javascript
AngularJS前端页面操作之用户修改密码功能示例
2017/03/27 Javascript
nodejs一个简单的文件服务器的创建方法
2019/09/13 NodeJs
原生js+css调节音量滑块
2020/01/15 Javascript
JavaScript实现alert弹框效果
2020/11/19 Javascript
Node.js文本文件BOM头的去除方法
2020/11/22 Javascript
Python 深入理解yield
2008/09/06 Python
使用 Python 实现微信公众号粉丝迁移流程
2018/01/03 Python
python中单下划线_的常见用法总结
2018/07/10 Python
Python使用统计函数绘制简单图形实例代码
2019/05/15 Python
使用Python-OpenCV向图片添加噪声的实现(高斯噪声、椒盐噪声)
2019/05/28 Python
pytorch 修改预训练model实例
2020/01/18 Python
使用sklearn对多分类的每个类别进行指标评价操作
2020/06/11 Python
python破解同事的压缩包密码
2020/10/14 Python
CSS3 创建网页动画实现弹跳球动效果
2018/10/30 HTML / CSS
Mamas & Papas沙特阿拉伯:英国最受欢迎的婴儿品牌
2017/11/20 全球购物
瑞士灯具购物网站:Lampenwelt.ch
2018/07/08 全球购物
澳大利亚一站式数码相机商店:CameraPro
2020/03/09 全球购物
中秋晚会活动方案
2014/08/31 职场文书
岗位竞聘报告范文
2014/11/06 职场文书
班主任工作经验交流会总结
2015/11/02 职场文书
关于环保的广播稿
2015/12/17 职场文书
发言稿之优秀教师篇
2019/09/26 职场文书
OpenCV-Python模板匹配人眼的实例
2021/06/08 Python
python中字符串String及其常见操作指南(方法、函数)
2022/04/06 Python