33个Python爬虫项目实战(推荐)


Posted in Python onJuly 08, 2019

今天为大家整理了32个Python爬虫项目。

整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心。所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O

WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。

DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的Sheet ,采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封。

zhihu_spider [3]- 知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系,爬虫框架使用scrapy,数据存储使用mongo

bilibili-user [4]- Bilibili用户爬虫。总数据数:20119918,抓取字段:用户id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。抓取之后生成B站用户数据报告。

SinaSpider [5]- 新浪微博爬虫。主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注。代码获取新浪微博Cookie进行登录,可通过多账号登录来防止新浪的反扒。主要使用 scrapy 爬虫框架。

distribute_crawler [6]- 小说下载分布式爬虫。使用scrapy,Redis, MongoDB,graphite实现的一个分布式网络爬虫,底层存储MongoDB集群,分布式使用Redis实现,爬虫状态显示使用graphite实现,主要针对一个小说站点。

CnkiSpider [7]- 中国知网爬虫。设置检索条件后,执行src/CnkiSpider.py抓取数据,抓取数据存储在/data目录下,每个数据文件的第一行为字段名称。

LianJiaSpider [8]- 链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码,包括链家模拟登录代码。

scrapy_jingdong [9]- 京东爬虫。基于scrapy的京东网站爬虫,保存格式为csv。

QQ-Groups-Spider [10]- QQ 群爬虫。批量抓取 QQ 群信息,包括群名称、群号、群人数、群主、群简介等内容,最终生成 XLS(X) / CSV 结果文件。

wooyun_public[11]-乌云爬虫。 乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在MongoDB中,大概约2G内容;如果整站爬全部文本和图片作为离线查询,大概需要10G空间、2小时(10M电信带宽);爬取全部知识库,总共约500M空间。漏洞搜索使用了Flask作为web server,bootstrap作为前端。

spider[12]- hao123网站爬虫。以hao123为入口页面,滚动爬取外链,收集网址,并记录网址上的内链和外链数目,记录title等信息,windows7 32位上测试,目前每24个小时,可收集数据为10万左右

findtrip [13]- 机票爬虫(去哪儿和携程网)。Findtrip是一个基于Scrapy的机票爬虫,目前整合了国内两大机票网站(去哪儿 + 携程)。

163spider [14] - 基于requests、MySQLdb、torndb的网易客户端内容爬虫

doubanspiders[15]- 豆瓣电影、书籍、小组、相册、东西等爬虫集 writen by Python

QQSpider [16]- QQ空间爬虫,包括日志、说说、个人信息等,一天可抓取 400 万条数据。

baidu-music-spider [17]- 百度mp3全站爬虫,使用redis支持断点续传。

tbcrawler[18]- 淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息,数据存储在mongodb。

stockholm [19]- 一个股票数据(沪深)爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。

BaiduyunSpider[20]-百度云盘爬虫。

Spider[21]-社交数据爬虫。支持微博,知乎,豆瓣。

proxy pool[22]-Python爬虫代理IP池(proxy pool)。

music-163[23]-爬取网易云音乐所有歌曲的评论。

jandan_spider[24]-爬取煎蛋妹纸图片。

CnblogsSpider[25]-cnblogs列表页爬虫。

spider_smooc[26]-爬取慕课网视频。

CnkiSpider[27]-中国知网爬虫。

knowsecSpider2[28]-知道创宇爬虫题目。

aiss-spider[29]-爱丝APP图片爬虫。

SinaSpider[30]-动态IP解决新浪的反爬虫机制,快速抓取内容。

csdn-spider[31]-爬取CSDN上的博客文章。

ProxySpider[32]-爬取西刺上的代理IP,并验证代理可用性

2018.8.2更新:

webspider[33]-本系统是一个主要使用python3, celery和requests来爬取职位数据的爬虫,实现了定时任务,出错重试,日志记录,自动更改Cookies等的功能,并使用ECharts + Bootstrap 来构建前端页面,来展示爬取到的数据。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python监控主机是否存活并以邮件报警
Sep 22 Python
Python实现读取邮箱中的邮件功能示例【含文本及附件】
Aug 05 Python
python模糊图片过滤的方法
Dec 14 Python
python使用MQTT给硬件传输图片的实现方法
May 05 Python
Python使用sklearn库实现的各种分类算法简单应用小结
Jul 04 Python
Python通过Manager方式实现多个无关联进程共享数据的实现
Nov 07 Python
关于tf.TFRecordReader()函数的用法解析
Feb 17 Python
python高阶函数map()和reduce()实例解析
Mar 16 Python
matlab、python中矩阵的互相导入导出方式
Jun 01 Python
python如何调用java类
Jul 05 Python
Python 数据的累加与统计的示例代码
Aug 03 Python
MoviePy常用剪辑类及Python视频剪辑自动化
Dec 18 Python
详解python中的time和datetime的常用方法
Jul 08 #Python
在python plt图表中文字大小调节的方法
Jul 08 #Python
python文件转为exe文件的方法及用法详解
Jul 08 #Python
简单了解python代码优化小技巧
Jul 08 #Python
python实现在函数图像上添加文字和标注的方法
Jul 08 #Python
python画图——实现在图上标注上具体数值的方法
Jul 08 #Python
简单了解python的break、continue、pass
Jul 08 #Python
You might like
PHP+MYSQL 出现乱码的解决方法
2008/08/08 PHP
Windows Apache2.2.11及Php5.2.9-1的安装与配置方法
2009/06/08 PHP
ie6 动态缩略图不显示的原因
2009/06/21 PHP
php Smarty初体验二 获取配置信息
2011/08/08 PHP
PHP5.4中json_encode中文转码的变化小结
2013/01/30 PHP
PHP 面向对象程序设计(oop)学习笔记 (二) - 静态变量的属性和方法及延迟绑定
2014/06/12 PHP
php获取网站百度快照日期的方法
2015/07/29 PHP
全面解析PHP验证码的实现原理 附php验证码小案例
2016/08/17 PHP
JQuery从头学起第三讲
2010/07/06 Javascript
Javascript倒计时页面跳转实例小结
2013/09/11 Javascript
在 Express 中使用模板引擎
2015/12/10 Javascript
JS判断鼠标进入容器的方向与window.open新窗口被拦截的问题
2016/12/23 Javascript
Angular2 父子组件通信方式的示例
2018/01/29 Javascript
vue插件mescroll.js实现移动端上拉加载和下拉刷新
2019/03/07 Javascript
js利用递归与promise 按顺序请求数据的方法
2019/08/30 Javascript
使用Vue.set()方法实现响应式修改数组数据步骤
2019/11/09 Javascript
写给新手同学的vuex快速上手指北小结
2020/04/14 Javascript
python将ansible配置转为json格式实例代码
2017/05/15 Python
Python 实现字符串中指定位置插入一个字符
2018/05/02 Python
使用python绘制3维正态分布图的方法
2018/12/29 Python
CSS3.0实现霓虹灯按钮动画特效的示例代码
2021/01/12 HTML / CSS
日本7net购物网:书籍、漫画、杂志、DVD、游戏邮购
2017/02/17 全球购物
递归实现回文判断(如:abcdedbca就是回文,判断一个面试者对递归理解的简单程序)
2013/04/28 面试题
大学生水文观测实习自我鉴定
2013/09/29 职场文书
创业计划书怎样才能打动风投
2014/01/01 职场文书
安全演讲稿大全
2014/05/09 职场文书
优秀英文求职信范文
2015/03/19 职场文书
行政上诉状范文
2015/05/23 职场文书
2016年员工政治思想表现评语
2015/12/02 职场文书
大学生村官工作心得体会
2016/01/23 职场文书
学习心得体会
2019/06/20 职场文书
学会用Python实现滑雪小游戏,再也不用去北海道啦
2021/05/20 Python
一篇文章带你了解Python和Java的正则表达式对比
2021/09/15 Python
SQL基础查询和LINQ集成化查询
2022/01/18 MySQL
MySQL 条件查询的常用操作
2022/04/28 MySQL
nginx rewrite功能使用场景分析
2022/05/30 Servers