Java爬虫技术框架之Heritrix框架详解


Posted in Python onJuly 22, 2020

Heritrix是一个由Java开发的开源Web爬虫系统,用来获取完整的、精确的站点内容的深度复制,

具有强大的可扩展性,运行开发者任意选择或扩展各个组件,实现特定的抓取逻辑。

一、Heritrix介绍

Heritrix采用了模块化的设计,用户可以在运行时选择要用的模块。它由核心类(core classes)和插件模块(pluggable modules)构成。

核心类可以配置,但不能被覆盖,插件模块可以由第三方模块取代。所以我们就可以用实现了特定抓取逻辑的第三方模块来取代默认的插件模块,从而满足自己的抓取需要。

CrawlController(下载控制器)整个下载过程的总控制者,整个抓取工作的起点,决定整个抓取任务的开始和结束。每个URI都有一个独立的线程,它从边界控制器(Frontier)获取新的URI,然后传递给Processor chains(处理链)经过一系列Processor(处理器)处理。

Java爬虫技术框架之Heritrix框架详解

二、Heritrix架构

中央控制器 CrawlController 是核心组件,决定了整个抓取任务的开始与结束。

用户在 Heritrix web UI 控制台设置抓取任务后,heritrix首先构造XMLSettingsHandler对象,然后调用CrawlController的构造函数,构造一个CrawlController实例并初始化,这样,CrawlController就具备了运行条件。

此时,只需调用 requestCrawlStart()方法就可以启动线程池和Frontier,以便向线程池中工作线程提供抓取用的URL链接。

Java爬虫技术框架之Heritrix框架详解

Heritrix 3.x 的框架主要分为 Engine 和 Component

三、一些API

org.archive.crawler.framework.CrawlJob;

org.archive.crawler.postprocessor.CandidatesProcessor;
org.archive.modules.CrawlURI;

等等

抓取任务CrawlOrder类:是整个抓取工作的起点。一次抓取任务包括许多属性,建立一个任务的方式有很多种,最简单的一种就是根据默认的order.xml来配置。

中央控制器CrawlController:该类决定着抓取任务的开始和结束。它包含以下几个组件:

CrawlOrder:该类保存了order.xml的属性配置;

CrawlScope:决定当前抓取范围;

ProcessorChainList:处理器链;

Frontier:一次抓取任务需要设定一个Frontier,以此来不断为其每个线程提供URI;

ToePool:它是一个线程池,管理了所有在当前任务中抓取过的Host名称和Server名称。

中央控制器CrawlControllr的类结构如图所示:

Java爬虫技术框架之Heritrix框架详解

Frontier链接制造工厂:它表示一种为线程提供链接的工具,通过一些特定的算法来决定哪个链接将接下来被送入处理器链中,同时,它本身也负责一定的日志和状态报告功能。

BdbFrontier类:它是用Berkeley DB 实现的,Berkeley DB 就是一个HashTable,它能够按“key/value”方式保存数据,能够为应用程序提供可伸缩的、高性能的、有事务保护功能的嵌入式数据库。

Heritrix的多线程ToeThread和ToePool:要想更快更有效地抓取网页,必须采用多线程,Heritrix则采用多线程机制,提供了一个标准的线程池ToePool,用于管理所有的抓取线程。

处理器链 Processor:包括PreProcessor、Fetcher、Extractor、Writer、PostProcessor五种。

四、应用

作为爬虫模块,爬取数据

Java爬虫技术框架之Heritrix框架详解

到此这篇关于爬虫技术框架之Heritrix框架详解的文章就介绍到这了,更多相关爬虫技术框架 Heritrix内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python os模块介绍
Nov 30 Python
解决pycharm无法调用pip安装的包问题
May 18 Python
selenium + python 获取table数据的示例讲解
Oct 13 Python
python 爬虫百度地图的信息界面的实现方法
Oct 27 Python
django ajax发送post请求的两种方法
Jan 05 Python
解决tensorflow由于未初始化变量而导致的错误问题
Jan 06 Python
pytorch中的自定义数据处理详解
Jan 06 Python
pip install 使用国内镜像的方法示例
Apr 03 Python
Python restful框架接口开发实现
Apr 13 Python
Python多线程实现支付模拟请求过程解析
Apr 21 Python
Python限制内存和CPU使用量的方法(Unix系统适用)
Aug 04 Python
基于Python实现射击小游戏的制作
Apr 06 Python
Python 绘制可视化折线图
Jul 22 #Python
python写文件时覆盖原来的实例方法
Jul 22 #Python
python中return不返回值的问题解析
Jul 22 #Python
Java byte数组操纵方式代码实例解析
Jul 22 #Python
Python生成器传参数及返回值原理解析
Jul 22 #Python
Python通过zookeeper实现分布式服务代码解析
Jul 22 #Python
Selenium python时间控件输入问题解决方案
Jul 22 #Python
You might like
三国漫画《火凤燎原》宣布动画化PV放出 预计2020年播出
2020/03/08 国漫
php连接mssql数据库的几种方法
2013/02/21 PHP
php程序内部post数据的方法
2015/03/31 PHP
php bootstrap实现简单登录
2016/03/08 PHP
php利用imagemagick实现复古老照片效果实例
2017/02/16 PHP
thinkphp ajaxfileupload实现异步上传图片的示例
2017/08/28 PHP
PHP 应用容器化以及部署方法
2018/02/12 PHP
让Laravel API永远返回JSON格式响应的方法示例
2018/09/05 PHP
JavaScript写的一个自定义弹出式对话框代码
2010/01/17 Javascript
JQuery扩展插件Validate 2通过参数设置验证规则
2011/09/05 Javascript
删除select中所有option选项jquery代码
2013/08/12 Javascript
jQuery拖拽div实现思路
2014/02/19 Javascript
纯javascript制作日历控件
2015/07/17 Javascript
JS获取随机数和时间转换的简单实例
2016/07/10 Javascript
简洁实用的BootStrap jQuery手风琴插件
2016/08/31 Javascript
JavaScript箭头(arrow)函数详解
2017/06/04 Javascript
Vue.js基础指令实例讲解(各种数据绑定、表单渲染大总结)
2017/07/03 Javascript
微信小程序实现下拉刷新和轮播图效果
2017/11/21 Javascript
详解如何在Vue里建立长按指令
2018/08/20 Javascript
原生JS实现简单的无缝自动轮播效果
2018/09/26 Javascript
Vue代码整洁之去重方法整理
2019/08/06 Javascript
Vue实现页面添加水印功能
2019/11/09 Javascript
vue图片上传组件使用详解
2019/12/23 Javascript
微信小程序实现限制用户转发功能的实例代码
2020/02/22 Javascript
[43:03]LGD vs Newbee 2019国际邀请赛小组赛 BO2 第一场 8.16
2019/08/19 DOTA
在Django的模板中使用认证数据的方法
2015/07/23 Python
python 实现在Excel末尾增加新行
2018/05/02 Python
kaggle+mnist实现手写字体识别
2018/07/26 Python
Python正则匹配判断手机号是否合法的方法
2020/12/09 Python
对python多线程中互斥锁Threading.Lock的简单应用详解
2019/01/11 Python
Python利用matplotlib绘制散点图的新手教程
2020/11/05 Python
Notino意大利:购买香水和化妆品
2018/11/14 全球购物
个人党性剖析材料
2014/02/03 职场文书
财务会计专业求职信
2014/06/09 职场文书
幼儿学前班评语
2014/12/29 职场文书
Nginx配置根据url参数重定向
2022/04/11 Servers