程序包 xin.jiangqiang.core.recoder

类 RAMRecorder

java.lang.Object

xin.jiangqiang.core.recoder.AbstractRecorder

xin.jiangqiang.core.recoder.RAMRecorder

所有已实现的接口:

Recorder

public class RAMRecorder
extends AbstractRecorder

内存记录器，存储统计各个阶段的爬虫 此类所有方法同步，是限制并发的主要因素

字段概要

从类继承的字段 xin.jiangqiang.core.recoder.AbstractRecorder

config

构造器概要

构造器

构造器	说明
RAMRecorder()

方法概要

修饰符和类型	方法	说明
void	add(Crawler crawler)	写集合crawlersSet 不能添加重复的爬虫
void	addAll(List<Crawler> crawlers)	写集合crawlersSet 不能添加重复的爬虫
void	addErr(Crawler crawler)	写集合errCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫
void	addSucc(Crawler crawler)	写集合succCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫
Integer	count()
Integer	countErr()
Integer	countSucc()
Boolean	exist(Crawler crawler)	是否已经存在此爬虫URL
List<Crawler>	getAll()	查询所有未爬取的爬虫
List<Crawler>	getErr()	查询爬取失败的
Crawler	getOne()	读集合crawlersSet 写集合tmpCrawlersSet 获取的同时需要删除存储的该爬虫实例（保证下一个线程不会取到同一个）
List<Crawler>	getSucc()	查询爬取成功的
void	initBeforeStart()	写集合crawlersList
void	saveBeforeEnd()	读集合crawlersList

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

RAMRecorder

public RAMRecorder()

方法详细资料

add

public void add(Crawler crawler)

写集合crawlersSet 不能添加重复的爬虫

指定者:

add 在接口中 Recorder

覆盖:

add 在类中 AbstractRecorder

参数:

crawler - 需要存储的爬虫

addAll

public void addAll(List<Crawler> crawlers)

写集合crawlersSet 不能添加重复的爬虫

指定者:

addAll 在接口中 Recorder

覆盖:

addAll 在类中 AbstractRecorder

参数:

crawlers - 需要存储的爬虫列表

getOne

public Crawler getOne()

读集合crawlersSet 写集合tmpCrawlersSet 获取的同时需要删除存储的该爬虫实例（保证下一个线程不会取到同一个）

指定者:

getOne 在接口中 Recorder

覆盖:

getOne 在类中 AbstractRecorder

返回:

获取一个爬虫实例

addSucc

public void addSucc(Crawler crawler)

写集合succCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫

指定者:

addSucc 在接口中 Recorder

覆盖:

addSucc 在类中 AbstractRecorder

参数:

crawler - 成功爬取的爬虫

addErr

public void addErr(Crawler crawler)

写集合errCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫

指定者:

addErr 在接口中 Recorder

覆盖:

addErr 在类中 AbstractRecorder

参数:

crawler - 爬取失败的爬虫

count

public Integer count()

指定者:

count 在接口中 Recorder

覆盖:

count 在类中 AbstractRecorder

返回:

查询未爬取的种子条数

countSucc

public Integer countSucc()

指定者:

countSucc 在接口中 Recorder

覆盖:

countSucc 在类中 AbstractRecorder

返回:

查询成功条数

countErr

public Integer countErr()

指定者:

countErr 在接口中 Recorder

覆盖:

countErr 在类中 AbstractRecorder

返回:

查询失败条数

saveBeforeEnd

public void saveBeforeEnd()

读集合crawlersList

指定者:

saveBeforeEnd 在接口中 Recorder

覆盖:

saveBeforeEnd 在类中 AbstractRecorder

initBeforeStart

public void initBeforeStart()

写集合crawlersList

指定者:

initBeforeStart 在接口中 Recorder

覆盖:

initBeforeStart 在类中 AbstractRecorder

getAll

public List<Crawler> getAll()

从接口复制的说明: Recorder

查询所有未爬取的爬虫

指定者:

getAll 在接口中 Recorder

覆盖:

getAll 在类中 AbstractRecorder

getSucc

public List<Crawler> getSucc()

从接口复制的说明: Recorder

查询爬取成功的

指定者:

getSucc 在接口中 Recorder

覆盖:

getSucc 在类中 AbstractRecorder

返回:

爬取成功的爬虫列表

getErr

public List<Crawler> getErr()

从接口复制的说明: Recorder

查询爬取失败的

指定者:

getErr 在接口中 Recorder

覆盖:

getErr 在类中 AbstractRecorder

返回:

爬取失败的爬虫列表

exist

public Boolean exist(Crawler crawler)

从接口复制的说明: Recorder

是否已经存在此爬虫URL

指定者:

exist 在接口中 Recorder

覆盖:

exist 在类中 AbstractRecorder

返回: