程序包 xin.jiangqiang.manage

类 RAMRecorder

  • 所有已实现的接口:
    Recorder
    public class RAMRecorder
extends AbstractRecorder
    内存记录器，存储统计各个阶段的爬虫 此类所有方法同步，是限制并发的主要因素

    • 构造器详细资料

      • RAMRecorder

        public RAMRecorder()

    • 方法详细资料

      • add

        public void add​(Crawler crawler)
        写集合crawlersList 不能添加重复的爬虫
        参数:
        crawler - 需要存储的爬虫

      • addAll

        public void addAll​(List<Crawler> crawlers)
        写集合crawlersList 不能添加重复的爬虫
        指定者:
        addAll 在接口中 Recorder
        覆盖:
        addAll 在类中 AbstractRecorder
        参数:
        crawlers - 需要存储的爬虫列表

      • getOne

        public Crawler getOne()
        读写集合crawlersList 获取的同时需要删除存储的该爬虫实例（保证下一个线程不会取到同一个）
        返回:
        获取一个爬虫实例

      • addSucc

        public void addSucc​(Crawler crawler)
        写集合succCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
        参数:
        crawler - 成功爬取的爬虫

      • addErr

        public void addErr​(Crawler crawler)
        写集合errCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
        参数:
        crawler - 爬取失败的爬虫

      • count

        public Integer count()
        返回:
        查询未爬取的种子条数

      • countSucc

        public Integer countSucc()
        返回:
        查询成功条数

      • countErr

        public Integer countErr()
        返回:
        查询失败条数