程序包 xin.jiangqiang.core.recoder

类 AbstractRecorder

  • 所有已实现的接口:
    Recorder
    直接已知子类:
    DbRecorder, RAMRecorder
    public abstract class AbstractRecorder
extends Object
implements Recorder
    下面方法作为保留方法，暂时没有使用，但是后续可能会使用到 如果后续使用到下面方法可以通过子类覆盖

    • 字段详细资料

      • config

        protected Config config

    • 构造器详细资料

      • AbstractRecorder

        public AbstractRecorder()

    • 方法详细资料

      • add

        public void add​(Crawler crawler)
        从接口复制的说明: Recorder
        存储未爬取的爬虫 需要去重处理
        指定者:
        add 在接口中 Recorder
        参数:
        crawler - 需要存储的爬虫

      • addAll

        public void addAll​(List<Crawler> crawlers)
        从接口复制的说明: Recorder
        存储未爬取的爬虫 需要去重处理
        指定者:
        addAll 在接口中 Recorder
        参数:
        crawlers - 需要存储的爬虫列表

      • saveBeforeEnd

        public void saveBeforeEnd()
        从接口复制的说明: Recorder
        此方法用于内存记录器的断点续爬 结束前保存没有爬取的爬虫到文件，而数据库记录器无需此功能 内存记录器可以配置读取路径以及是否断点续爬,而数据库记录器只要数据表中有数据,则都会被爬取
        指定者:
        saveBeforeEnd 在接口中 Recorder

      • initBeforeStart

        public void initBeforeStart()
        从接口复制的说明: Recorder
        此方法用于内存记录器的断点续爬 初始化文件中的数据，保证getOne或getAll方法可以获取到东西 如果是数据库存储则不需要此方法 内存记录器可以配置是否保存以及保存路径,而数据库记录器一律保存
        指定者:
        initBeforeStart 在接口中 Recorder

      • getOne

        public Crawler getOne()
        从接口复制的说明: Recorder
        取出未爬取的爬虫 取出后需要删除该爬虫
        指定者:
        getOne 在接口中 Recorder

      • addSucc

        public void addSucc​(Crawler crawler)
        从接口复制的说明: Recorder
        记录爬取成功的
        指定者:
        addSucc 在接口中 Recorder
        参数:
        crawler - 成功爬取的爬虫

      • getSucc

        public List<Crawler> getSucc()
        从接口复制的说明: Recorder
        查询爬取成功的
        指定者:
        getSucc 在接口中 Recorder
        返回:
        爬取成功的爬虫列表

      • addErr

        public void addErr​(Crawler crawler)
        从接口复制的说明: Recorder
        记录失败的
        指定者:
        addErr 在接口中 Recorder
        参数:
        crawler - 爬取失败的爬虫

      • getErr

        public List<Crawler> getErr()
        从接口复制的说明: Recorder
        查询爬取失败的
        指定者:
        getErr 在接口中 Recorder
        返回:
        爬取失败的爬虫列表

      • count

        public Integer count()
        指定者:
        count 在接口中 Recorder
        返回:
        查询未爬取的种子条数