程序包 xin.jiangqiang.manage

类 AbstractRecorder

  • 所有已实现的接口:
    Recorder
    直接已知子类:
    DbRecorder, RAMRecorder
    public abstract class AbstractRecorder
extends Object
implements Recorder
    下面方法作为保留方法，暂时没有使用，但是后续可能会使用到 如果后续使用到下面方法可以通过子类覆盖

    • 构造器详细资料

      • AbstractRecorder

        public AbstractRecorder()

    • 方法详细资料

      • addAll

        public void addAll​(List<Crawler> crawlers)
        从接口复制的说明: Recorder
        存储未爬取的爬虫 需要去重处理
        指定者:
        addAll 在接口中 Recorder
        参数:
        crawlers - 需要存储的爬虫列表

      • getSucc

        public List<Crawler> getSucc()
        从接口复制的说明: Recorder
        查询爬取成功的
        指定者:
        getSucc 在接口中 Recorder
        返回:
        爬取成功的爬虫列表

      • getErr

        public List<Crawler> getErr()
        从接口复制的说明: Recorder
        查询爬取失败的
        指定者:
        getErr 在接口中 Recorder
        返回:
        爬取失败的爬虫列表

      • saveBeforeEnd

        public void saveBeforeEnd​(Config config)
        从接口复制的说明: Recorder
        此方法用于内存记录器的断点续爬 结束前保存没有爬取的爬虫到文件，而数据库记录器无需此功能 内存记录器可以配置读取路径以及是否断点续爬,而数据库记录器只要数据表中有数据,则都会被爬取
        指定者:
        saveBeforeEnd 在接口中 Recorder

      • initBeforeStart

        public void initBeforeStart​(Config config)
        从接口复制的说明: Recorder
        此方法用于内存记录器的断点续爬 初始化文件中的数据，保证getOne或getAll方法可以获取到东西 如果是数据库存储则不需要此方法 内存记录器可以配置是否保存以及保存路径,而数据库记录器一律保存
        指定者:
        initBeforeStart 在接口中 Recorder