程序包 xin.jiangqiang.manage

接口 Recorder

    • 方法概要

      所有方法 实例方法 抽象方法 
      修饰符和类型 方法 说明
      void add​(Crawler crawler)
      存储未爬取的爬虫 需要去重处理
      void addAll​(List<Crawler> crawlers)
      存储未爬取的爬虫 需要去重处理
      void addErr​(Crawler crawler)
      记录失败的
      void addSucc​(Crawler crawler)
      记录爬取成功的
      Integer count()  
      Integer countErr()  
      Integer countSucc()  
      List<Crawler> getAll()
      查询所有未爬取的爬虫
      List<Crawler> getErr()
      查询爬取失败的
      Crawler getOne()
      取出未爬取的爬虫 取出后需要删除该爬虫
      List<Crawler> getSucc()
      查询爬取成功的
      void initBeforeStart​(Config config)
      此方法用于内存记录器的断点续爬 初始化文件中的数据，保证getOne或getAll方法可以获取到东西 如果是数据库存储则不需要此方法 内存记录器可以配置是否保存以及保存路径,而数据库记录器一律保存
      void saveBeforeEnd​(Config config)
      此方法用于内存记录器的断点续爬 结束前保存没有爬取的爬虫到文件，而数据库记录器无需此功能 内存记录器可以配置读取路径以及是否断点续爬,而数据库记录器只要数据表中有数据,则都会被爬取

    • 方法详细资料

      • add

        void add​(Crawler crawler)
        存储未爬取的爬虫 需要去重处理
        参数:
        crawler - 需要存储的爬虫

      • addAll

        void addAll​(List<Crawler> crawlers)
        存储未爬取的爬虫 需要去重处理
        参数:
        crawlers - 需要存储的爬虫列表

      • saveBeforeEnd

        void saveBeforeEnd​(Config config)
        此方法用于内存记录器的断点续爬 结束前保存没有爬取的爬虫到文件，而数据库记录器无需此功能 内存记录器可以配置读取路径以及是否断点续爬,而数据库记录器只要数据表中有数据,则都会被爬取

      • initBeforeStart

        void initBeforeStart​(Config config)
        此方法用于内存记录器的断点续爬 初始化文件中的数据，保证getOne或getAll方法可以获取到东西 如果是数据库存储则不需要此方法 内存记录器可以配置是否保存以及保存路径,而数据库记录器一律保存

      • getOne

        Crawler getOne()
        取出未爬取的爬虫 取出后需要删除该爬虫

      • getAll

        List<Crawler> getAll()
        查询所有未爬取的爬虫

      • addSucc

        void addSucc​(Crawler crawler)
        记录爬取成功的
        参数:
        crawler - 成功爬取的爬虫

      • getSucc

        List<Crawler> getSucc()
        查询爬取成功的
        返回:
        爬取成功的爬虫列表

      • addErr

        void addErr​(Crawler crawler)
        记录失败的
        参数:
        crawler - 爬取失败的爬虫

      • getErr

        List<Crawler> getErr()
        查询爬取失败的
        返回:
        爬取失败的爬虫列表

      • count

        Integer count()
        返回:
        查询未爬取的种子条数

      • countSucc

        Integer countSucc()
        返回:
        查询成功条数

      • countErr

        Integer countErr()
        返回:
        查询失败条数