类 AbstractStarter

    • 构造器详细资料

      • AbstractStarter

        public AbstractStarter()
    • 方法详细资料

      • start

        public final void start()
        指定者:
        start 在接口中 Starter
      • init

        protected void init()
      • beforeEnd

        protected void beforeEnd()
      • clearResource

        public void clearResource()
        程序结束前会执行,用于清理资源,比如使用selenium时关闭驱动
        指定者:
        clearResource 在接口中 Starter
      • run

        protected void run()
        使用线程池执行爬虫任务的真正逻辑
      • dispatcher

        public void dispatcher()
        从Recorder分配任务
      • getMatchUrls

        protected List<String> getMatchUrls​(List<String> urls)
        逆正则优先级更高 一旦匹配逆正则,则不会匹配正正则
        参数:
        urls - 链接
        返回:
      • getCrawler

        @Deprecated
        public Crawler getCrawler()
        已过时。
        不建议获取初始爬虫对象,如果需要添加爬虫种子,可以直接调用addSeed
        返回:
        返回初始爬虫对象
      • addSeed

        public Crawler addSeed​(String url)
        创建时子类爬虫深度会自动+1
        参数:
        url - url
        返回:
        返回子爬虫
      • addSeeds

        public void addSeeds​(List<String> urls,
                             String type)
        批量创建初始爬虫,批量设置子类类型
        参数:
        urls - url列表
        type - 类型