类 AbstractStarter
- java.lang.Object
-
- xin.jiangqiang.app.AbstractStarter
-
- 所有已实现的接口:
Starter
- 直接已知子类:
SeleniumApplication,TradApplication
public abstract class AbstractStarter extends Object implements Starter
定义开始爬取前,爬取完成后的基本流程- 作者:
- jiangqiang
-
-
字段概要
字段 修饰符和类型 字段 说明 protected Integer[]activeCountsprotected CallMethodHelpercallMethodHelperprotected Configconfigprotected Crawlercrawlerprotected ExecutorServiceexecutorprotected Filterfilterprotected BooleanisEndprotected Recorderrecorder
-
构造器概要
构造器 构造器 说明 AbstractStarter()
-
方法概要
所有方法 实例方法 抽象方法 具体方法 已过时的方法 修饰符和类型 方法 说明 CrawleraddSeed(String url)创建时子类爬虫深度会自动+1voidaddSeeds(List<String> urls, String type)批量创建初始爬虫,批量设置子类类型protected voidbeforeEnd()voidclearResource()程序结束前会执行,用于清理资源,比如使用selenium时关闭驱动voiddispatcher()从Recorder分配任务CrawlergetCrawler()已过时。protected List<String>getMatchUrls(List<String> urls)逆正则优先级更高 一旦匹配逆正则,则不会匹配正正则abstract RunnablegetTask(Crawler crawler)protected voidinit()protected voidrun()使用线程池执行爬虫任务的真正逻辑voidstart()
-
-
-
字段详细资料
-
activeCounts
protected final Integer[] activeCounts
-
callMethodHelper
protected CallMethodHelper callMethodHelper
-
isEnd
protected Boolean isEnd
-
executor
protected ExecutorService executor
-
config
protected final Config config
-
crawler
protected final Crawler crawler
-
filter
protected Filter filter
-
recorder
protected Recorder recorder
-
-
方法详细资料
-
init
protected void init()
-
beforeEnd
protected void beforeEnd()
-
clearResource
public void clearResource()
程序结束前会执行,用于清理资源,比如使用selenium时关闭驱动- 指定者:
clearResource在接口中Starter
-
run
protected void run()
使用线程池执行爬虫任务的真正逻辑
-
dispatcher
public void dispatcher()
从Recorder分配任务
-
getMatchUrls
protected List<String> getMatchUrls(List<String> urls)
逆正则优先级更高 一旦匹配逆正则,则不会匹配正正则- 参数:
urls- 链接- 返回:
-
getCrawler
@Deprecated public Crawler getCrawler()
已过时。不建议获取初始爬虫对象,如果需要添加爬虫种子,可以直接调用addSeed- 返回:
- 返回初始爬虫对象
-
-