类的使用
xin.jiangqiang.core.entities.Crawler

使用Crawler的程序包

程序包	说明
xin.jiangqiang.core.app
xin.jiangqiang.core.entities
xin.jiangqiang.core.filter
xin.jiangqiang.core.net
xin.jiangqiang.core.recoder

xin.jiangqiang.core.app中Crawler的使用

参数类型为Crawler的xin.jiangqiang.core.app中的方法

修饰符和类型	方法	说明
abstract Runnable	AbstractStarter.getTask(Crawler crawler)	获取一个线程业务逻辑
Runnable	SimpleStarter.getTask(Crawler crawler)
Runnable	Starter.getTask(Crawler crawler)	每一个爬虫任务的逻辑

参数类型为Crawler的xin.jiangqiang.core.app中的构造器

构造器	说明
Task(Crawler crawler)

xin.jiangqiang.core.entities中Crawler的使用

xin.jiangqiang.core.entities中Crawler的子类

修饰符和类型	类	说明
class	Page

返回Crawler的xin.jiangqiang.core.entities中的方法

修饰符和类型	方法	说明
Crawler	Crawler.addBodys(String key, String value)
Crawler	Crawler.addHeaders(String key, String value)
Crawler	Crawler.addLines(String key, String value)
Crawler	Crawler.addSeed(String url)	创建时子类爬虫深度会自动+1
Crawler	Crawler.initDataFromCrawler(Crawler crawler)	1.
Crawler	Crawler.initFromGlobConfig(HttpConfig<?> config)
Crawler	Crawler.setData(String key, String value)	快捷的从dataMap中操作数据
Crawler	Crawler.setDataMap(Map<String,String> dataMap)	存储数据，此集合中的数据会继承父级种子，但是修改子爬虫数据不会影响父爬虫数据

参数类型为Crawler的xin.jiangqiang.core.entities中的方法

修饰符和类型	方法	说明
static Page	Page.getPage(Crawler crawler, Integer responseCode, String contentType, byte[] content, Charset charset)	okhttp请求之后通过crawler创建page page和crawler的其余属性一致
Crawler	Crawler.initDataFromCrawler(Crawler crawler)	1.

xin.jiangqiang.core.filter中Crawler的使用

类型变量类型为Crawler的xin.jiangqiang.core.filter中的方法参数

修饰符和类型	方法	说明
void	Filter.filter(Set<Crawler> urlList)
void	NextFilter.filter(Set<Crawler> crawlerSet)

xin.jiangqiang.core.net中Crawler的使用

参数类型为Crawler的xin.jiangqiang.core.net中的方法

修饰符和类型	方法	说明
okhttp3.Call	OkHttpClientHelper.request(Crawler crawler)

xin.jiangqiang.core.recoder中Crawler的使用

返回Crawler的xin.jiangqiang.core.recoder中的方法

修饰符和类型	方法	说明
Crawler	AbstractRecorder.getOne()
Crawler	RAMRecorder.getOne()	读集合crawlersSet 写集合tmpCrawlersSet 获取的同时需要删除存储的该爬虫实例（保证下一个线程不会取到同一个）
Crawler	Recorder.getOne()	取出未爬取的爬虫 取出后需要删除该爬虫

返回变量类型为Crawler的类型的xin.jiangqiang.core.recoder中的方法

修饰符和类型	方法	说明
List<Crawler>	AbstractRecorder.getAll()
List<Crawler>	RAMRecorder.getAll()
List<Crawler>	Recorder.getAll()	查询所有未爬取的爬虫
List<Crawler>	AbstractRecorder.getErr()
List<Crawler>	RAMRecorder.getErr()
List<Crawler>	Recorder.getErr()	查询爬取失败的
List<Crawler>	AbstractRecorder.getSucc()
List<Crawler>	RAMRecorder.getSucc()
List<Crawler>	Recorder.getSucc()	查询爬取成功的

参数类型为Crawler的xin.jiangqiang.core.recoder中的方法

修饰符和类型	方法	说明
void	AbstractRecorder.add(Crawler crawler)
void	RAMRecorder.add(Crawler crawler)	写集合crawlersSet 不能添加重复的爬虫
void	Recorder.add(Crawler crawler)	存储未爬取的爬虫 需要去重处理
void	AbstractRecorder.addErr(Crawler crawler)
void	RAMRecorder.addErr(Crawler crawler)	写集合errCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫
void	Recorder.addErr(Crawler crawler)	记录失败的
void	AbstractRecorder.addSucc(Crawler crawler)
void	RAMRecorder.addSucc(Crawler crawler)	写集合succCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫
void	Recorder.addSucc(Crawler crawler)	记录爬取成功的
Boolean	AbstractRecorder.exist(Crawler crawler)
Boolean	RAMRecorder.exist(Crawler crawler)
Boolean	Recorder.exist(Crawler crawler)	是否已经存在此爬虫URL

类型变量类型为Crawler的xin.jiangqiang.core.recoder中的方法参数

修饰符和类型	方法	说明
void	AbstractRecorder.addAll(List<Crawler> crawlers)
void	RAMRecorder.addAll(List<Crawler> crawlers)	写集合crawlersSet 不能添加重复的爬虫
void	Recorder.addAll(List<Crawler> crawlers)	存储未爬取的爬虫 需要去重处理