类的使用
xin.jiangqiang.entities.Crawler

使用Crawler的程序包

程序包	说明
xin.jiangqiang.app
xin.jiangqiang.entities
xin.jiangqiang.filter
xin.jiangqiang.manage
xin.jiangqiang.net
xin.jiangqiang.sample
xin.jiangqiang.selenium
xin.jiangqiang.selenium.webdriver
xin.jiangqiang.util

xin.jiangqiang.app中Crawler的使用

声明为Crawler的xin.jiangqiang.app中的字段

修饰符和类型	字段	说明
protected Crawler	AbstractStarter.crawler

返回Crawler的xin.jiangqiang.app中的方法

修饰符和类型	方法	说明
Crawler	AbstractStarter.addSeed(String url)	创建时子类爬虫深度会自动+1
Crawler	AbstractStarter.getCrawler()	已过时。

参数类型为Crawler的xin.jiangqiang.app中的方法

修饰符和类型	方法	说明
abstract Runnable	AbstractStarter.getTask(Crawler crawler)
Runnable	SeleniumApplication.getTask(Crawler crawler)
Runnable	TradApplication.getTask(Crawler crawler)
protected void	SeleniumApplication.init(WebHandlerManager webHandlerManager, Crawler crawler)	此方法专门用于子类重写，方便实现自定义功能，比如爬虫启动前模拟登录操作，获取cookie selenium模式独有方法

参数类型为Crawler的xin.jiangqiang.app中的构造器

构造器	说明
Task(Crawler crawler)
Task(Crawler crawler)

xin.jiangqiang.entities中Crawler的使用

xin.jiangqiang.entities中Crawler的子类

修饰符和类型	类	说明
class	Page	请求结束后的爬虫,此对象用于提取数据

返回Crawler的xin.jiangqiang.entities中的方法

修饰符和类型	方法	说明
Crawler	Crawler.addSeed(String url)	创建时子类爬虫深度会自动+1
Crawler	Crawler.initDataFromCrawler(Crawler crawler)	1.
Crawler	Crawler.setBodys(Map<String,String> bodys)
Crawler	Crawler.setConfigs(Map<String,String> configs)
Crawler	Crawler.setData(Map<String,String> others)
Crawler	Crawler.setHeaders(Map<String,String> headers)
Crawler	Crawler.setLines(Map<String,String> lines)
Crawler	Crawler.setMethod(RequestMethod method)

参数类型为Crawler的xin.jiangqiang.entities中的方法

修饰符和类型	方法	说明
static Page	Page.getPage(Crawler crawler, Integer responseCode, String contentType, byte[] content, Charset charset)	okhttp请求之后通过crawler创建page page和crawler的其余属性一致
static Page	Page.getPage(Crawler crawler, Integer responseCode, String contentType, String html)	selenium使用
Crawler	Crawler.initDataFromCrawler(Crawler crawler)	1.

xin.jiangqiang.filter中Crawler的使用

参数类型为Crawler的xin.jiangqiang.filter中的方法

修饰符和类型	方法	说明
void	Filter.filter(Crawler crawler)
void	NextFilter.filter(Crawler crawler)	过滤掉每次请求后解析的URL中不需要的URL 可以在此方法实现去重，但是意义不大，不同的URL访问之后可以解析到相同的URL，因此在这里去重不是一个很好的办法

xin.jiangqiang.manage中Crawler的使用

返回Crawler的xin.jiangqiang.manage中的方法

修饰符和类型	方法	说明
Crawler	DbRecorder.getOne()
Crawler	RAMRecorder.getOne()	读写集合crawlersList 获取的同时需要删除存储的该爬虫实例（保证下一个线程不会取到同一个）
Crawler	Recorder.getOne()	取出未爬取的爬虫 取出后需要删除该爬虫

返回变量类型为Crawler的类型的xin.jiangqiang.manage中的方法

修饰符和类型	方法	说明
List<Crawler>	AbstractRecorder.getAll()
List<Crawler>	Recorder.getAll()	查询所有未爬取的爬虫
List<Crawler>	AbstractRecorder.getErr()
List<Crawler>	Recorder.getErr()	查询爬取失败的
List<Crawler>	AbstractRecorder.getSucc()
List<Crawler>	Recorder.getSucc()	查询爬取成功的

参数类型为Crawler的xin.jiangqiang.manage中的方法

修饰符和类型	方法	说明
void	DbRecorder.add(Crawler crawler)
void	RAMRecorder.add(Crawler crawler)	写集合crawlersList 不能添加重复的爬虫
void	Recorder.add(Crawler crawler)	存储未爬取的爬虫 需要去重处理
void	DbRecorder.addErr(Crawler crawler)
void	RAMRecorder.addErr(Crawler crawler)	写集合errCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
void	Recorder.addErr(Crawler crawler)	记录失败的
void	DbRecorder.addSucc(Crawler crawler)
void	RAMRecorder.addSucc(Crawler crawler)	写集合succCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
void	Recorder.addSucc(Crawler crawler)	记录爬取成功的

类型变量类型为Crawler的xin.jiangqiang.manage中的方法参数

修饰符和类型	方法	说明
void	AbstractRecorder.addAll(List<Crawler> crawlers)
void	RAMRecorder.addAll(List<Crawler> crawlers)	写集合crawlersList 不能添加重复的爬虫
void	Recorder.addAll(List<Crawler> crawlers)	存储未爬取的爬虫 需要去重处理

xin.jiangqiang.net中Crawler的使用

参数类型为Crawler的xin.jiangqiang.net中的方法

修饰符和类型	方法	说明
Page	OkHttpClientHelper.request(Crawler crawler)

xin.jiangqiang.sample中Crawler的使用

参数类型为Crawler的xin.jiangqiang.sample中的方法

修饰符和类型	方法	说明
protected void	ProxySeleniumApplicationTest.init(WebHandlerManager webHandlerManager, Crawler crawler)	模拟登录获取cookie,将cookie放入种子中

xin.jiangqiang.selenium中Crawler的使用

参数类型为Crawler的xin.jiangqiang.selenium中的方法

修饰符和类型	方法	说明
org.openqa.selenium.WebDriver	AbstractSeleniumHelper.getChromeDriver(Crawler crawler)
org.openqa.selenium.WebDriver	SeleniumHelper.getChromeDriver(Crawler crawler)
org.openqa.selenium.WebDriver	AbstractSeleniumHelper.getDriver(Crawler crawler)
org.openqa.selenium.WebDriver	SeleniumHelper.getDriver(Crawler crawler)
org.openqa.selenium.WebDriver	AbstractSeleniumHelper.getEdgeDriver(Crawler crawler)
org.openqa.selenium.WebDriver	SeleniumHelper.getEdgeDriver(Crawler crawler)
org.openqa.selenium.WebDriver	AbstractSeleniumHelper.getFirefoxDriver(Crawler crawler)
org.openqa.selenium.WebDriver	SeleniumHelper.getFirefoxDriver(Crawler crawler)
org.openqa.selenium.WebDriver	AbstractSeleniumHelper.getInternetExplorerDriver(Crawler crawler)
org.openqa.selenium.WebDriver	SeleniumHelper.getInternetExplorerDriver(Crawler crawler)
org.openqa.selenium.WebDriver	AbstractSeleniumHelper.getOperaDriver(Crawler crawler)
org.openqa.selenium.WebDriver	SeleniumHelper.getOperaDriver(Crawler crawler)
abstract Page	AbstractSeleniumHelper.request(WebHandler webHandler, Crawler crawler)
Page	SeleniumHelper.request(WebHandler driver, Crawler crawler)
Page	SeleniumHelperDefaultImpl.request(WebHandler webHandler, Crawler crawler)

xin.jiangqiang.selenium.webdriver中Crawler的使用

参数类型为Crawler的xin.jiangqiang.selenium.webdriver中的方法

修饰符和类型	方法	说明
static WebHandlerManager	WebHandlerManager.getInstance(Config config, SeleniumHelper seleniumHelper, Crawler crawler)

xin.jiangqiang.util中Crawler的使用

参数类型为Crawler的xin.jiangqiang.util中的方法

修饰符和类型	方法	说明
static void	CrawlerUtil.clearNextCrawler(Crawler crawler)	清空下一代种子