A B C D E F G H I M N O P R S T V W X 
所有类 所有程序包

A

AbstractRecorder - xin.jiangqiang.manage中的类
下面方法作为保留方法,暂时没有使用,但是后续可能会使用到 如果后续使用到下面方法可以通过子类覆盖
AbstractRecorder() - 类 的构造器xin.jiangqiang.manage.AbstractRecorder
 
AbstractSeleniumHelper - xin.jiangqiang.selenium中的类
 
AbstractSeleniumHelper() - 类 的构造器xin.jiangqiang.selenium.AbstractSeleniumHelper
 
AbstractSeleniumHelper(Config, Recorder) - 类 的构造器xin.jiangqiang.selenium.AbstractSeleniumHelper
 
AbstractStarter - xin.jiangqiang.app中的类
定义开始爬取前,爬取完成后的基本流程
AbstractStarter() - 类 的构造器xin.jiangqiang.app.AbstractStarter
 
activeCounts - 类 中的变量xin.jiangqiang.app.AbstractStarter
 
add(Crawler) - 类 中的方法xin.jiangqiang.manage.DbRecorder
 
add(Crawler) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
写集合crawlersList 不能添加重复的爬虫
add(Crawler) - 接口 中的方法xin.jiangqiang.manage.Recorder
存储未爬取的爬虫 需要去重处理
addAll(List<Crawler>) - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
 
addAll(List<Crawler>) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
写集合crawlersList 不能添加重复的爬虫
addAll(List<Crawler>) - 接口 中的方法xin.jiangqiang.manage.Recorder
存储未爬取的爬虫 需要去重处理
addDefaultRegEx(String) - 类 中的方法xin.jiangqiang.config.Config
添加默认正则表达式 默认正则表达式没有正正则和逆正则之分
addErr(Crawler) - 类 中的方法xin.jiangqiang.manage.DbRecorder
 
addErr(Crawler) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
写集合errCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
addErr(Crawler) - 接口 中的方法xin.jiangqiang.manage.Recorder
记录失败的
addRegEx(String) - 类 中的方法xin.jiangqiang.config.Config
加号开头,去掉加号放正正则列表 减号开头,去掉减号放逆正则列表 否则直接放正正则列表
addSeed(String) - 类 中的方法xin.jiangqiang.app.AbstractStarter
创建时子类爬虫深度会自动+1
addSeed(String) - 类 中的方法xin.jiangqiang.entities.Crawler
创建时子类爬虫深度会自动+1
addSeeds(List<String>, String) - 类 中的方法xin.jiangqiang.app.AbstractStarter
批量创建初始爬虫,批量设置子类类型
addSeeds(List<String>, String) - 类 中的方法xin.jiangqiang.entities.Crawler
批量创建子爬虫,批量设置子类类型
addSucc(Crawler) - 类 中的方法xin.jiangqiang.manage.DbRecorder
 
addSucc(Crawler) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
写集合succCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
addSucc(Crawler) - 接口 中的方法xin.jiangqiang.manage.Recorder
记录爬取成功的
after() - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
 
after() - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
after() - 类 中的方法xin.jiangqiang.sample.AutoFileTradApplicationTest
 
after() - 类 中的方法xin.jiangqiang.sample.BaseTradApplicationTest
 
after() - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
 
after() - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
 
after() - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
 
After - xin.jiangqiang.annotation中的注释类型
 
App - xin.jiangqiang.annotation中的注释类型
 
AutoBaseTradApplicationTest - xin.jiangqiang.sample中的类
最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果,他本身也是爬虫的子类 可以直接取出html内容,以及字节流保存为文件等等
AutoBaseTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
AutoFileTradApplicationTest - xin.jiangqiang.sample中的类
自动从maven仓库抓取文件并保存,小文件可以直接使用Page对象进行保存, 大文件应该直接从URL中进行下载文件。
AutoFileTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.AutoFileTradApplicationTest
 

B

BaseTradApplicationTest - xin.jiangqiang.sample中的类
最基本的爬虫实例 基本流程: 1.首先需要继承AbstractStarter的子实现类 2.然后创建本类实例 3.加入爬虫种子 4.配置对该种子请求时的请求行,请求头,请求体(参数),以及HTTP代理,以及其他自定义信息 5.调用start方法 6.对爬取结果进行处理,主要包括将数据流保存为图片等静态资源,从html中获取文本信息存入数据库,从html中获取URL存入page,为下次爬取做准备
BaseTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.BaseTradApplicationTest
 
Bean - xin.jiangqiang.annotation中的注释类型
 
before() - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
 
before() - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
before() - 类 中的方法xin.jiangqiang.sample.BaseTradApplicationTest
 
before() - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
 
before() - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
 
before() - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
 
Before - xin.jiangqiang.annotation中的注释类型
 
beforeEnd() - 类 中的方法xin.jiangqiang.app.AbstractStarter
 

C

call(Class<? extends Annotation>, Object...) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
 
callMatchMethod(Page, Class<? extends Annotation>, Object...) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
 
callMatchMethod(Page, String, Class<? extends Annotation>, Object[]) - 类 中的方法xin.jiangqiang.reflect.ReflectHelper
执行match注解修饰的方法
callMethod(String, Class<? extends Annotation>, Object[]) - 类 中的方法xin.jiangqiang.reflect.ReflectHelper
执行match注解修饰的方法
callMethodHelper - 类 中的变量xin.jiangqiang.app.AbstractStarter
 
CallMethodHelper - xin.jiangqiang.reflect中的类
 
CallMethodHelper() - 类 的构造器xin.jiangqiang.reflect.CallMethodHelper
 
ClassUtil - xin.jiangqiang.reflect中的类
获取指定包下的类,获取指定包下带有指定注解的类。
ClassUtil() - 类 的构造器xin.jiangqiang.reflect.ClassUtil
 
clearNextCrawler(Crawler) - 类 中的静态方法xin.jiangqiang.util.CrawlerUtil
清空下一代种子
clearResource() - 类 中的方法xin.jiangqiang.app.AbstractStarter
程序结束前会执行,用于清理资源,比如使用selenium时关闭驱动
clearResource() - 类 中的方法xin.jiangqiang.app.SeleniumApplication
 
clearResource() - 接口 中的方法xin.jiangqiang.app.Starter
程序没有正常执行完时会执行此方法
closeWebDriver() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
 
code() - 注释类型 中的方法xin.jiangqiang.annotation.Match
 
CommonInterCeptor - xin.jiangqiang.net中的类
 
CommonInterCeptor() - 类 的构造器xin.jiangqiang.net.CommonInterCeptor
 
config - 类 中的变量xin.jiangqiang.app.AbstractStarter
 
Config - xin.jiangqiang.config中的类
 
Config(Class<?>) - 类 的构造器xin.jiangqiang.config.Config
 
CookieUtil - xin.jiangqiang.util中的类
 
CookieUtil() - 类 的构造器xin.jiangqiang.util.CookieUtil
 
count() - 类 中的方法xin.jiangqiang.manage.DbRecorder
 
count() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
 
count() - 接口 中的方法xin.jiangqiang.manage.Recorder
 
countErr() - 类 中的方法xin.jiangqiang.manage.DbRecorder
 
countErr() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
 
countErr() - 接口 中的方法xin.jiangqiang.manage.Recorder
 
countSucc() - 类 中的方法xin.jiangqiang.manage.DbRecorder
 
countSucc() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
 
countSucc() - 接口 中的方法xin.jiangqiang.manage.Recorder
 
crawler - 类 中的变量xin.jiangqiang.app.AbstractStarter
 
Crawler - xin.jiangqiang.entities中的类
定义公共属性和元数据
Crawler(String) - 类 的构造器xin.jiangqiang.entities.Crawler
 
Crawler(String, String) - 类 的构造器xin.jiangqiang.entities.Crawler
 
CrawlerUtil - xin.jiangqiang.util中的类
 
CrawlerUtil() - 类 的构造器xin.jiangqiang.util.CrawlerUtil
 

D

DbRecorder - xin.jiangqiang.manage中的类
数据库记录器 保留类,暂时未实现
DbRecorder() - 类 的构造器xin.jiangqiang.manage.DbRecorder
 
deal(Page) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
 
deal(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
deal(Page) - 类 中的方法xin.jiangqiang.sample.AutoFileTradApplicationTest
 
deal(Page) - 类 中的方法xin.jiangqiang.sample.BaseTradApplicationTest
 
deal(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
 
deal(Page) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
 
deal(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
 
Deal - xin.jiangqiang.annotation中的注释类型
处理每一个Page对象,公共逻辑, 和match的区别是:会匹配任意对象
DealTradApplicationTest - xin.jiangqiang.sample中的类
最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果,他本身也是爬虫的子类 可以直接取出html内容,以及字节流保存为文件等等
DealTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.DealTradApplicationTest
 
DELETE - xin.jiangqiang.net.RequestMethod
 
dispatcher() - 类 中的方法xin.jiangqiang.app.AbstractStarter
从Recorder分配任务
DocumentUtil - xin.jiangqiang.util中的类
 
DocumentUtil() - 类 的构造器xin.jiangqiang.util.DocumentUtil
 
DriverUtil - xin.jiangqiang.util中的类
 
DriverUtil() - 类 的构造器xin.jiangqiang.util.DriverUtil
 

E

equals(Object) - 类 中的方法xin.jiangqiang.entities.Crawler
 
executor - 类 中的变量xin.jiangqiang.app.AbstractStarter
 

F

FileUtil - xin.jiangqiang.util中的类
 
FileUtil() - 类 的构造器xin.jiangqiang.util.FileUtil
 
filter - 类 中的变量xin.jiangqiang.app.AbstractStarter
 
filter(Crawler) - 接口 中的方法xin.jiangqiang.filter.Filter
 
filter(Crawler) - 类 中的方法xin.jiangqiang.filter.NextFilter
过滤掉每次请求后解析的URL中不需要的URL 可以在此方法实现去重,但是意义不大,不同的URL访问之后可以解析到相同的URL,因此在这里去重不是一个很好的办法
Filter - xin.jiangqiang.filter中的接口
 

G

GET - xin.jiangqiang.net.RequestMethod
 
getAll() - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
 
getAll() - 接口 中的方法xin.jiangqiang.manage.Recorder
查询所有未爬取的爬虫
getAllUrl(String, String) - 类 中的静态方法xin.jiangqiang.util.DocumentUtil
 
getBodys() - 类 中的方法xin.jiangqiang.entities.Crawler
 
getChromeDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
 
getChromeDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
 
getClassList(String, boolean) - 类 中的静态方法xin.jiangqiang.reflect.ClassUtil
 
getClassListByAnnotation(String, Class<? extends Annotation>) - 类 中的静态方法xin.jiangqiang.reflect.ClassUtil
 
getConfigs() - 类 中的方法xin.jiangqiang.entities.Crawler
 
getContentType(String) - 类 中的静态方法xin.jiangqiang.util.HttpUtil
 
getContentType(String, String, Integer) - 类 中的静态方法xin.jiangqiang.util.HttpUtil
 
getCookie(WebDriver, String, String) - 类 中的静态方法xin.jiangqiang.util.CookieUtil
从文件获取cookie添加到driver
getCrawler() - 类 中的方法xin.jiangqiang.app.AbstractStarter
已过时。
getData() - 类 中的方法xin.jiangqiang.entities.Crawler
 
getDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
 
getDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
 
getEdgeDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
 
getEdgeDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
 
getErr() - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
 
getErr() - 接口 中的方法xin.jiangqiang.manage.Recorder
查询爬取失败的
getFirefoxDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
 
getFirefoxDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
 
getHandler() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
 
getHeaders() - 类 中的方法xin.jiangqiang.entities.Crawler
 
getHtml(WebDriver) - 类 中的静态方法xin.jiangqiang.util.DriverUtil
获取整个html页面
getInstance(Config, Recorder) - 类 中的静态方法xin.jiangqiang.selenium.SeleniumHelperDefaultImpl
 
getInstance(Config, SeleniumHelper, Crawler) - 类 中的静态方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
 
getInternetExplorerDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
 
getInternetExplorerDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
 
getLines() - 类 中的方法xin.jiangqiang.entities.Crawler
 
getMatchUrls(List<String>) - 类 中的方法xin.jiangqiang.app.AbstractStarter
逆正则优先级更高 一旦匹配逆正则,则不会匹配正正则
getMethod() - 类 中的方法xin.jiangqiang.entities.Crawler
 
getMethod() - 枚举 中的方法xin.jiangqiang.net.RequestMethod
 
getOne() - 类 中的方法xin.jiangqiang.manage.DbRecorder
 
getOne() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
读写集合crawlersList 获取的同时需要删除存储的该爬虫实例(保证下一个线程不会取到同一个)
getOne() - 接口 中的方法xin.jiangqiang.manage.Recorder
取出未爬取的爬虫 取出后需要删除该爬虫
getOperaDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
 
getOperaDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
 
getPage(Crawler, Integer, String, byte[], Charset) - 类 中的静态方法xin.jiangqiang.entities.Page
okhttp请求之后通过crawler创建page page和crawler的其余属性一致
getPage(Crawler, Integer, String, String) - 类 中的静态方法xin.jiangqiang.entities.Page
selenium使用
getSucc() - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
 
getSucc() - 接口 中的方法xin.jiangqiang.manage.Recorder
查询爬取成功的
getTask(Crawler) - 类 中的方法xin.jiangqiang.app.AbstractStarter
 
getTask(Crawler) - 类 中的方法xin.jiangqiang.app.SeleniumApplication
 
getTask(Crawler) - 类 中的方法xin.jiangqiang.app.TradApplication
 
getWebDriver() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
 
getWebHandler() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
使用完必须重置状态,否则不可重复使用 根据标记状态判断能否使用 一旦可以使用则切换到该标签页,并且标记为不可使用状态
getWebHandlers() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
 

H

hashCode() - 类 中的方法xin.jiangqiang.entities.Crawler
 
HEAD - xin.jiangqiang.net.RequestMethod
 
HttpUtil - xin.jiangqiang.util中的类
 
HttpUtil() - 类 的构造器xin.jiangqiang.util.HttpUtil
 

I

init() - 类 中的方法xin.jiangqiang.app.AbstractStarter
 
init() - 类 中的方法xin.jiangqiang.app.SeleniumApplication
 
init(WebHandlerManager, Crawler) - 类 中的方法xin.jiangqiang.app.SeleniumApplication
此方法专门用于子类重写,方便实现自定义功能,比如爬虫启动前模拟登录操作,获取cookie selenium模式独有方法
init(WebHandlerManager, Crawler) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
模拟登录获取cookie,将cookie放入种子中
initBeforeStart(Config) - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
 
initBeforeStart(Config) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
写集合crawlersList
initBeforeStart(Config) - 接口 中的方法xin.jiangqiang.manage.Recorder
此方法用于内存记录器的断点续爬 初始化文件中的数据,保证getOne或getAll方法可以获取到东西 如果是数据库存储则不需要此方法 内存记录器可以配置是否保存以及保存路径,而数据库记录器一律保存
initDataFromCrawler(Crawler) - 类 中的方法xin.jiangqiang.entities.Crawler
1.
intercept(Interceptor.Chain) - 类 中的方法xin.jiangqiang.net.CommonInterCeptor
 
isEmpty(String) - 类 中的静态方法xin.jiangqiang.util.StringUtil
判断字符串是否为空
isEmpty(String...) - 类 中的静态方法xin.jiangqiang.util.StringUtil
判断多个字符串是否同时为空
isEnd - 类 中的变量xin.jiangqiang.app.AbstractStarter
 
isMatch(String, String) - 类 中的静态方法xin.jiangqiang.util.RegExpUtil
 
isNotEmpty(String) - 类 中的静态方法xin.jiangqiang.util.StringUtil
判断字符串是否不为空
isNotEmpty(String...) - 类 中的静态方法xin.jiangqiang.util.StringUtil
判断多个字符串是否同时不为空
isRunning() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
 

M

main(String[]) - 类 中的静态方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
main(String[]) - 类 中的静态方法xin.jiangqiang.sample.AutoFileTradApplicationTest
 
main(String[]) - 类 中的静态方法xin.jiangqiang.sample.BaseTradApplicationTest
 
main(String[]) - 类 中的静态方法xin.jiangqiang.sample.DealTradApplicationTest
 
main(String[]) - 类 中的静态方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
 
main(String[]) - 类 中的静态方法xin.jiangqiang.sample.SaveTradApplicationTest
 
main(String[]) - 类 中的静态方法xin.jiangqiang.sample.TestProxy
 
main(String[]) - 类 中的静态方法xin.jiangqiang.sample.TestSaveFile
 
match(Page) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
 
Match - xin.jiangqiang.annotation中的注释类型
处理每一个Page对象,值和Crawler.type相同时的执行逻辑。
matchAtricle(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
matchAtricle(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
 
matchAtricle(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
 
matchCode404(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
matchCode404(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
 
matchCode404(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
 
matchCode405(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
matchCode405(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
 
matchCode405(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
 
matchContent(Page) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
 
matchHome(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
 
matchHome(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
 
matchHome(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
 
matchList(Page) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
处理列表页面的URL,提取封面图片 提取详情页的URL
mkParentDirIfNot(String) - 类 中的静态方法xin.jiangqiang.util.FileUtil
给定一个路径,如果父级目录不存在则创建父级目录 相对路径也不会有问题

N

NextFilter - xin.jiangqiang.filter中的类
 
NextFilter() - 类 的构造器xin.jiangqiang.filter.NextFilter
 

O

OkHttpClientHelper - xin.jiangqiang.net中的类
 
OkHttpClientHelper(Recorder, Config) - 类 的构造器xin.jiangqiang.net.OkHttpClientHelper
 

P

Page - xin.jiangqiang.entities中的类
请求结束后的爬虫,此对象用于提取数据
Page() - 类 的构造器xin.jiangqiang.entities.Page
 
PATCH - xin.jiangqiang.net.RequestMethod
 
POST - xin.jiangqiang.net.RequestMethod
 
processOkHttpClient(Map<String, String>) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper
 
processRequest(String, Map<String, String>, Map<String, String>, Map<String, String>) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper
 
ProxySeleniumApplicationTest - xin.jiangqiang.sample中的类
 
ProxySeleniumApplicationTest() - 类 的构造器xin.jiangqiang.sample.ProxySeleniumApplicationTest
 
PUT - xin.jiangqiang.net.RequestMethod
 

R

RAMRecorder - xin.jiangqiang.manage中的类
内存记录器,存储统计各个阶段的爬虫 此类所有方法同步,是限制并发的主要因素
RAMRecorder() - 类 的构造器xin.jiangqiang.manage.RAMRecorder
 
recorder - 类 中的变量xin.jiangqiang.app.AbstractStarter
 
Recorder - xin.jiangqiang.manage中的接口
记录各种爬取状态的爬虫
ReflectHelper - xin.jiangqiang.reflect中的类
 
ReflectHelper() - 类 的构造器xin.jiangqiang.reflect.ReflectHelper
 
regEx() - 注释类型 中的方法xin.jiangqiang.annotation.Match
 
RegExpUtil - xin.jiangqiang.util中的类
 
RegExpUtil() - 类 的构造器xin.jiangqiang.util.RegExpUtil
 
request(String, Map<String, String>, Map<String, String>, Map<String, String>, Map<String, String>) - 类 中的静态方法xin.jiangqiang.util.HttpUtil
 
request(Crawler) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper
 
request(WebHandler, Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
 
request(WebHandler, Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
 
request(WebHandler, Crawler) - 类 中的方法xin.jiangqiang.selenium.SeleniumHelperDefaultImpl
 
RequestMethod - xin.jiangqiang.net中的枚举
 
resetAllWebHandler() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
在init方法内可以使用此方法,在爬虫正式开始后,慎用
resetWebHandler(WebHandler) - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
重置为非运行状态
run() - 类 中的方法xin.jiangqiang.app.AbstractStarter
使用线程池执行爬虫任务的真正逻辑
run() - 类 中的方法xin.jiangqiang.app.SeleniumApplication.Task
 
run() - 类 中的方法xin.jiangqiang.app.TradApplication.Task
 

S

saveBeforeEnd(Config) - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
 
saveBeforeEnd(Config) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
读集合crawlersList
saveBeforeEnd(Config) - 接口 中的方法xin.jiangqiang.manage.Recorder
此方法用于内存记录器的断点续爬 结束前保存没有爬取的爬虫到文件,而数据库记录器无需此功能 内存记录器可以配置读取路径以及是否断点续爬,而数据库记录器只要数据表中有数据,则都会被爬取
saveCookie(WebDriver, String) - 类 中的静态方法xin.jiangqiang.util.CookieUtil
保存cookie到文件,保存成功返回true
saveFile(String, String, byte[]) - 类 中的静态方法xin.jiangqiang.util.FileUtil
 
saveFile(String, Page) - 类 中的静态方法xin.jiangqiang.util.FileUtil
小文件对应的URL可以直接使用框架请求后,通过page对象中的content保存(也就是此方法保存) 如果是大文件,建议过滤掉框架自动的请求。
saveFileFromURL(String, String) - 类 中的静态方法xin.jiangqiang.util.FileUtil
已过时。
saveFileFromURL(String, String, Map<String, String>, Map<String, String>, Map<String, String>, Map<String, String>) - 类 中的静态方法xin.jiangqiang.util.FileUtil
有身份校验或防盗链时使用此方法,
SaveTradApplicationTest - xin.jiangqiang.sample中的类
 
SaveTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.SaveTradApplicationTest
 
SeleniumApplication - xin.jiangqiang.app中的类
 
SeleniumApplication() - 类 的构造器xin.jiangqiang.app.SeleniumApplication
 
SeleniumApplication.Task - xin.jiangqiang.app中的类
 
SeleniumHelper - xin.jiangqiang.selenium中的接口
创建驱动并且发送请求的接口
SeleniumHelperDefaultImpl - xin.jiangqiang.selenium中的类
 
setBodys(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
 
setConfigs(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
 
setData(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
 
setHeaders(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
 
setLines(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
 
setMethod(RequestMethod) - 类 中的方法xin.jiangqiang.entities.Crawler
 
start() - 类 中的方法xin.jiangqiang.app.AbstractStarter
 
start() - 接口 中的方法xin.jiangqiang.app.Starter
 
Starter - xin.jiangqiang.app中的接口
项目启动类接口
StringUtil - xin.jiangqiang.util中的类
 
StringUtil() - 类 的构造器xin.jiangqiang.util.StringUtil
 
switchToThis() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
切换到当前标签页

T

Task(Crawler) - 类 的构造器xin.jiangqiang.app.SeleniumApplication.Task
 
Task(Crawler) - 类 的构造器xin.jiangqiang.app.TradApplication.Task
 
test(Map<String, String>) - 类 中的静态方法xin.jiangqiang.sample.TestProxy
 
TestProxy - xin.jiangqiang.sample中的类
 
TestProxy() - 类 的构造器xin.jiangqiang.sample.TestProxy
 
TestSaveFile - xin.jiangqiang.sample中的类
从网络中保存图片演示
TestSaveFile() - 类 的构造器xin.jiangqiang.sample.TestSaveFile
 
TradApplication - xin.jiangqiang.app中的类
此类用于爬取传统页面
TradApplication() - 类 的构造器xin.jiangqiang.app.TradApplication
 
TradApplication.Task - xin.jiangqiang.app中的类
 
type() - 注释类型 中的方法xin.jiangqiang.annotation.Match
 

V

value() - 注释类型 中的方法xin.jiangqiang.annotation.Match
 
valueOf(String) - 枚举 中的静态方法xin.jiangqiang.net.RequestMethod
返回带有指定名称的该类型的枚举常量。
values() - 枚举 中的静态方法xin.jiangqiang.net.RequestMethod
按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

W

WebHandler - xin.jiangqiang.selenium.webdriver中的类
管理标签页 拥有一个单例的WebDriver,以及标签页句柄字符串 每一个实例都表示一个具体的标签页
WebHandler(WebDriver, String) - 类 的构造器xin.jiangqiang.selenium.webdriver.WebHandler
 
WebHandlerManager - xin.jiangqiang.selenium.webdriver中的类
单例模式 此对象用于维护一个List,存放标签页

X

xin.jiangqiang.annotation - 程序包 xin.jiangqiang.annotation
 
xin.jiangqiang.app - 程序包 xin.jiangqiang.app
 
xin.jiangqiang.config - 程序包 xin.jiangqiang.config
 
xin.jiangqiang.entities - 程序包 xin.jiangqiang.entities
 
xin.jiangqiang.filter - 程序包 xin.jiangqiang.filter
 
xin.jiangqiang.manage - 程序包 xin.jiangqiang.manage
 
xin.jiangqiang.net - 程序包 xin.jiangqiang.net
 
xin.jiangqiang.reflect - 程序包 xin.jiangqiang.reflect
 
xin.jiangqiang.sample - 程序包 xin.jiangqiang.sample
 
xin.jiangqiang.selenium - 程序包 xin.jiangqiang.selenium
 
xin.jiangqiang.selenium.webdriver - 程序包 xin.jiangqiang.selenium.webdriver
 
xin.jiangqiang.util - 程序包 xin.jiangqiang.util
 
A B C D E F G H I M N O P R S T V W X 
所有类 所有程序包