索引 (J-crawler 3.0.2 API)

A B C D E F G H I M N O P R S T V X
所有类所有程序包

A

AbstractRecorder - xin.jiangqiang.core.recoder中的类: 下面方法作为保留方法，暂时没有使用，但是后续可能会使用到如果后续使用到下面方法可以通过子类覆盖
AbstractRecorder() - 类的构造器xin.jiangqiang.core.recoder.AbstractRecorder
AbstractStarter - xin.jiangqiang.core.app中的类
AbstractStarter() - 类的构造器xin.jiangqiang.core.app.AbstractStarter
activeCounts - 类中的变量xin.jiangqiang.core.app.AbstractStarter
add(Crawler) - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
add(Crawler) - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder: 写集合crawlersSet 不能添加重复的爬虫
add(Crawler) - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 存储未爬取的爬虫需要去重处理
addAll(List<Crawler>) - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
addAll(List<Crawler>) - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder: 写集合crawlersSet 不能添加重复的爬虫
addAll(List<Crawler>) - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 存储未爬取的爬虫需要去重处理
addBodys(String, String) - 类中的方法xin.jiangqiang.core.config.Config
addBodys(String, String) - 类中的方法xin.jiangqiang.core.entities.Crawler
addBodys(String, String) - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig
addDefaultRegEx(String) - 类中的方法xin.jiangqiang.core.config.Config: 添加默认正则表达式默认正则表达式没有正正则和逆正则之分
addErr(Crawler) - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
addErr(Crawler) - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder: 写集合errCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫
addErr(Crawler) - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 记录失败的
addHeaders(String, String) - 类中的方法xin.jiangqiang.core.config.Config
addHeaders(String, String) - 类中的方法xin.jiangqiang.core.entities.Crawler
addHeaders(String, String) - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig
addLines(String, String) - 类中的方法xin.jiangqiang.core.config.Config
addLines(String, String) - 类中的方法xin.jiangqiang.core.entities.Crawler
addLines(String, String) - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig
addRegEx(String) - 类中的方法xin.jiangqiang.core.config.Config: 加号开头，去掉加号放正正则列表减号开头，去掉减号放逆正则列表否则直接放正正则列表
addSeed(String) - 类中的方法xin.jiangqiang.core.entities.Crawler: 创建时子类爬虫深度会自动+1
addSeeds(Collection<String>, String) - 类中的方法xin.jiangqiang.core.entities.Crawler: 批量创建子爬虫，批量设置子类类型
addSucc(Crawler) - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
addSucc(Crawler) - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder: 写集合succCrawlers tmpCrawlersSet 成功或失败后移除正在爬取列表中的对应爬虫
addSucc(Crawler) - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 记录爬取成功的
after() - 类中的方法xin.jiangqiang.core.reflect.CallMethodHelper
after() - 类中的方法xin.jiangqiang.sample.MyStarter
After - xin.jiangqiang.core.annotation中的注释类型: 爬虫结束之后执行，持久化处理

B

BeanUtil<T> - xin.jiangqiang.common中的类
BeanUtil() - 类的构造器xin.jiangqiang.common.BeanUtil
before() - 类中的方法xin.jiangqiang.core.reflect.CallMethodHelper
before() - 类中的方法xin.jiangqiang.sample.MyStarter
before() - 类中的方法xin.jiangqiang.sample.MyStarterGitee
Before - xin.jiangqiang.core.annotation中的注释类型: 爬取之前执行，用于定义初始化配置，执行方式在init方法之后，如果要实现续爬功能应该重写init方法

C

callMatchMethod(Page, Class<? extends Annotation>, Object...) - 类中的方法xin.jiangqiang.core.reflect.CallMethodHelper
callMatchMethod(Page, String, Class<? extends Annotation>, Object...) - 类中的方法xin.jiangqiang.core.reflect.CallMethodHelper: 执行指定类中所有带match注解修饰的方法，并且会匹配match的值
callMethod(String, Class<? extends Annotation>, Object...) - 类中的方法xin.jiangqiang.core.reflect.CallMethodHelper: 执行指定类中所有带有指定类型注解的方法
callMethodHelper - 类中的变量xin.jiangqiang.core.app.AbstractStarter: 调用反射方法的工具
CallMethodHelper - xin.jiangqiang.core.reflect中的类
CallMethodHelper() - 类的构造器xin.jiangqiang.core.reflect.CallMethodHelper
cloneObj(T) - 类中的静态方法xin.jiangqiang.common.BeanUtil: 深克隆对象
code() - 注释类型中的方法xin.jiangqiang.core.annotation.Match
CommonInterCeptor - xin.jiangqiang.core.net中的类
CommonInterCeptor() - 类的构造器xin.jiangqiang.core.net.CommonInterCeptor
config - 类中的变量xin.jiangqiang.core.recoder.AbstractRecorder
Config - xin.jiangqiang.core.config中的类
Config() - 类的构造器xin.jiangqiang.core.config.Config
count() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
count() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder
count() - 接口中的方法xin.jiangqiang.core.recoder.Recorder
countErr() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
countErr() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder
countErr() - 接口中的方法xin.jiangqiang.core.recoder.Recorder
countSucc() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
countSucc() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder
countSucc() - 接口中的方法xin.jiangqiang.core.recoder.Recorder
Crawler - xin.jiangqiang.core.entities中的类
Crawler() - 类的构造器xin.jiangqiang.core.entities.Crawler
Crawler(String) - 类的构造器xin.jiangqiang.core.entities.Crawler
Crawler(String, String) - 类的构造器xin.jiangqiang.core.entities.Crawler: 创建爬虫

D

DbRecorder - xin.jiangqiang.core.recoder中的类: 数据库记录器保留类，暂时未实现
DbRecorder() - 类的构造器xin.jiangqiang.core.recoder.DbRecorder
deal(Page) - 类中的方法xin.jiangqiang.core.reflect.CallMethodHelper
deal(Page) - 类中的方法xin.jiangqiang.sample.MyStarter: 解析页面数据，包括页面中的文字内容或者文件内容，这里可以排除文件类型，不进行爬取这里也可以过滤下一代爬虫
Deal - xin.jiangqiang.core.annotation中的注释类型: 针对所有页面进行处理
DELETE - xin.jiangqiang.core.net.RequestMethod
DocumentUtil - xin.jiangqiang.common中的类
DocumentUtil() - 类的构造器xin.jiangqiang.common.DocumentUtil

E

equals(Object) - 类中的方法xin.jiangqiang.core.entities.Crawler
executor - 类中的变量xin.jiangqiang.core.app.AbstractStarter
exist(Crawler) - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
exist(Crawler) - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder
exist(Crawler) - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 是否已经存在此爬虫URL

F

filter - 类中的变量xin.jiangqiang.core.app.AbstractStarter
filter(Set<Crawler>) - 接口中的方法xin.jiangqiang.core.filter.Filter
filter(Set<Crawler>) - 类中的方法xin.jiangqiang.core.filter.NextFilter
Filter - xin.jiangqiang.core.filter中的接口

G

GET - xin.jiangqiang.core.net.RequestMethod
getAll() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
getAll() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder
getAll() - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 查询所有未爬取的爬虫
getAllUrl(String, String) - 类中的静态方法xin.jiangqiang.common.DocumentUtil
getBodys() - 类中的方法xin.jiangqiang.core.config.Config
getBodys() - 类中的方法xin.jiangqiang.core.entities.Crawler
getBodys() - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig
getData(String) - 类中的方法xin.jiangqiang.core.entities.Crawler
getDataMap() - 类中的方法xin.jiangqiang.core.entities.Crawler
getErr() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
getErr() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder
getErr() - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 查询爬取失败的
getHeaders() - 类中的方法xin.jiangqiang.core.config.Config
getHeaders() - 类中的方法xin.jiangqiang.core.entities.Crawler
getHeaders() - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig
getHttpConfig() - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig
getLines() - 类中的方法xin.jiangqiang.core.config.Config
getLines() - 类中的方法xin.jiangqiang.core.entities.Crawler
getLines() - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig
getMatchUrls(List<String>) - 类中的方法xin.jiangqiang.core.app.AbstractStarter: 逆正则优先级更高一旦匹配逆正则，则不会匹配正正则
getMetaData(String) - 类中的方法xin.jiangqiang.core.entities.Crawler: 获取参数
getMethod() - 枚举中的方法xin.jiangqiang.core.net.RequestMethod
getOne() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
getOne() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder: 读集合crawlersSet 写集合tmpCrawlersSet 获取的同时需要删除存储的该爬虫实例（保证下一个线程不会取到同一个）
getOne() - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 取出未爬取的爬虫取出后需要删除该爬虫
getPage(Crawler, Integer, String, byte[], Charset) - 类中的静态方法xin.jiangqiang.core.entities.Page: okhttp请求之后通过crawler创建page page和crawler的其余属性一致
getSucc() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
getSucc() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder
getSucc() - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 查询爬取成功的
getTask(Crawler) - 类中的方法xin.jiangqiang.core.app.AbstractStarter: 获取一个线程业务逻辑
getTask(Crawler) - 类中的方法xin.jiangqiang.core.app.SimpleStarter
getTask(Crawler) - 接口中的方法xin.jiangqiang.core.app.Starter: 每一个爬虫任务的逻辑
getUseProxy() - 接口中的方法xin.jiangqiang.core.interfaces.HttpConfig

H

hashCode() - 类中的方法xin.jiangqiang.core.entities.Crawler
HEAD - xin.jiangqiang.core.net.RequestMethod
HttpConfig<T> - xin.jiangqiang.core.interfaces中的接口

I

initBeforeStart() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
initBeforeStart() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder: 写集合crawlersList
initBeforeStart() - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 此方法用于内存记录器的断点续爬初始化文件中的数据，保证getOne或getAll方法可以获取到东西如果是数据库存储则不需要此方法内存记录器可以配置是否保存以及保存路径,而数据库记录器一律保存
initDataFromCrawler(Crawler) - 类中的方法xin.jiangqiang.core.entities.Crawler: 1.
initFromGlobConfig(HttpConfig<?>) - 类中的方法xin.jiangqiang.core.entities.Crawler
intercept(Interceptor.Chain) - 类中的方法xin.jiangqiang.core.net.CommonInterCeptor
isEmpty(String) - 类中的静态方法xin.jiangqiang.common.StringUtil: 判断字符串是否为空
isEmpty(String...) - 类中的静态方法xin.jiangqiang.common.StringUtil: 判断多个字符串是否同时为空
isEnd - 类中的变量xin.jiangqiang.core.app.AbstractStarter
isMatch(String, String) - 类中的静态方法xin.jiangqiang.common.RegExpUtil
isNotEmpty(String) - 类中的静态方法xin.jiangqiang.common.StringUtil: 判断字符串是否不为空
isNotEmpty(String...) - 类中的静态方法xin.jiangqiang.common.StringUtil: 判断多个字符串是否同时不为空

M

main(String[]) - 类中的静态方法xin.jiangqiang.sample.MyStarter
main(String[]) - 类中的静态方法xin.jiangqiang.sample.MyStarterGitee
match(Page) - 类中的方法xin.jiangqiang.core.reflect.CallMethodHelper
match(Page) - 类中的方法xin.jiangqiang.sample.MyStarter
match(Page) - 类中的方法xin.jiangqiang.sample.MyStarterGitee: 匹配左侧菜单URL
Match - xin.jiangqiang.core.annotation中的注释类型: 针对匹配的页面进行处理
MyStarter - xin.jiangqiang.sample中的类
MyStarter() - 类的构造器xin.jiangqiang.sample.MyStarter
MyStarterGitee - xin.jiangqiang.sample中的类
MyStarterGitee() - 类的构造器xin.jiangqiang.sample.MyStarterGitee

N

NextFilter - xin.jiangqiang.core.filter中的类: 过滤爬虫
NextFilter() - 类的构造器xin.jiangqiang.core.filter.NextFilter

O

OkHttpClientHelper - xin.jiangqiang.core.net中的类
OkHttpClientHelper() - 类的构造器xin.jiangqiang.core.net.OkHttpClientHelper

P

Page - xin.jiangqiang.core.entities中的类
Page() - 类的构造器xin.jiangqiang.core.entities.Page
PATCH - xin.jiangqiang.core.net.RequestMethod
POST - xin.jiangqiang.core.net.RequestMethod
processOkHttpClient(Map<String, String>) - 类中的方法xin.jiangqiang.core.net.OkHttpClientHelper: 创建http请求客户端对象
processRequest(String, Map<String, String>, Map<String, String>, Map<String, String>) - 类中的方法xin.jiangqiang.core.net.OkHttpClientHelper: 获取请求对象
PUT - xin.jiangqiang.core.net.RequestMethod

R

RAMRecorder - xin.jiangqiang.core.recoder中的类: 内存记录器，存储统计各个阶段的爬虫此类所有方法同步，是限制并发的主要因素
RAMRecorder() - 类的构造器xin.jiangqiang.core.recoder.RAMRecorder
recorder - 类中的变量xin.jiangqiang.core.app.AbstractStarter
Recorder - xin.jiangqiang.core.recoder中的接口: 记录各种爬取状态的爬虫
regEx() - 注释类型中的方法xin.jiangqiang.core.annotation.Match
RegExpUtil - xin.jiangqiang.common中的类
RegExpUtil() - 类的构造器xin.jiangqiang.common.RegExpUtil
request(Crawler) - 类中的方法xin.jiangqiang.core.net.OkHttpClientHelper
RequestMethod - xin.jiangqiang.core.net中的枚举
run() - 类中的方法xin.jiangqiang.core.app.SimpleStarter.Task

S

saveAndClearResource() - 类中的方法xin.jiangqiang.core.app.AbstractStarter: 程序结束前会执行,此方法用于保存内存中的数据到本地，并且清理内存资源
saveAndClearResource() - 接口中的方法xin.jiangqiang.core.app.Starter: 程序没有正常执行完时会执行此方法
saveBeforeEnd() - 类中的方法xin.jiangqiang.core.recoder.AbstractRecorder
saveBeforeEnd() - 类中的方法xin.jiangqiang.core.recoder.RAMRecorder: 读集合crawlersList
saveBeforeEnd() - 接口中的方法xin.jiangqiang.core.recoder.Recorder: 此方法用于内存记录器的断点续爬结束前保存没有爬取的爬虫到文件，而数据库记录器无需此功能内存记录器可以配置读取路径以及是否断点续爬,而数据库记录器只要数据表中有数据,则都会被爬取
setData(String, String) - 类中的方法xin.jiangqiang.core.entities.Crawler: 快捷的从dataMap中操作数据
setDataMap(Map<String, String>) - 类中的方法xin.jiangqiang.core.entities.Crawler: 存储数据，此集合中的数据会继承父级种子，但是修改子爬虫数据不会影响父爬虫数据
setMetaData(String, Map<String, String>) - 类中的方法xin.jiangqiang.core.entities.Crawler: 设置参数
SimpleStarter - xin.jiangqiang.core.app中的类
SimpleStarter() - 类的构造器xin.jiangqiang.core.app.SimpleStarter
SimpleStarter.Task - xin.jiangqiang.core.app中的类
start() - 类中的方法xin.jiangqiang.core.app.AbstractStarter
start(Class<? extends Starter>) - 类中的方法xin.jiangqiang.core.app.AbstractStarter: 程序启动入口
start(Class<? extends Starter>) - 接口中的方法xin.jiangqiang.core.app.Starter
Starter - xin.jiangqiang.core.app中的接口
StringUtil - xin.jiangqiang.common中的类
StringUtil() - 类的构造器xin.jiangqiang.common.StringUtil

T

Task(Crawler) - 类的构造器xin.jiangqiang.core.app.SimpleStarter.Task
type() - 注释类型中的方法xin.jiangqiang.core.annotation.Match

V

value() - 注释类型中的方法xin.jiangqiang.core.annotation.Match
valueOf(String) - 枚举中的静态方法xin.jiangqiang.core.net.RequestMethod: 返回带有指定名称的该类型的枚举常量。
values() - 枚举中的静态方法xin.jiangqiang.core.net.RequestMethod: 按照声明该枚举类型的常量的顺序, 返回包含这些常量的数组。

X

xin.jiangqiang.common - 程序包 xin.jiangqiang.common
xin.jiangqiang.core.annotation - 程序包 xin.jiangqiang.core.annotation
xin.jiangqiang.core.app - 程序包 xin.jiangqiang.core.app
xin.jiangqiang.core.config - 程序包 xin.jiangqiang.core.config
xin.jiangqiang.core.entities - 程序包 xin.jiangqiang.core.entities
xin.jiangqiang.core.filter - 程序包 xin.jiangqiang.core.filter
xin.jiangqiang.core.interfaces - 程序包 xin.jiangqiang.core.interfaces
xin.jiangqiang.core.net - 程序包 xin.jiangqiang.core.net
xin.jiangqiang.core.recoder - 程序包 xin.jiangqiang.core.recoder
xin.jiangqiang.core.reflect - 程序包 xin.jiangqiang.core.reflect
xin.jiangqiang.sample - 程序包 xin.jiangqiang.sample

A B C D E F G H I M N O P R S T V X
所有类所有程序包