A B C D E F G H I M N O P R S T V X
所有类 所有程序包

A

addDefaultRegEx(String) - 类 中的方法xin.jiangqiang.config.Config

添加默认正则表达式 默认正则表达式没有正正则和逆正则之分

addErr(String) - 接口 中的方法xin.jiangqiang.management.Record

addErr(String) - 类 中的方法xin.jiangqiang.management.RecordImpl

addRegEx(String) - 类 中的方法xin.jiangqiang.config.Config

加号开头，去掉加号放正正则列表 减号开头，去掉减号放逆正则列表 否则直接放正正则列表

addSeed(String) - 类 中的方法xin.jiangqiang.entities.Crawler

addSeeds(List<String>, String) - 类 中的方法xin.jiangqiang.entities.Crawler

addSucc(String) - 接口 中的方法xin.jiangqiang.management.Record

addSucc(String) - 类 中的方法xin.jiangqiang.management.RecordImpl

after() - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper

after() - 类 中的方法xin.jiangqiang.Test

after() - 类 中的方法xin.jiangqiang.test.AutoBaseApplicationTest

after() - 类 中的方法xin.jiangqiang.test.BaseApplicationTest

after() - 类 中的方法xin.jiangqiang.test.DealApplicationTest

after() - 类 中的方法xin.jiangqiang.test.SaveApplicationTest

After - xin.jiangqiang.annotation中的注释类型

App - xin.jiangqiang.annotation中的注释类型

Application - xin.jiangqiang.app中的类

Application() - 类 的构造器xin.jiangqiang.app.Application

Application.Task - xin.jiangqiang.app中的类

AutoBaseApplicationTest - xin.jiangqiang.test中的类

最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果，他本身也是爬虫的子类 可以直接取出html内容，以及字节流保存为文件等等

AutoBaseApplicationTest() - 类 的构造器xin.jiangqiang.test.AutoBaseApplicationTest

B

BaseApplicationTest - xin.jiangqiang.test中的类

最基本的爬虫实例 基本流程: 1.首先需要继承Application类 2.然后创建本类实例 3.加入爬虫种子 4.配置对该种子请求时的请求行，请求头，请求体（参数），以及HTTP代理，以及其他自定义信息 5.调用start方法 6.对爬取结果进行处理，主要包括将数据流保存为图片等静态资源，从html中获取文本信息存入数据库，从html中获取URL存入next，为下次爬取做准备

BaseApplicationTest() - 类 的构造器xin.jiangqiang.test.BaseApplicationTest

Bean - xin.jiangqiang.annotation中的注释类型

before() - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper

before() - 类 中的方法xin.jiangqiang.test.AutoBaseApplicationTest

before() - 类 中的方法xin.jiangqiang.test.BaseApplicationTest

before() - 类 中的方法xin.jiangqiang.Test

before() - 类 中的方法xin.jiangqiang.test.DealApplicationTest

before() - 类 中的方法xin.jiangqiang.test.SaveApplicationTest

Before - xin.jiangqiang.annotation中的注释类型

C

call(Page, Class<? extends Annotation>, Object...) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper

callMatchMethod(Page, Class<? extends Annotation>, Object...) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper

callMatchMethod(Page, String, Class<? extends Annotation>, Object[]) - 类 中的方法xin.jiangqiang.reflect.ReflectHelper

执行match注解修饰的方法

callMethod(Page, String, Class<? extends Annotation>, Object[]) - 类 中的方法xin.jiangqiang.reflect.ReflectHelper

CallMethodHelper - xin.jiangqiang.reflect中的类

CallMethodHelper() - 类 的构造器xin.jiangqiang.reflect.CallMethodHelper

ClassUtil - xin.jiangqiang.reflect中的类

获取指定包下的类，获取指定包下带有指定注解的类。

ClassUtil() - 类 的构造器xin.jiangqiang.reflect.ClassUtil

code() - 注释类型 中的方法xin.jiangqiang.annotation.Match

CommonInterCeptor - xin.jiangqiang.net中的类

CommonInterCeptor() - 类 的构造器xin.jiangqiang.net.CommonInterCeptor

Config - xin.jiangqiang.config中的类

Config(Class<?>) - 类 的构造器xin.jiangqiang.config.Config

Crawler - xin.jiangqiang.entities中的类

此对象用于作为参数发起HTTP请求,同时构造新的Page对象

Crawler(String) - 类 的构造器xin.jiangqiang.entities.Crawler

Crawler(String, String) - 类 的构造器xin.jiangqiang.entities.Crawler

D

deal(Page, Next) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper

deal(Page, Next) - 类 中的方法xin.jiangqiang.test.AutoBaseApplicationTest

deal(Page, Next) - 类 中的方法xin.jiangqiang.test.BaseApplicationTest

deal(Page, Next) - 类 中的方法xin.jiangqiang.Test

deal(Page, Next) - 类 中的方法xin.jiangqiang.test.DealApplicationTest

deal(Page, Next) - 类 中的方法xin.jiangqiang.test.SaveApplicationTest

Deal - xin.jiangqiang.annotation中的注释类型

处理每一个Page对象，公共逻辑

DealApplicationTest - xin.jiangqiang.test中的类

最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果，他本身也是爬虫的子类 可以直接取出html内容，以及字节流保存为文件等等

DealApplicationTest() - 类 的构造器xin.jiangqiang.test.DealApplicationTest

DELETE - xin.jiangqiang.net.RequestMethod

DocumentUtil - xin.jiangqiang.util中的类

DocumentUtil() - 类 的构造器xin.jiangqiang.util.DocumentUtil

E

equals(Object) - 类 中的方法xin.jiangqiang.entities.Crawler

F

FileUtil - xin.jiangqiang.util中的类

FileUtil() - 类 的构造器xin.jiangqiang.util.FileUtil

filter(Next, Page) - 接口 中的方法xin.jiangqiang.filter.Filter

filter(Next, Page) - 类 中的方法xin.jiangqiang.filter.NextFilter

根据URL去重

Filter - xin.jiangqiang.filter中的接口

G

GET - xin.jiangqiang.net.RequestMethod

getAllUrl(String) - 类 中的静态方法xin.jiangqiang.util.DocumentUtil

getBodys() - 类 中的方法xin.jiangqiang.entities.Crawler

getClassList(String, boolean) - 类 中的静态方法xin.jiangqiang.reflect.ClassUtil

getClassListByAnnotation(String, Class<? extends Annotation>) - 类 中的静态方法xin.jiangqiang.reflect.ClassUtil

getConfigs() - 类 中的方法xin.jiangqiang.entities.Crawler

getData() - 类 中的方法xin.jiangqiang.entities.Crawler

getErr() - 接口 中的方法xin.jiangqiang.management.Record

getErr() - 类 中的方法xin.jiangqiang.management.RecordImpl

getHeaders() - 类 中的方法xin.jiangqiang.entities.Crawler

getLines() - 类 中的方法xin.jiangqiang.entities.Crawler

getMethod() - 类 中的方法xin.jiangqiang.entities.Crawler

getMethod() - 枚举 中的方法xin.jiangqiang.net.RequestMethod

getSucc() - 接口 中的方法xin.jiangqiang.management.Record

getSucc() - 类 中的方法xin.jiangqiang.management.RecordImpl

H

hashCode() - 类 中的方法xin.jiangqiang.entities.Crawler

hasUrl(String) - 接口 中的方法xin.jiangqiang.management.Record

查询记录里是否已经爬取过某URL

hasUrl(String) - 类 中的方法xin.jiangqiang.management.RecordImpl

HEAD - xin.jiangqiang.net.RequestMethod

I

initDataFromCrawler(Crawler) - 类 中的方法xin.jiangqiang.entities.Crawler

1.

intercept(Interceptor.Chain) - 类 中的方法xin.jiangqiang.net.CommonInterCeptor

isEmpty(String) - 类 中的静态方法xin.jiangqiang.util.StringUtil

isMatch(String, String) - 类 中的静态方法xin.jiangqiang.util.RegExpUtil

isNotEmpty(String) - 类 中的静态方法xin.jiangqiang.util.StringUtil

M

main(String[]) - 类 中的静态方法xin.jiangqiang.test.AutoBaseApplicationTest

main(String[]) - 类 中的静态方法xin.jiangqiang.test.BaseApplicationTest

main(String[]) - 类 中的静态方法xin.jiangqiang.test.DealApplicationTest

main(String[]) - 类 中的静态方法xin.jiangqiang.Test

main(String[]) - 类 中的静态方法xin.jiangqiang.test.SaveApplicationTest

main(String[]) - 类 中的静态方法xin.jiangqiang.TestProxy

match(Page, Next) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper

Match - xin.jiangqiang.annotation中的注释类型

处理每一个Page对象，值和Crawler.type相同时的执行逻辑。

match1(Page, Next) - 类 中的方法xin.jiangqiang.Test

match2(Page, Next) - 类 中的方法xin.jiangqiang.Test

matchAtricle(Page, Next) - 类 中的方法xin.jiangqiang.test.AutoBaseApplicationTest

matchAtricle(Page, Next) - 类 中的方法xin.jiangqiang.test.DealApplicationTest

matchAtricle(Page, Next) - 类 中的方法xin.jiangqiang.test.SaveApplicationTest

matchCode404(Page, Next) - 类 中的方法xin.jiangqiang.test.AutoBaseApplicationTest

matchCode404(Page, Next) - 类 中的方法xin.jiangqiang.test.DealApplicationTest

matchCode404(Page, Next) - 类 中的方法xin.jiangqiang.test.SaveApplicationTest

matchCode405(Page, Next) - 类 中的方法xin.jiangqiang.test.AutoBaseApplicationTest

matchCode405(Page, Next) - 类 中的方法xin.jiangqiang.test.DealApplicationTest

matchCode405(Page, Next) - 类 中的方法xin.jiangqiang.test.SaveApplicationTest

matchHome(Page, Next) - 类 中的方法xin.jiangqiang.test.AutoBaseApplicationTest

matchHome(Page, Next) - 类 中的方法xin.jiangqiang.test.DealApplicationTest

matchHome(Page, Next) - 类 中的方法xin.jiangqiang.test.SaveApplicationTest

mkParentDirIfNot(String) - 类 中的静态方法xin.jiangqiang.util.FileUtil

给定一个路径，如果父级目录不存在则创建父级目录 相对路径也不会有问题

N

Next - xin.jiangqiang.entities中的类

存取从page中提取的下一代爬虫的信息

Next() - 类 的构造器xin.jiangqiang.entities.Next

NextFilter - xin.jiangqiang.filter中的类

NextFilter() - 类 的构造器xin.jiangqiang.filter.NextFilter

O

OkHttpClientHelper - xin.jiangqiang.net中的类

OkHttpClientHelper(Config, Record) - 类 的构造器xin.jiangqiang.net.OkHttpClientHelper

P

Page - xin.jiangqiang.entities中的类

请求结束后的爬虫,此对象用于提取数据

Page(Integer, Protocol, String, Headers, ResponseBody, Request, byte[], String) - 类 的构造器xin.jiangqiang.entities.Page

PATCH - xin.jiangqiang.net.RequestMethod

POST - xin.jiangqiang.net.RequestMethod

processOkHttpClient(Map<String, String>) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper

processRequest(String, Map<String, String>, Map<String, String>, Map<String, String>) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper

PUT - xin.jiangqiang.net.RequestMethod

R

Record - xin.jiangqiang.management中的接口

存储所有种子 运行结束时保存

RecordImpl - xin.jiangqiang.management中的类

存储所有种子 运行结束时保存

RecordImpl() - 类 的构造器xin.jiangqiang.management.RecordImpl

ReflectHelper - xin.jiangqiang.reflect中的类

ReflectHelper() - 类 的构造器xin.jiangqiang.reflect.ReflectHelper

regEx() - 注释类型 中的方法xin.jiangqiang.annotation.Match

RegExpUtil - xin.jiangqiang.util中的类

RegExpUtil() - 类 的构造器xin.jiangqiang.util.RegExpUtil

request(Crawler) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper

RequestMethod - xin.jiangqiang.net中的枚举

run() - 类 中的方法xin.jiangqiang.app.Application.Task

S

SaveApplicationTest - xin.jiangqiang.test中的类

SaveApplicationTest() - 类 的构造器xin.jiangqiang.test.SaveApplicationTest

setBodys(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler

setConfigs(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler

setData(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler

setHeaders(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler

setLines(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler

setMethod(RequestMethod) - 类 中的方法xin.jiangqiang.entities.Crawler

start() - 类 中的方法xin.jiangqiang.app.Application

StringUtil - xin.jiangqiang.util中的类

StringUtil() - 类 的构造器xin.jiangqiang.util.StringUtil

T

Task(Crawler) - 类 的构造器xin.jiangqiang.app.Application.Task

test(Map<String, String>) - 类 中的静态方法xin.jiangqiang.TestProxy

Test - xin.jiangqiang中的类

Test() - 类 的构造器xin.jiangqiang.Test

TestProxy - xin.jiangqiang中的类

TestProxy() - 类 的构造器xin.jiangqiang.TestProxy

type() - 注释类型 中的方法xin.jiangqiang.annotation.Match

V

value() - 注释类型 中的方法xin.jiangqiang.annotation.Match

valueOf(String) - 枚举 中的静态方法xin.jiangqiang.net.RequestMethod

返回带有指定名称的该类型的枚举常量。

values() - 枚举 中的静态方法xin.jiangqiang.net.RequestMethod

按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

X

xin.jiangqiang - 程序包 xin.jiangqiang

xin.jiangqiang.annotation - 程序包 xin.jiangqiang.annotation

xin.jiangqiang.app - 程序包 xin.jiangqiang.app

xin.jiangqiang.config - 程序包 xin.jiangqiang.config

xin.jiangqiang.entities - 程序包 xin.jiangqiang.entities

xin.jiangqiang.filter - 程序包 xin.jiangqiang.filter

xin.jiangqiang.management - 程序包 xin.jiangqiang.management

xin.jiangqiang.net - 程序包 xin.jiangqiang.net

xin.jiangqiang.reflect - 程序包 xin.jiangqiang.reflect

xin.jiangqiang.test - 程序包 xin.jiangqiang.test

xin.jiangqiang.util - 程序包 xin.jiangqiang.util

A B C D E F G H I M N O P R S T V X
所有类 所有程序包