A B C D E F G H I M N O P R S T V W X
所有类 所有程序包
所有类 所有程序包
所有类 所有程序包
A
- AbstractRecorder - xin.jiangqiang.manage中的类
-
下面方法作为保留方法,暂时没有使用,但是后续可能会使用到 如果后续使用到下面方法可以通过子类覆盖
- AbstractRecorder() - 类 的构造器xin.jiangqiang.manage.AbstractRecorder
- AbstractSeleniumHelper - xin.jiangqiang.selenium中的类
- AbstractSeleniumHelper() - 类 的构造器xin.jiangqiang.selenium.AbstractSeleniumHelper
- AbstractSeleniumHelper(Config, Recorder) - 类 的构造器xin.jiangqiang.selenium.AbstractSeleniumHelper
- AbstractStarter - xin.jiangqiang.app中的类
-
定义开始爬取前,爬取完成后的基本流程
- AbstractStarter() - 类 的构造器xin.jiangqiang.app.AbstractStarter
- activeCounts - 类 中的变量xin.jiangqiang.app.AbstractStarter
- add(Crawler) - 类 中的方法xin.jiangqiang.manage.DbRecorder
- add(Crawler) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
-
写集合crawlersList 不能添加重复的爬虫
- add(Crawler) - 接口 中的方法xin.jiangqiang.manage.Recorder
-
存储未爬取的爬虫 需要去重处理
- addAll(List<Crawler>) - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
- addAll(List<Crawler>) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
-
写集合crawlersList 不能添加重复的爬虫
- addAll(List<Crawler>) - 接口 中的方法xin.jiangqiang.manage.Recorder
-
存储未爬取的爬虫 需要去重处理
- addDefaultRegEx(String) - 类 中的方法xin.jiangqiang.config.Config
-
添加默认正则表达式 默认正则表达式没有正正则和逆正则之分
- addErr(Crawler) - 类 中的方法xin.jiangqiang.manage.DbRecorder
- addErr(Crawler) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
-
写集合errCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
- addErr(Crawler) - 接口 中的方法xin.jiangqiang.manage.Recorder
-
记录失败的
- addRegEx(String) - 类 中的方法xin.jiangqiang.config.Config
-
加号开头,去掉加号放正正则列表 减号开头,去掉减号放逆正则列表 否则直接放正正则列表
- addSeed(String) - 类 中的方法xin.jiangqiang.app.AbstractStarter
-
创建时子类爬虫深度会自动+1
- addSeed(String) - 类 中的方法xin.jiangqiang.entities.Crawler
-
创建时子类爬虫深度会自动+1
- addSeeds(List<String>, String) - 类 中的方法xin.jiangqiang.app.AbstractStarter
-
批量创建初始爬虫,批量设置子类类型
- addSeeds(List<String>, String) - 类 中的方法xin.jiangqiang.entities.Crawler
-
批量创建子爬虫,批量设置子类类型
- addSucc(Crawler) - 类 中的方法xin.jiangqiang.manage.DbRecorder
- addSucc(Crawler) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
-
写集合succCrawlers 成功或失败后移除正在爬取列表中的对应爬虫
- addSucc(Crawler) - 接口 中的方法xin.jiangqiang.manage.Recorder
-
记录爬取成功的
- after() - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
- after() - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- after() - 类 中的方法xin.jiangqiang.sample.AutoFileTradApplicationTest
- after() - 类 中的方法xin.jiangqiang.sample.BaseTradApplicationTest
- after() - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
- after() - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
- after() - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
- After - xin.jiangqiang.annotation中的注释类型
- App - xin.jiangqiang.annotation中的注释类型
- AutoBaseTradApplicationTest - xin.jiangqiang.sample中的类
-
最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果,他本身也是爬虫的子类 可以直接取出html内容,以及字节流保存为文件等等
- AutoBaseTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.AutoBaseTradApplicationTest
- AutoFileTradApplicationTest - xin.jiangqiang.sample中的类
-
自动从maven仓库抓取文件并保存,小文件可以直接使用Page对象进行保存, 大文件应该直接从URL中进行下载文件。
- AutoFileTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.AutoFileTradApplicationTest
B
- BaseTradApplicationTest - xin.jiangqiang.sample中的类
-
最基本的爬虫实例 基本流程: 1.首先需要继承AbstractStarter的子实现类 2.然后创建本类实例 3.加入爬虫种子 4.配置对该种子请求时的请求行,请求头,请求体(参数),以及HTTP代理,以及其他自定义信息 5.调用start方法 6.对爬取结果进行处理,主要包括将数据流保存为图片等静态资源,从html中获取文本信息存入数据库,从html中获取URL存入page,为下次爬取做准备
- BaseTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.BaseTradApplicationTest
- Bean - xin.jiangqiang.annotation中的注释类型
- before() - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
- before() - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- before() - 类 中的方法xin.jiangqiang.sample.BaseTradApplicationTest
- before() - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
- before() - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
- before() - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
- Before - xin.jiangqiang.annotation中的注释类型
- beforeEnd() - 类 中的方法xin.jiangqiang.app.AbstractStarter
C
- call(Class<? extends Annotation>, Object...) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
- callMatchMethod(Page, Class<? extends Annotation>, Object...) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
- callMatchMethod(Page, String, Class<? extends Annotation>, Object[]) - 类 中的方法xin.jiangqiang.reflect.ReflectHelper
-
执行match注解修饰的方法
- callMethod(String, Class<? extends Annotation>, Object[]) - 类 中的方法xin.jiangqiang.reflect.ReflectHelper
-
执行match注解修饰的方法
- callMethodHelper - 类 中的变量xin.jiangqiang.app.AbstractStarter
- CallMethodHelper - xin.jiangqiang.reflect中的类
- CallMethodHelper() - 类 的构造器xin.jiangqiang.reflect.CallMethodHelper
- ClassUtil - xin.jiangqiang.reflect中的类
-
获取指定包下的类,获取指定包下带有指定注解的类。
- ClassUtil() - 类 的构造器xin.jiangqiang.reflect.ClassUtil
- clearNextCrawler(Crawler) - 类 中的静态方法xin.jiangqiang.util.CrawlerUtil
-
清空下一代种子
- clearResource() - 类 中的方法xin.jiangqiang.app.AbstractStarter
-
程序结束前会执行,用于清理资源,比如使用selenium时关闭驱动
- clearResource() - 类 中的方法xin.jiangqiang.app.SeleniumApplication
- clearResource() - 接口 中的方法xin.jiangqiang.app.Starter
-
程序没有正常执行完时会执行此方法
- closeWebDriver() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
- code() - 注释类型 中的方法xin.jiangqiang.annotation.Match
- CommonInterCeptor - xin.jiangqiang.net中的类
- CommonInterCeptor() - 类 的构造器xin.jiangqiang.net.CommonInterCeptor
- config - 类 中的变量xin.jiangqiang.app.AbstractStarter
- Config - xin.jiangqiang.config中的类
- Config(Class<?>) - 类 的构造器xin.jiangqiang.config.Config
- CookieUtil - xin.jiangqiang.util中的类
- CookieUtil() - 类 的构造器xin.jiangqiang.util.CookieUtil
- count() - 类 中的方法xin.jiangqiang.manage.DbRecorder
- count() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
- count() - 接口 中的方法xin.jiangqiang.manage.Recorder
- countErr() - 类 中的方法xin.jiangqiang.manage.DbRecorder
- countErr() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
- countErr() - 接口 中的方法xin.jiangqiang.manage.Recorder
- countSucc() - 类 中的方法xin.jiangqiang.manage.DbRecorder
- countSucc() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
- countSucc() - 接口 中的方法xin.jiangqiang.manage.Recorder
- crawler - 类 中的变量xin.jiangqiang.app.AbstractStarter
- Crawler - xin.jiangqiang.entities中的类
-
定义公共属性和元数据
- Crawler(String) - 类 的构造器xin.jiangqiang.entities.Crawler
- Crawler(String, String) - 类 的构造器xin.jiangqiang.entities.Crawler
- CrawlerUtil - xin.jiangqiang.util中的类
- CrawlerUtil() - 类 的构造器xin.jiangqiang.util.CrawlerUtil
D
- DbRecorder - xin.jiangqiang.manage中的类
-
数据库记录器 保留类,暂时未实现
- DbRecorder() - 类 的构造器xin.jiangqiang.manage.DbRecorder
- deal(Page) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
- deal(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- deal(Page) - 类 中的方法xin.jiangqiang.sample.AutoFileTradApplicationTest
- deal(Page) - 类 中的方法xin.jiangqiang.sample.BaseTradApplicationTest
- deal(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
- deal(Page) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
- deal(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
- Deal - xin.jiangqiang.annotation中的注释类型
-
处理每一个Page对象,公共逻辑, 和match的区别是:会匹配任意对象
- DealTradApplicationTest - xin.jiangqiang.sample中的类
-
最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果,他本身也是爬虫的子类 可以直接取出html内容,以及字节流保存为文件等等
- DealTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.DealTradApplicationTest
- DELETE - xin.jiangqiang.net.RequestMethod
- dispatcher() - 类 中的方法xin.jiangqiang.app.AbstractStarter
-
从Recorder分配任务
- DocumentUtil - xin.jiangqiang.util中的类
- DocumentUtil() - 类 的构造器xin.jiangqiang.util.DocumentUtil
- DriverUtil - xin.jiangqiang.util中的类
- DriverUtil() - 类 的构造器xin.jiangqiang.util.DriverUtil
E
- equals(Object) - 类 中的方法xin.jiangqiang.entities.Crawler
- executor - 类 中的变量xin.jiangqiang.app.AbstractStarter
F
- FileUtil - xin.jiangqiang.util中的类
- FileUtil() - 类 的构造器xin.jiangqiang.util.FileUtil
- filter - 类 中的变量xin.jiangqiang.app.AbstractStarter
- filter(Crawler) - 接口 中的方法xin.jiangqiang.filter.Filter
- filter(Crawler) - 类 中的方法xin.jiangqiang.filter.NextFilter
-
过滤掉每次请求后解析的URL中不需要的URL 可以在此方法实现去重,但是意义不大,不同的URL访问之后可以解析到相同的URL,因此在这里去重不是一个很好的办法
- Filter - xin.jiangqiang.filter中的接口
G
- GET - xin.jiangqiang.net.RequestMethod
- getAll() - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
- getAll() - 接口 中的方法xin.jiangqiang.manage.Recorder
-
查询所有未爬取的爬虫
- getAllUrl(String, String) - 类 中的静态方法xin.jiangqiang.util.DocumentUtil
- getBodys() - 类 中的方法xin.jiangqiang.entities.Crawler
- getChromeDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
- getChromeDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
- getClassList(String, boolean) - 类 中的静态方法xin.jiangqiang.reflect.ClassUtil
- getClassListByAnnotation(String, Class<? extends Annotation>) - 类 中的静态方法xin.jiangqiang.reflect.ClassUtil
- getConfigs() - 类 中的方法xin.jiangqiang.entities.Crawler
- getContentType(String) - 类 中的静态方法xin.jiangqiang.util.HttpUtil
- getContentType(String, String, Integer) - 类 中的静态方法xin.jiangqiang.util.HttpUtil
- getCookie(WebDriver, String, String) - 类 中的静态方法xin.jiangqiang.util.CookieUtil
-
从文件获取cookie添加到driver
- getCrawler() - 类 中的方法xin.jiangqiang.app.AbstractStarter
-
已过时。
- getData() - 类 中的方法xin.jiangqiang.entities.Crawler
- getDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
- getDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
- getEdgeDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
- getEdgeDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
- getErr() - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
- getErr() - 接口 中的方法xin.jiangqiang.manage.Recorder
-
查询爬取失败的
- getFirefoxDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
- getFirefoxDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
- getHandler() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
- getHeaders() - 类 中的方法xin.jiangqiang.entities.Crawler
- getHtml(WebDriver) - 类 中的静态方法xin.jiangqiang.util.DriverUtil
-
获取整个html页面
- getInstance(Config, Recorder) - 类 中的静态方法xin.jiangqiang.selenium.SeleniumHelperDefaultImpl
- getInstance(Config, SeleniumHelper, Crawler) - 类 中的静态方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
- getInternetExplorerDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
- getInternetExplorerDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
- getLines() - 类 中的方法xin.jiangqiang.entities.Crawler
- getMatchUrls(List<String>) - 类 中的方法xin.jiangqiang.app.AbstractStarter
-
逆正则优先级更高 一旦匹配逆正则,则不会匹配正正则
- getMethod() - 类 中的方法xin.jiangqiang.entities.Crawler
- getMethod() - 枚举 中的方法xin.jiangqiang.net.RequestMethod
- getOne() - 类 中的方法xin.jiangqiang.manage.DbRecorder
- getOne() - 类 中的方法xin.jiangqiang.manage.RAMRecorder
-
读写集合crawlersList 获取的同时需要删除存储的该爬虫实例(保证下一个线程不会取到同一个)
- getOne() - 接口 中的方法xin.jiangqiang.manage.Recorder
-
取出未爬取的爬虫 取出后需要删除该爬虫
- getOperaDriver(Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
- getOperaDriver(Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
- getPage(Crawler, Integer, String, byte[], Charset) - 类 中的静态方法xin.jiangqiang.entities.Page
-
okhttp请求之后通过crawler创建page page和crawler的其余属性一致
- getPage(Crawler, Integer, String, String) - 类 中的静态方法xin.jiangqiang.entities.Page
-
selenium使用
- getSucc() - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
- getSucc() - 接口 中的方法xin.jiangqiang.manage.Recorder
-
查询爬取成功的
- getTask(Crawler) - 类 中的方法xin.jiangqiang.app.AbstractStarter
- getTask(Crawler) - 类 中的方法xin.jiangqiang.app.SeleniumApplication
- getTask(Crawler) - 类 中的方法xin.jiangqiang.app.TradApplication
- getWebDriver() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
- getWebHandler() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
-
使用完必须重置状态,否则不可重复使用 根据标记状态判断能否使用 一旦可以使用则切换到该标签页,并且标记为不可使用状态
- getWebHandlers() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
H
- hashCode() - 类 中的方法xin.jiangqiang.entities.Crawler
- HEAD - xin.jiangqiang.net.RequestMethod
- HttpUtil - xin.jiangqiang.util中的类
- HttpUtil() - 类 的构造器xin.jiangqiang.util.HttpUtil
I
- init() - 类 中的方法xin.jiangqiang.app.AbstractStarter
- init() - 类 中的方法xin.jiangqiang.app.SeleniumApplication
- init(WebHandlerManager, Crawler) - 类 中的方法xin.jiangqiang.app.SeleniumApplication
-
此方法专门用于子类重写,方便实现自定义功能,比如爬虫启动前模拟登录操作,获取cookie selenium模式独有方法
- init(WebHandlerManager, Crawler) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
-
模拟登录获取cookie,将cookie放入种子中
- initBeforeStart(Config) - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
- initBeforeStart(Config) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
-
写集合crawlersList
- initBeforeStart(Config) - 接口 中的方法xin.jiangqiang.manage.Recorder
-
此方法用于内存记录器的断点续爬 初始化文件中的数据,保证getOne或getAll方法可以获取到东西 如果是数据库存储则不需要此方法 内存记录器可以配置是否保存以及保存路径,而数据库记录器一律保存
- initDataFromCrawler(Crawler) - 类 中的方法xin.jiangqiang.entities.Crawler
-
1.
- intercept(Interceptor.Chain) - 类 中的方法xin.jiangqiang.net.CommonInterCeptor
- isEmpty(String) - 类 中的静态方法xin.jiangqiang.util.StringUtil
-
判断字符串是否为空
- isEmpty(String...) - 类 中的静态方法xin.jiangqiang.util.StringUtil
-
判断多个字符串是否同时为空
- isEnd - 类 中的变量xin.jiangqiang.app.AbstractStarter
- isMatch(String, String) - 类 中的静态方法xin.jiangqiang.util.RegExpUtil
- isNotEmpty(String) - 类 中的静态方法xin.jiangqiang.util.StringUtil
-
判断字符串是否不为空
- isNotEmpty(String...) - 类 中的静态方法xin.jiangqiang.util.StringUtil
-
判断多个字符串是否同时不为空
- isRunning() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
M
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.AutoFileTradApplicationTest
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.BaseTradApplicationTest
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.DealTradApplicationTest
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.SaveTradApplicationTest
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.TestProxy
- main(String[]) - 类 中的静态方法xin.jiangqiang.sample.TestSaveFile
- match(Page) - 类 中的方法xin.jiangqiang.reflect.CallMethodHelper
- Match - xin.jiangqiang.annotation中的注释类型
-
处理每一个Page对象,值和Crawler.type相同时的执行逻辑。
- matchAtricle(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- matchAtricle(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
- matchAtricle(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
- matchCode404(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- matchCode404(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
- matchCode404(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
- matchCode405(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- matchCode405(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
- matchCode405(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
- matchContent(Page) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
- matchHome(Page) - 类 中的方法xin.jiangqiang.sample.AutoBaseTradApplicationTest
- matchHome(Page) - 类 中的方法xin.jiangqiang.sample.DealTradApplicationTest
- matchHome(Page) - 类 中的方法xin.jiangqiang.sample.SaveTradApplicationTest
- matchList(Page) - 类 中的方法xin.jiangqiang.sample.ProxySeleniumApplicationTest
-
处理列表页面的URL,提取封面图片 提取详情页的URL
- mkParentDirIfNot(String) - 类 中的静态方法xin.jiangqiang.util.FileUtil
-
给定一个路径,如果父级目录不存在则创建父级目录 相对路径也不会有问题
N
- NextFilter - xin.jiangqiang.filter中的类
- NextFilter() - 类 的构造器xin.jiangqiang.filter.NextFilter
O
- OkHttpClientHelper - xin.jiangqiang.net中的类
- OkHttpClientHelper(Recorder, Config) - 类 的构造器xin.jiangqiang.net.OkHttpClientHelper
P
- Page - xin.jiangqiang.entities中的类
-
请求结束后的爬虫,此对象用于提取数据
- Page() - 类 的构造器xin.jiangqiang.entities.Page
- PATCH - xin.jiangqiang.net.RequestMethod
- POST - xin.jiangqiang.net.RequestMethod
- processOkHttpClient(Map<String, String>) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper
- processRequest(String, Map<String, String>, Map<String, String>, Map<String, String>) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper
- ProxySeleniumApplicationTest - xin.jiangqiang.sample中的类
- ProxySeleniumApplicationTest() - 类 的构造器xin.jiangqiang.sample.ProxySeleniumApplicationTest
- PUT - xin.jiangqiang.net.RequestMethod
R
- RAMRecorder - xin.jiangqiang.manage中的类
-
内存记录器,存储统计各个阶段的爬虫 此类所有方法同步,是限制并发的主要因素
- RAMRecorder() - 类 的构造器xin.jiangqiang.manage.RAMRecorder
- recorder - 类 中的变量xin.jiangqiang.app.AbstractStarter
- Recorder - xin.jiangqiang.manage中的接口
-
记录各种爬取状态的爬虫
- ReflectHelper - xin.jiangqiang.reflect中的类
- ReflectHelper() - 类 的构造器xin.jiangqiang.reflect.ReflectHelper
- regEx() - 注释类型 中的方法xin.jiangqiang.annotation.Match
- RegExpUtil - xin.jiangqiang.util中的类
- RegExpUtil() - 类 的构造器xin.jiangqiang.util.RegExpUtil
- request(String, Map<String, String>, Map<String, String>, Map<String, String>, Map<String, String>) - 类 中的静态方法xin.jiangqiang.util.HttpUtil
- request(Crawler) - 类 中的方法xin.jiangqiang.net.OkHttpClientHelper
- request(WebHandler, Crawler) - 类 中的方法xin.jiangqiang.selenium.AbstractSeleniumHelper
- request(WebHandler, Crawler) - 接口 中的方法xin.jiangqiang.selenium.SeleniumHelper
- request(WebHandler, Crawler) - 类 中的方法xin.jiangqiang.selenium.SeleniumHelperDefaultImpl
- RequestMethod - xin.jiangqiang.net中的枚举
- resetAllWebHandler() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
-
在init方法内可以使用此方法,在爬虫正式开始后,慎用
- resetWebHandler(WebHandler) - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandlerManager
-
重置为非运行状态
- run() - 类 中的方法xin.jiangqiang.app.AbstractStarter
-
使用线程池执行爬虫任务的真正逻辑
- run() - 类 中的方法xin.jiangqiang.app.SeleniumApplication.Task
- run() - 类 中的方法xin.jiangqiang.app.TradApplication.Task
S
- saveBeforeEnd(Config) - 类 中的方法xin.jiangqiang.manage.AbstractRecorder
- saveBeforeEnd(Config) - 类 中的方法xin.jiangqiang.manage.RAMRecorder
-
读集合crawlersList
- saveBeforeEnd(Config) - 接口 中的方法xin.jiangqiang.manage.Recorder
-
此方法用于内存记录器的断点续爬 结束前保存没有爬取的爬虫到文件,而数据库记录器无需此功能 内存记录器可以配置读取路径以及是否断点续爬,而数据库记录器只要数据表中有数据,则都会被爬取
- saveCookie(WebDriver, String) - 类 中的静态方法xin.jiangqiang.util.CookieUtil
-
保存cookie到文件,保存成功返回true
- saveFile(String, String, byte[]) - 类 中的静态方法xin.jiangqiang.util.FileUtil
- saveFile(String, Page) - 类 中的静态方法xin.jiangqiang.util.FileUtil
-
小文件对应的URL可以直接使用框架请求后,通过page对象中的content保存(也就是此方法保存) 如果是大文件,建议过滤掉框架自动的请求。
- saveFileFromURL(String, String) - 类 中的静态方法xin.jiangqiang.util.FileUtil
-
已过时。
- saveFileFromURL(String, String, Map<String, String>, Map<String, String>, Map<String, String>, Map<String, String>) - 类 中的静态方法xin.jiangqiang.util.FileUtil
-
有身份校验或防盗链时使用此方法,
- SaveTradApplicationTest - xin.jiangqiang.sample中的类
- SaveTradApplicationTest() - 类 的构造器xin.jiangqiang.sample.SaveTradApplicationTest
- SeleniumApplication - xin.jiangqiang.app中的类
- SeleniumApplication() - 类 的构造器xin.jiangqiang.app.SeleniumApplication
- SeleniumApplication.Task - xin.jiangqiang.app中的类
- SeleniumHelper - xin.jiangqiang.selenium中的接口
-
创建驱动并且发送请求的接口
- SeleniumHelperDefaultImpl - xin.jiangqiang.selenium中的类
- setBodys(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
- setConfigs(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
- setData(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
- setHeaders(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
- setLines(Map<String, String>) - 类 中的方法xin.jiangqiang.entities.Crawler
- setMethod(RequestMethod) - 类 中的方法xin.jiangqiang.entities.Crawler
- start() - 类 中的方法xin.jiangqiang.app.AbstractStarter
- start() - 接口 中的方法xin.jiangqiang.app.Starter
- Starter - xin.jiangqiang.app中的接口
-
项目启动类接口
- StringUtil - xin.jiangqiang.util中的类
- StringUtil() - 类 的构造器xin.jiangqiang.util.StringUtil
- switchToThis() - 类 中的方法xin.jiangqiang.selenium.webdriver.WebHandler
-
切换到当前标签页
T
- Task(Crawler) - 类 的构造器xin.jiangqiang.app.SeleniumApplication.Task
- Task(Crawler) - 类 的构造器xin.jiangqiang.app.TradApplication.Task
- test(Map<String, String>) - 类 中的静态方法xin.jiangqiang.sample.TestProxy
- TestProxy - xin.jiangqiang.sample中的类
- TestProxy() - 类 的构造器xin.jiangqiang.sample.TestProxy
- TestSaveFile - xin.jiangqiang.sample中的类
-
从网络中保存图片演示
- TestSaveFile() - 类 的构造器xin.jiangqiang.sample.TestSaveFile
- TradApplication - xin.jiangqiang.app中的类
-
此类用于爬取传统页面
- TradApplication() - 类 的构造器xin.jiangqiang.app.TradApplication
- TradApplication.Task - xin.jiangqiang.app中的类
- type() - 注释类型 中的方法xin.jiangqiang.annotation.Match
V
- value() - 注释类型 中的方法xin.jiangqiang.annotation.Match
- valueOf(String) - 枚举 中的静态方法xin.jiangqiang.net.RequestMethod
-
返回带有指定名称的该类型的枚举常量。
- values() - 枚举 中的静态方法xin.jiangqiang.net.RequestMethod
-
按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。
W
- WebHandler - xin.jiangqiang.selenium.webdriver中的类
-
管理标签页 拥有一个单例的WebDriver,以及标签页句柄字符串 每一个实例都表示一个具体的标签页
- WebHandler(WebDriver, String) - 类 的构造器xin.jiangqiang.selenium.webdriver.WebHandler
- WebHandlerManager - xin.jiangqiang.selenium.webdriver中的类
-
单例模式 此对象用于维护一个List,存放标签页
X
- xin.jiangqiang.annotation - 程序包 xin.jiangqiang.annotation
- xin.jiangqiang.app - 程序包 xin.jiangqiang.app
- xin.jiangqiang.config - 程序包 xin.jiangqiang.config
- xin.jiangqiang.entities - 程序包 xin.jiangqiang.entities
- xin.jiangqiang.filter - 程序包 xin.jiangqiang.filter
- xin.jiangqiang.manage - 程序包 xin.jiangqiang.manage
- xin.jiangqiang.net - 程序包 xin.jiangqiang.net
- xin.jiangqiang.reflect - 程序包 xin.jiangqiang.reflect
- xin.jiangqiang.sample - 程序包 xin.jiangqiang.sample
- xin.jiangqiang.selenium - 程序包 xin.jiangqiang.selenium
- xin.jiangqiang.selenium.webdriver - 程序包 xin.jiangqiang.selenium.webdriver
- xin.jiangqiang.util - 程序包 xin.jiangqiang.util
所有类 所有程序包