接口的使用
xin.jiangqiang.app.Starter
-
使用Starter的程序包 程序包 说明 xin.jiangqiang.app xin.jiangqiang.sample -
-
xin.jiangqiang.app中Starter的使用
实现Starter的xin.jiangqiang.app中的类 修饰符和类型 类 说明 classAbstractStarter定义开始爬取前，爬取完成后的基本流程classSeleniumApplicationclassTradApplication此类用于爬取传统页面 -
xin.jiangqiang.sample中Starter的使用
实现Starter的xin.jiangqiang.sample中的类 修饰符和类型 类 说明 classAutoBaseTradApplicationTest最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果，他本身也是爬虫的子类 可以直接取出html内容，以及字节流保存为文件等等classAutoFileTradApplicationTest自动从maven仓库抓取文件并保存，小文件可以直接使用Page对象进行保存， 大文件应该直接从URL中进行下载文件。classBaseTradApplicationTest最基本的爬虫实例 基本流程: 1.首先需要继承AbstractStarter的子实现类 2.然后创建本类实例 3.加入爬虫种子 4.配置对该种子请求时的请求行，请求头，请求体（参数），以及HTTP代理，以及其他自定义信息 5.调用start方法 6.对爬取结果进行处理，主要包括将数据流保存为图片等静态资源，从html中获取文本信息存入数据库，从html中获取URL存入page，为下次爬取做准备classDealTradApplicationTest最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果，他本身也是爬虫的子类 可以直接取出html内容，以及字节流保存为文件等等classProxySeleniumApplicationTestclassSaveTradApplicationTest
-