程序包 xin.jiangqiang.sample
-
类概要 类 说明 AutoBaseTradApplicationTest 最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果，他本身也是爬虫的子类 可以直接取出html内容，以及字节流保存为文件等等AutoFileTradApplicationTest 自动从maven仓库抓取文件并保存，小文件可以直接使用Page对象进行保存， 大文件应该直接从URL中进行下载文件。BaseTradApplicationTest 最基本的爬虫实例 基本流程: 1.首先需要继承AbstractStarter的子实现类 2.然后创建本类实例 3.加入爬虫种子 4.配置对该种子请求时的请求行，请求头，请求体（参数），以及HTTP代理，以及其他自定义信息 5.调用start方法 6.对爬取结果进行处理，主要包括将数据流保存为图片等静态资源，从html中获取文本信息存入数据库，从html中获取URL存入page，为下次爬取做准备DealTradApplicationTest 最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果，他本身也是爬虫的子类 可以直接取出html内容，以及字节流保存为文件等等ProxySeleniumApplicationTest SaveTradApplicationTest TestProxy TestSaveFile 从网络中保存图片演示