类的使用
xin.jiangqiang.app.Application
-
使用Application的程序包 程序包 说明 xin.jiangqiang xin.jiangqiang.test -
-
xin.jiangqiang中Application的使用
xin.jiangqiang中Application的子类 修饰符和类型 类 说明 classTest -
xin.jiangqiang.test中Application的使用
xin.jiangqiang.test中Application的子类 修饰符和类型 类 说明 classAutoBaseApplicationTest最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果,他本身也是爬虫的子类 可以直接取出html内容,以及字节流保存为文件等等classBaseApplicationTest最基本的爬虫实例 基本流程: 1.首先需要继承Application类 2.然后创建本类实例 3.加入爬虫种子 4.配置对该种子请求时的请求行,请求头,请求体(参数),以及HTTP代理,以及其他自定义信息 5.调用start方法 6.对爬取结果进行处理,主要包括将数据流保存为图片等静态资源,从html中获取文本信息存入数据库,从html中获取URL存入next,为下次爬取做准备classDealApplicationTest最基本的爬虫实例 本文讲解基本处理实例 Page对象封装了请求响应结果,他本身也是爬虫的子类 可以直接取出html内容,以及字节流保存为文件等等classSaveApplicationTest
-