程序包 xin.jiangqiang.core.entities

类 Crawler

java.lang.Object

xin.jiangqiang.core.entities.Crawler

所有已实现的接口:

Serializable, HttpConfig<Crawler>

直接已知子类:

Page

public class Crawler
extends Object
implements Serializable, HttpConfig<Crawler>

另请参阅:

序列化表格

构造器概要

构造器

构造器	说明
Crawler()
Crawler(String url)
Crawler(String url, String type)	创建爬虫

方法概要

修饰符和类型	方法	说明
Crawler	addBodys(String key, String value)
Crawler	addHeaders(String key, String value)
Crawler	addLines(String key, String value)
Crawler	addSeed(String url)	创建时子类爬虫深度会自动+1
void	addSeeds(Collection<String> urls, String type)	批量创建子爬虫，批量设置子类类型
boolean	equals(Object o)
Map<String,String>	getBodys()
String	getData(String key)
Map<String,String>	getDataMap()
Map<String,String>	getHeaders()
Map<String,String>	getLines()
Map<String,String>	getMetaData(String key)	获取参数
int	hashCode()
Crawler	initDataFromCrawler(Crawler crawler)	1.
Crawler	initFromGlobConfig(HttpConfig<?> config)
Crawler	setData(String key, String value)	快捷的从dataMap中操作数据
Crawler	setDataMap(Map<String,String> dataMap)	存储数据，此集合中的数据会继承父级种子，但是修改子爬虫数据不会影响父爬虫数据
void	setMetaData(String key, Map<String,String> map)	设置参数

从类继承的方法 java.lang.Object

clone, finalize, getClass, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 xin.jiangqiang.core.interfaces.HttpConfig

getHttpConfig, getUseProxy

构造器详细资料

Crawler

public Crawler(String url)

Crawler

public Crawler()

Crawler

public Crawler(String url,
               String type)

创建爬虫

参数:

url - 链接

type - 爬虫分类

方法详细资料

initDataFromCrawler

public Crawler initDataFromCrawler(Crawler crawler)

1. 从crawler构造Page对象,发送请求之后是Page对象,请求前是Crawler对象 2. 将Page中的元数据复制到Next对象

参数:

crawler - 种子对象，后续爬虫会继承他的设置

返回:

返回调用此方法的对象

addSeed

public Crawler addSeed(String url)

创建时子类爬虫深度会自动+1

参数:

url - url

返回:

返回子爬虫

addSeeds

public void addSeeds(Collection<String> urls,
                     String type)

批量创建子爬虫，批量设置子类类型

参数:

urls - url列表

type - 类型

initFromGlobConfig

public Crawler initFromGlobConfig(HttpConfig<?> config)

equals

public boolean equals(Object o)

覆盖:

equals 在类中 Object

hashCode

public int hashCode()

覆盖:

hashCode 在类中 Object

getLines

public Map<String,String> getLines()

指定者:

getLines 在接口中 HttpConfig<Crawler>

addLines

public Crawler addLines(String key,
                        String value)

指定者:

addLines 在接口中 HttpConfig<Crawler>

getHeaders

public Map<String,String> getHeaders()

指定者:

getHeaders 在接口中 HttpConfig<Crawler>

addHeaders

public Crawler addHeaders(String key,
                          String value)

指定者:

addHeaders 在接口中 HttpConfig<Crawler>

getBodys

public Map<String,String> getBodys()

指定者:

getBodys 在接口中 HttpConfig<Crawler>

addBodys

public Crawler addBodys(String key,
                        String value)

指定者:

addBodys 在接口中 HttpConfig<Crawler>

setMetaData

public void setMetaData(String key,
                        Map<String,String> map)

设置参数

参数:

key -

map -

getMetaData

public Map<String,String> getMetaData(String key)

获取参数

参数:

key -

返回:

getDataMap

public Map<String,String> getDataMap()

setDataMap

public Crawler setDataMap(Map<String,String> dataMap)

存储数据，此集合中的数据会继承父级种子，但是修改子爬虫数据不会影响父爬虫数据

参数:

dataMap -

返回:

setData

public Crawler setData(String key,
                       String value)

快捷的从dataMap中操作数据

参数:

key -

value -

返回:

getData

public String getData(String key)