xin.bluesky.leiothrix.server.action.allocate

类 TableOneByOnePartitionAllocator

java.lang.Object

xin.bluesky.leiothrix.server.action.allocate.AbstractPartitionAllocator

xin.bluesky.leiothrix.server.action.allocate.TableOneByOnePartitionAllocator

所有已实现的接口:

PartitionAllocator

public class TableOneByOnePartitionAllocator
extends AbstractPartitionAllocator

按照表为维度,一张表一张表地处理.

假设有两张表table-1和table-2需要处理,则需要在table-1全部处理完毕之后再处理table-2的数据(比如数据清洗), 此时需要保证表之间严格有序.在table-1处理完之前,即使有空闲worker,也要等待.

作者:

张轲

字段概要

字段

限定符和类型	字段和说明
static org.slf4j.Logger	logger

构造器概要

构造器

构造器和说明
TableOneByOnePartitionAllocator()

方法概要

限定符和类型	方法和说明
List<PartitionTask>	findRange(String taskId, List<String> tableNameList) 这种场景的分配调度比较复杂.
protected List<String>	getAllTables(String taskId)

从类继承的方法 xin.bluesky.leiothrix.server.action.allocate.AbstractPartitionAllocator

findRange, isTableFinished, isTableProcessing, isTableProcessingOrFinished, preAllocate

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

logger

public static final org.slf4j.Logger logger

构造器详细资料

TableOneByOnePartitionAllocator

public TableOneByOnePartitionAllocator()

方法详细资料

getAllTables

protected List<String> getAllTables(String taskId)

覆盖:

getAllTables 在类中 AbstractPartitionAllocator

findRange

public List<PartitionTask> findRange(String taskId,
                                     List<String> tableNameList)
                              throws NoTaskException,
                                     WaitAndTryLaterException

这种场景的分配调度比较复杂. 在不考虑tableStatus为WAIT_FOR_REALLOCATE的情况下: 1. 如表状态为已结束,则可进入下一张表去分配range 2. 如表状态为处理中,则抛出WaitAndTryLaterException,通知worker等待该表处理完成 3. 如表状态为未分配,则进入.此时所有range都是未分配的(因为取未分配的任务片的原则是一次性将table下的所有未分配range都取出来),所以一定能够找到未分配range来返回 考虑tableStatus为WAIT_FOR_REALLOCATE的情况下,此时该表下可能部分range是已结束,部分range是处理中, 但一定有range是未分配的,因为在判定range处理超时的时候才会给table置WAIT_FOR_REALLOCATE状态,同时重置超时range为未分配状态.

指定者:

findRange 在类中 AbstractPartitionAllocator

参数:

taskId - taskId

tableNameList - table name list

返回:

partition task list

抛出:

NoTaskException - if no task can be found

WaitAndTryLaterException - if client need wait for current table finished