xyz.felh.openai.jtokkit.utils

Class TikTokenUtils

java.lang.Object

xyz.felh.openai.jtokkit.utils.TikTokenUtils

public class TikTokenUtils
extends java.lang.Object

Constructor Summary

Constructors

Constructor and Description
TikTokenUtils()

Method Summary

Modifier and Type	Method and Description
static java.lang.String	decode(Encoding enc, java.util.List<java.lang.Integer> encoded) 通过Encoding和encoded数组反推text信息
static java.lang.String	decode(EncodingType encodingType, java.util.List<java.lang.Integer> encoded) 通过EncodingType和encoded编码数组，反推字符串文本
static java.lang.String	decode(java.lang.String modelName, java.util.List<java.lang.Integer> encoded) 通过模型名称和encoded编码数组，反推字符串文本
static java.util.List<java.lang.Integer>	encode(Encoding enc, java.lang.String text) 通过Encoding和text获取编码数组
static java.util.List<java.lang.Integer>	encode(EncodingType encodingType, java.lang.String text) 获取encode的编码数组
static java.util.List<java.lang.Integer>	encode(java.lang.String modelName, java.lang.String text) 获取encode的编码数组，通过模型名称
static Encoding	getEncoding(EncodingType encodingType) 获取一个Encoding对象，通过Encoding类型
static Encoding	getEncoding(java.lang.String modelName) 获取一个Encoding对象，通过模型名称
static ModelType	getModelTypeByName(java.lang.String name) 获取modelType
static int	tokens(Encoding enc, java.lang.String text) 通过Encoding计算text信息的tokens
static int	tokens(EncodingType encodingType, java.lang.String text) 计算指定字符串的tokens，通过EncodingType
static int	tokens(java.lang.String modelName, java.util.List<ChatMessage> messages) 通过模型名称计算messages获取编码数组 参考官方的处理逻辑： https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb
static int	tokens(java.lang.String modelName, java.lang.Object functionCall, java.util.List<Function> functions)
static int	tokens(java.lang.String modelName, java.lang.String text) 通过模型名称, 计算指定字符串的tokens

Methods inherited from class java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

TikTokenUtils

public TikTokenUtils()

Method Detail

encode

public static java.util.List<java.lang.Integer> encode(Encoding enc,
                                                       java.lang.String text)

通过Encoding和text获取编码数组

Parameters:

enc - Encoding类型

text - 文本信息

Returns:

编码数组

tokens

public static int tokens(Encoding enc,
                         java.lang.String text)

通过Encoding计算text信息的tokens

Parameters:

enc - Encoding类型

text - 文本信息

Returns:

tokens数量

decode

public static java.lang.String decode(Encoding enc,
                                      java.util.List<java.lang.Integer> encoded)

通过Encoding和encoded数组反推text信息

Parameters:

enc - Encoding

encoded - 编码数组

Returns:

编码数组对应的文本信息

getEncoding

public static Encoding getEncoding(EncodingType encodingType)

获取一个Encoding对象，通过Encoding类型

Parameters:

encodingType - encodingType

Returns:

Encoding

encode

public static java.util.List<java.lang.Integer> encode(EncodingType encodingType,
                                                       java.lang.String text)

获取encode的编码数组

Parameters:

text - 文本信息

Returns:

编码数组

tokens

public static int tokens(EncodingType encodingType,
                         java.lang.String text)

计算指定字符串的tokens，通过EncodingType

Parameters:

encodingType - encodingType

text - 文本信息

Returns:

tokens数量

decode

public static java.lang.String decode(EncodingType encodingType,
                                      java.util.List<java.lang.Integer> encoded)

通过EncodingType和encoded编码数组，反推字符串文本

Parameters:

encodingType - encodingType

encoded - 编码数组

Returns:

编码数组对应的字符串

getEncoding

public static Encoding getEncoding(java.lang.String modelName)

获取一个Encoding对象，通过模型名称

Parameters:

modelName - 模型名称

Returns:

Encoding

encode

public static java.util.List<java.lang.Integer> encode(java.lang.String modelName,
                                                       java.lang.String text)

获取encode的编码数组，通过模型名称

Parameters:

text - 文本信息

Returns:

编码数组

tokens

public static int tokens(java.lang.String modelName,
                         java.lang.String text)

通过模型名称, 计算指定字符串的tokens

Parameters:

modelName - 模型名称

text - 文本信息

Returns:

tokens数量

tokens

public static int tokens(java.lang.String modelName,
                         java.util.List<ChatMessage> messages)

通过模型名称计算messages获取编码数组 参考官方的处理逻辑： https://github.com/openai/openai-cookbook/blob/main/examples/How_to_count_tokens_with_tiktoken.ipynb

Parameters:

modelName - 模型名称

messages - 消息体

Returns:

tokens数量

tokens

public static int tokens(java.lang.String modelName,
                         java.lang.Object functionCall,
                         java.util.List<Function> functions)

decode

public static java.lang.String decode(java.lang.String modelName,
                                      java.util.List<java.lang.Integer> encoded)

通过模型名称和encoded编码数组，反推字符串文本

Parameters:

modelName -

encoded -

Returns:

getModelTypeByName

public static ModelType getModelTypeByName(java.lang.String name)

获取modelType

Parameters:

name -

Returns: