Tokenizador de Modelo Único

Tokenizador de Texto

Explora la codificación Byte-Pair Encoding (BPE), segmentación de tokens, relación de caracteres por token y mapeo de bytes sin procesar en OpenAI, Llama, Qwen y DeepSeek.

Try Sample:

Tokens 0

Characters 0

Words 0

Bytes (UTF-8) 0

Input Prompt

Token Segments

Show whitespace

Token segments will appear here as you type…

Token ID Sequence

Numeric token IDs…

Developer Actions & Share

Copy ready-to-run tokenization code for your stack

OpenAI Tiktoken Python BPE Tokenizer

# Generating snippet code…

💡 Code updates in real time based on active input & model

Desglose Matemático y Arquitectónico

Tokenización de Texto y Desglose de Byte Pair Encoding

Una derivación algorítmica y de álgebra lineal paso a paso de cómo los grandes modelos de lenguaje transforman texto Unicode sin procesar en vectores de tokens discretos mediante Byte Pair Encoding, fusiones por rango y proyecciones de incrustación de alta dimensión.

Ficha de Referencia Rápida de Tokenización y Vocabulario

Configuración Estándar de Transformer LLM

Vocabulario Base

256 Bytes

Flujo UTF 8 sin Procesar

Vocabulario cl100k

100,277

GPT 4 y GPT 3.5

Vocabulario o200k

200,019

Modelos GPT 4o y o1

Ratio de Compresión

~0.75 p/t

Prosa Natural en Inglés

Regla de Fusión BPE

argmax(u,v)

Par Ordenado por Frecuencia

Vector de Incrustación

W_E ∈ R^(V×d)

Proyección Alta Dimensión

Comprendiendo el Pipeline de Tokenización de Subpalabras

Entrada: S ∈ Cadena (Unicode)

Los modelos neuronales de lenguaje modernos no leen caracteres, sílabas o palabras completas del mismo modo que los humanos. En su lugar, transforman texto Unicode sin procesar en identificadores numéricos discretos denominados tokens. Mientras que los primeros sistemas de procesamiento de lenguaje natural usaban vocabularios de palabras delimitados por espacios, ese enfoque generaba graves problemas de términos fuera de vocabulario y un consumo masivo de memoria.

Para resolver esta limitación, las arquitecturas modernas adoptan algoritmos de tokenización de subpalabras. La tokenización de subpalabras equilibra dinámicamente el tamaño del vocabulario con la longitud de la secuencia, preservando el contexto espacial y la densidad semántica:

1. Palabras Atómicas

Palabras frecuentes como matrix o compute existen como tokens completos únicos.

2. Fragmentos de Subpalabras

Términos infrecuentes se dividen en raíces constitutivas como token e ization.

3. Respaldo a Nivel de Bytes

Emojis nuevos o alfabetos poco comunes se descomponen en bytes UTF 8 sin procesar.

Principio de Proyección de Tokens Paso 1

T = Tokenizar(Texto, V, M)

Texto de Entrada: "LLM Matrix Lab"

Fragmentos de Subpalabras: ["LL", "M", " Matrix", " Lab"]

IDs de Tokens (cl100k): [4178, 44, 11892, 11868]

Menos tokens significan menos multiplicaciones de matrices durante el cálculo de autoatención.

La Matemática de las Fusiones Byte Pair Encoding (BPE)

Regla: par*(u, v) = argmax Conteo(u, v, D)

Byte Pair Encoding es un algoritmo iterativo de compresión adaptado para modelos neuronales de lenguaje. En los LLM, BPE opera a nivel de bytes, inicializando con 256 tokens individuales de bytes para que cualquier símbolo Unicode, carácter de código o emoji pueda representarse sin errores de fuera de vocabulario.

1. Conteo de Frecuencia de Pares:

Escanea el corpus de entrenamiento para contar todas las coocurrencias de pares de símbolos adyacentes (u, v).

2. Asignación de Rango de Fusión:

El par de mayor frecuencia se fusiona en un solo token uv y se le asigna un rango entero secuencial.

3. Evaluación Determinista en Inferencia:

Durante la inferencia, los flujos de bytes de entrada se verifican contra la tabla de rangos y se fusionan en estricto orden ascendente.

Ecuación de Objetivo BPE Paso 2

par*(u, v) = argmax_(u, v ∈ V) Conteo(u, v, D)

Alfabeto Base: 256 bytes sin procesar

Fusiones Iterativas: k = 100,000 pasos

Tamaño de Vocabulario Final: 256 + k tokens

Las palabras comunes reciben rangos de fusión bajos, comprimiendo el texto en menos tokens.

Pre Tokenización por Regex y Control de Límites

Motor: División por Expresión Regular

Antes de aplicar reglas de fusión BPE, los modelos de frontera ejecutan un pre tokenizador estricto por expresión regular. Esto divide el texto de entrada en bloques aislados para que la puntuación, los dígitos numéricos, los espacios en blanco y las contracciones nunca se fusionen a través de fronteras semánticas.

Protección de Contracciones:

Las reglas aíslan contracciones para que los apóstrofes permanezcan asociados al sufijo en lugar del sustantivo precedente.

Agrupación de Dígitos:

Los números se segmentan en bloques de 1 a 3 dígitos para evitar que el razonamiento aritmético se degrade por fusiones multidígito arbitrarias.

Patrón Regex de GPT 4 Paso 3

(?i:'s|'t|'re|'ve|'m|'ll|'d)|[^\r\n\p{L}\p{N}]?(?:\p{L})+|\p{N}{1,3}| ?[^\s\p{L}\p{N}]+[\r\n]*|\s*[\r\n]+|\s+(?!\S)|\s+

La pre tokenización garantiza que las fusiones nunca crucen barreras de espacio en blanco o puntuación.

Matriz de Vocabularios y Arquitectura de Tokenizadores Líderes

Comparativa: 4 Arquitecturas Principales

Familia de Modelos	Nombre de Codificación	Tamaño de Vocabulario	Tipo de Algoritmo	Eficiencia de Compresión	Soporte Multilingüe
GPT 4 / GPT 3.5	cl100k_base	100,277	BPE a nivel de bytes	Alta (0.75 p/t)	Moderado (prioridad latina)
GPT 4o / o1	o200k_base	200,019	BPE a nivel de bytes	Muy Alta (0.88 p/t)	Superior (+30% no latino)
Llama 3 / 3.1	llama3	128,256	BPE a nivel de bytes	Muy Alta (0.85 p/t)	Extenso (Multilingüe)
Gemma / Gemma 2	SentencePiece	256,000	BPE con respaldo de bytes	Extrema (0.91 p/t)	Cobertura Global Profunda

Código de Implementación en Producción: Python y Tiktoken

Entorno: Python 3.10+

tokenizar_produccion.py biblioteca tiktoken

import tiktoken

def inspeccionar_desglose_tokens(prompt: str, nombre_codificacion: str = "cl100k_base"):
    enc = tiktoken.get_encoding(nombre_codificacion)
    ids_tokens = enc.encode(prompt)
    
    print(f"Total de Tokens: {len(ids_tokens)}")
    print("-" * 50)
    for idx, token_id in enumerate(ids_tokens):
        valor_bytes = enc.decode_single_token_bytes(token_id)
        print(f"Token {idx:03d} | ID: {token_id:6d} | Texto: {repr(valor_bytes.decode('utf-8', errors='replace'))}")
    return ids_tokens

prompt_ejemplo = "LLM Matrix Lab permite inspección de subpalabras en tiempo real."
inspeccionar_desglose_tokens(prompt_ejemplo)

Preguntas Frecuentes de Ingeniería

Preguntas de Producción

¿Por qué una sola palabra a veces se tokeniza en múltiples tokens?

Las palabras que aparecen con baja frecuencia en el corpus de entrenamiento o contienen mayúsculas inusuales, puntuación o afijos no reciben ranuras exclusivas en el vocabulario. El tokenizador las divide en subpalabras constitutivas más pequeñas o bytes para evitar errores de fuera de vocabulario.

¿Cómo afecta el recuento de tokens al costo de inferencia y la latencia?

La atención en transformers opera con una complejidad temporal y espacial cuadrática O(N^2) respecto a la longitud de secuencia N. Duplicar la cantidad de tokens cuadruplica los requisitos de memoria de atención y FLOPS, incrementando directamente los costos de facturación de la API.

¿Por qué los textos en idiomas distintos al inglés consumen más tokens?

Los tokenizadores antiguos asignaban más del 70% de las ranuras de fusión al idioma inglés. Alfabetos no latinos como devanagari, kanji japonés o árabe solían recurrir a bytes individuales UTF 8, requiriendo de 2 a 4 tokens por carácter. Vocabularios modernos como o200k asignan una distribución más amplia a otros idiomas.

¿Por qué el espacio en blanco inicial es relevante para los IDs de tokens?

En los tokenizadores BPE, una palabra con un espacio precedente (como " hola") tiene un ID de token completamente diferente a la palabra sin espacio ("hola"). No considerar los espacios iniciales puede provocar discrepancias sutiles de tokenización al componer prompts de múltiples turnos.

Conclusión Arquitectónica Fundamental

La tokenización de subpalabras conecta el lenguaje humano natural con el cómputo neuronal continuo. Al combinar la pre tokenización por expresiones regulares con fusiones Byte Pair Encoding ordenadas por frecuencia, los modelos de lenguaje modernos logran una alta compresión de texto, garantizan cero fallos por vocabulario mediante respaldos a nivel de bytes y optimizan el presupuesto de cómputo de autoatención en pipelines de inferencia.