Tokenizador de Modelo Único
Tokenizador de Texto
Explora la codificación Byte-Pair Encoding (BPE), segmentación de tokens, relación de caracteres por token y mapeo de bytes sin procesar en OpenAI, Llama, Qwen y DeepSeek.
Respuesta directa: ¿Qué es el Tokenizador de Texto?
El Tokenizador de Texto es una herramienta interactiva para desarrolladores que analiza la tokenización de prompts en tiempo real. Inspecciona IDs de tokens, límites con colores alternos, compresión de caracteres y bytes UTF-8 en los principales modelos de lenguaje.
Loading tokenizer…
Tokens 0
Characters 0
Words 0
Bytes (UTF-8) 0
Input Prompt
Token Segments
Token segments will appear here as you type…
Token ID Sequence
Numeric token IDs…
Developer Actions & Share
Characters 0
Words 0
Bytes (UTF-8) 0
Compare Prompt Input
Comparison Summary: