Tokenizador de Modelo Único
Tokenizador de Texto
Explore a codificação Byte-Pair Encoding (BPE), segmentação de tokens, proporção de caracteres por token e mapeamento de bytes brutos na OpenAI, Llama, Qwen e DeepSeek.
Resposta direta: O que é o Tokenizador de Texto?
O Tokenizador de Texto é uma ferramenta interativa para desenvolvedores que analisa a tokenização de prompts em tempo real. Inspecione IDs de tokens, limites com cores alternadas, compressão de caracteres e bytes UTF-8 nos principais modelos de linguagem.
Loading tokenizer…
Tokens 0
Characters 0
Words 0
Bytes (UTF-8) 0
Input Prompt
Token Segments
Token segments will appear here as you type…
Token ID Sequence
Numeric token IDs…
Developer Actions & Share
Characters 0
Words 0
Bytes (UTF-8) 0
Compare Prompt Input
Comparison Summary: