Motor de Códec Neuronal Acústico

Tokenizador de Audio

Explora la tokenización de audio, frecuencias de tramas acústicas y cuantización vectorial residual (RVQ) multi-código en OpenAI Whisper, EnCodec y Gemini.

Model:

Token Slices

Audio Tokens 0

Duration 0:00.0

Sample Rate 24.0 kHz

Estimated Cost ~$0.0004

Upload or drag & drop an audio file

MP3, WAV, OGG, FLAC, AAC, or WebM. 100% processed locally in your browser.

speech-sample.wav 24kHz Mono

0:00.0 / 0:04.2

Rate: 50 tokens/s

Model Tokenization Specifications

Architecture: Encoder-Decoder Transformer (128-Mel Bins, 50Hz)

Frame Stride / Hop: 20ms (50 acoustic frames/sec)

Target Sample Rate: 16,000 Hz

Chunking Strategy: 30-second fixed context windows

Acoustic Token Segments

Loading audio tokens…

Numeric Token ID Sequence

Numeric token IDs…

Inmersión en Códecs Neuronales Acústicos

Tokenización de Audio y Códecs Neuronales

Una derivación matemática y de procesamiento de señales paso a paso de cómo los modelos contemporáneos de voz y música comprimen formas de onda continuas de alta dimensión en tokens discretos mediante Transformadas de Fourier de Tiempo Corto, bancos de filtros Mel y Cuantificación Vectorial Residual.

Tabla de Referencia Rápida de Señales de Audio y Tokenización

Configuración de Códecs Acústicos

Muestreo en Bruto

44,100 Hz

Muestras Continuas por Segundo

STFT en Whisper

100 Hz

Cuadros por Segundo (Salto 10ms)

Cuadros EnCodec

75 Hz

Tokens por Segundo por Libro

Canales Mel

80 / 128

Bandas de Frecuencia de Filtro

Libros RVQ

8 a 32

Cuantificadores Residuales

Tasa de Bits Objetivo

1.5 a 6 kbps

Fidelidad Acústica Superior

Superación de la Alta Dimensionalidad en Señales Acústicas

Forma de Onda: x(t) ∈ ℝ

El audio con estándar de disco compacto registra 44,100 muestras escalares por segundo en cada canal, totalizando 88,200 valores continuos cada segundo. Suministrar muestras directas sin procesar a capas de autoatención agota de inmediato la memoria de las tarjetas gráficas por el escalamiento cuadrático O(N^2).

Para volver computables los datos sonoros dentro de modelos de lenguaje, los ingenieros recurren a dos tácticas arquitectónicas fundamentales:

1. Características Espectrales

La STFT convierte ondas temporales en espectrogramas log Mel de 80 canales a 100 cuadros por segundo.

2. Codificadores Latentes

Redes convolucionales unidimensionales con pasos reducen la frecuencia de muestreo entre 320 y 640 veces.

3. Cuantificación RVQ

La cuantificación vectorial en cascada asigna vectores continuos a índices discretos de libros de códigos.

Factor de Compresión Paso 1

Razón = Tasa_Muestras / Tasa_Tokens

Muestras por Segundo: 24,000 muestras

Tokens por Segundo (EnCodec): 75 tokens

Factor de Compresión: Reducción de 320 veces en secuencia

Permite ingresar minutos completos de conversación en una ventana de contexto habitual de 128k tokens.

Fundamentos Matemáticos de la Escala Mel y RVQ

RVQ: q_k = argmin ||r_k - c||^2

El sistema auditivo humano percibe el tono sonoro de forma logarítmica diferenciando variaciones sutiles en frecuencias graves con gran resolución mientras agrupa las frecuencias agudas en bandas perceptivas más amplias:

1. Transformación a la Escala Mel:

La relación m = 2595 por log10(1 + f / 700) adapta frecuencias lineales de hercios a bandas perceptivas del oído humano.

2. Transformada de Fourier de Tiempo Corto (STFT):

Transformadas de Fourier aplicadas en ventanas móviles convierten formas de onda continuas en espectrogramas de tiempo y frecuencia.

3. Cuantificación Vectorial Residual (RVQ):

Múltiples libros de códigos cuantifican progresivamente el residuo de aproximación r_k para retener modulaciones y tono con pocos tokens.

Iteración Residual RVQ Paso 2

q_1 = argmin_c ||z - c_1||^2

r_1 = z - q_1 → q_2 = argmin_c ||r_1 - c_2||^2

Entradas de Libro: 1,024 vectores (10 bits)

Etapas Habituales K: De 8 a 32 libros de códigos

Tasa de Bits a 75 Hz: 6 kbps (75 × 8 × 10 bps)

Ventaneo Temporal y Mecánica Operativa de STFT

STFT: Ventana = 25ms, Salto = 10ms

En plataformas como Whisper y transformadores de voz las grabaciones sonoras continuas se procesan con funciones de ventaneo de Hann para evitar fugas de borde antes de calcular las transformadas espectrales:

Longitud de Ventana (25ms):

Con un muestreo de 16 kHz una ventana de 25 milisegundos aísla 400 muestras de audio ofreciendo resolución idónea para el tracto vocal humano.

Intervalo de Salto (10ms):

Desplazarse 10 milisegundos genera 100 cuadros espectrales por segundo con un 60 por ciento de superposición entre intervalos vecinos.

Regla de Dimensionamiento Espectral Paso 3

Cuadros = floor((Muestras - N_fft) / Longitud_Salto) + 1

30 Segundos en Whisper: 480,000 muestras en bruto

Forma del Espectrograma: 80 canales × 3,000 cuadros

Reducción por Codificador: Comprimido a 1,500 tokens

Comparativa Arquitectónica de Códecs Neuronales de Audio

Prueba de Códecs

Arquitectura del Códec	Muestreo de Entrada	Tasa de Cuadros	Libros RVQ	Tasa de Bits Objetivo	Aplicación Principal
Meta EnCodec	24 kHz / 48 kHz	75 Hz	8 a 32 libros	1.5, 3, 6, 12 kbps	Generación de Voz y Música en AudioCraft
Descript DAC	44.1 kHz	86 Hz	9 libros	8 kbps	Música y Locuciones de Alta Fidelidad
Google SoundStream	24 kHz	50 Hz	3 a 8 libros	3 a 6 kbps	Comunicaciones de Voz en Tiempo Real
OpenAI Whisper	16 kHz	100 Hz (STFT)	Ninguno (Mel Continuo)	80 canales	Reconocimiento y Traducción de Voz

Código de Implementación en Producción: Espectrograma Mel con Torchaudio

Entorno: Python 3.10+

audio_spectrogram.py torchaudio transforms

import torch
import torchaudio.transforms as T

def generate_whisper_mel_spectrogram(waveform: torch.Tensor, sample_rate: int = 16000):
    mel_transform = T.MelSpectrogram(
        sample_rate=sample_rate,
        n_fft=400,
        win_length=400,
        hop_length=160,
        n_mels=80,
        power=2.0
    )
    mel_spec = mel_transform(waveform)
    log_mel_spec = torch.log(torch.clamp(mel_spec, min=1e-5))
    print(f"Dimensiones del Espectrograma Log-Mel: {log_mel_spec.shape}")
    return log_mel_spec

# Sintetizar 3 segundos de audio simulado a 16 kHz
dummy_audio = torch.randn(1, 16000 * 3)
generate_whisper_mel_spectrogram(dummy_audio)

Preguntas Frecuentes de Ingeniería de Audio

Audio Neuronal

¿Por qué RVQ utiliza múltiples libros de códigos en lugar de un único libro gigante?

Un solo libro de códigos apto para abarcar la variedad acústica requeriría 2 elevado a 80 vectores, lo que resulta computacionalmente inviable. Apilar ocho libros de 10 bits alcanza exactamente la misma riqueza con tan solo 8,192 vectores almacenados.

¿Cuál es la diferencia entre tokens de audio semánticos y acústicos?

Los tokens semánticos (generados por HuBERT o w2v-BERT) registran el significado léxico descartando entonación y ruidos. Los tokens acústicos (derivados de EnCodec o DAC) retienen el timbre, la prosodia emocional y las características reverberantes del entorno.

¿Por qué se emplea preferentemente un muestreo a 16 kHz para reconocimiento vocal?

Por el teorema de Nyquist-Shannon un muestreo a 16 kHz abarca frecuencias hasta 8 kHz. Dado que las frecuencias formantes del habla inteligible se concentran por debajo de 4 kHz, los 16 kHz garantizan nitidez fonética suprimiendo cálculos agudos innecesarios.

¿Cómo sintetizan audio en tiempo real los modelos omni de frontera?

Los modelos omni estiman de forma autorregresiva los índices de los libros RVQ. Dichos códigos enteros se procesan con un sintetizador neuronal convolucional liviano que genera formas de onda continuas en pocos milisegundos en tarjetas gráficas convencionales.

Conclusión Arquitectónica Clave

La tokenización neuronal de audio solventa la extrema densidad de datos sonoros mediante codificadores convolucionales y Cuantificación Vectorial Residual estratificada. Al reducir 44,100 muestras continuas por segundo a menos de 100 tokens discretos, los transformadores actuales interpretan y generan el habla humana con inflexión natural y mínima latencia.