Motor de Codec Neural Acústico

Tokenizador de Áudio

Explore a tokenização de áudio, frequências de quadros acústicos e quantização vetorial residual (RVQ) multicódigo no OpenAI Whisper, EnCodec e Gemini.

Model:

Token Slices

Audio Tokens 0

Duration 0:00.0

Sample Rate 24.0 kHz

Estimated Cost ~$0.0004

Upload or drag & drop an audio file

MP3, WAV, OGG, FLAC, AAC, or WebM. 100% processed locally in your browser.

speech-sample.wav 24kHz Mono

0:00.0 / 0:04.2

Rate: 50 tokens/s

Model Tokenization Specifications

Architecture: Encoder-Decoder Transformer (128-Mel Bins, 50Hz)

Frame Stride / Hop: 20ms (50 acoustic frames/sec)

Target Sample Rate: 16,000 Hz

Chunking Strategy: 30-second fixed context windows

Acoustic Token Segments

Loading audio tokens…

Numeric Token ID Sequence

Numeric token IDs…

Imersão em Códecs Neurais Acústicos

Tokenização de Áudio e Códecs Neurais

Uma derivação matemática e de processamento de sinais passo a passo de como os modelos modernos de voz e áudio comprimem ondas contínuas de alta dimensão em tokens discretos através de Transformadas de Fourier de Tempo Curto, bancos de filtros Mel e Quantização Vetorial Residual.

Tabela de Referência Rápida de Sinais de Áudio e Tokenização

Configuração de Códecs Acústicos

Amostragem em Bruto

44,100 Hz

Amostras por Segundo

STFT no Whisper

100 Hz

Quadros por Segundo (Salto 10ms)

Quadros EnCodec

75 Hz

Tokens por Segundo por Livro

Canais Mel

80 / 128

Faixas Espectrais de Filtro

Livros RVQ

8 a 32

Quantizadores Residuais

Taxa de Bits Alvo

1.5 a 6 kbps

Fidelidade Sonora Impecável

Superando a Elevada Dimensionalidade de Sinais Sonoros

Onda Acústica: x(t) ∈ ℝ

O formato de áudio com padrão de CD opera a 44,100 amostras escalares por segundo para cada canal, gerando 88,200 valores contínuos a cada segundo decorrido. Encaminhar amostras sonoras brutas diretamente para camadas de autoatenção esgota de pronto a memória de vídeo VRAM pela expansão quadrática O(N^2).

Com a finalidade de tornar arquivos sonoros processáveis em transformadores, os desenvolvedores aplicam duas técnicas basilares:

1. Decomposição Espectral

A STFT projeta formas de onda em espectrogramas log Mel de 80 canais a 100 quadros por segundo.

2. Codificadores Latentes

Redes neurais convolucionais com passos diminuem a frequência amostral de 320 a 640 vezes.

3. Quantização RVQ

Múltiplos livros de códigos atribuem vetores contínuos a índices inteiros em camadas sucessivas.

Princípio da Taxa de Compressão Passo 1

Razão = Taxa_Amostras / Taxa_Tokens

Amostras por Segundo: 24,000 amostras

Tokens por Segundo (EnCodec): 75 tokens

Redução da Sequência: Fator de compressão de 320 vezes

Viabiliza o envio de trechos contínuos de conversação dentro de janelas usuais de 128k tokens.

Fundamentos Matemáticos da Escala Mel e RVQ

RVQ: q_k = argmin ||r_k - c||^2

O canal auditivo humano assimila frequências sonoras de maneira logarítmica percebendo variações pequenas em tons graves com alta precisão e agrupando frequências agudas em faixas perceptivas mais amplas:

1. Projeção na Escala Mel:

A fórmula m = 2595 por log10(1 + f / 700) converte a escala linear de hercios em faixas perceptivas do ouvido humano.

2. Transformada de Fourier de Tempo Curto (STFT):

Transformadas de Fourier aplicadas sequencialmente em janelas móveis convertem sinais contínuos em espectrogramas de tempo e frequência.

3. Quantização Vetorial Residual (RVQ):

Diversos livros de códigos quantizam progressivamente o resíduo de aproximação r_k para reter nuances de timbre e entonação vocal.

Passo Residual RVQ Passo 2

q_1 = argmin_c ||z - c_1||^2

r_1 = z - q_1 → q_2 = argmin_c ||r_1 - c_2||^2

Vetores por Livro: 1,024 entradas (10 bits)

Estágios Típicos K: De 8 a 32 livros de códigos

Fluxo de Bits a 75 Hz: 6 kbps (75 × 8 × 10 bps)

Janelas Temporais e Operação Espectral da STFT

STFT: Janela = 25ms, Passo = 10ms

Em arquiteturas como Whisper e transformadores acústicos as gravações contínuas são processadas com curvas de suavização de Hann para eliminar descontinuidades de borda antes do cálculo espectral:

Duração da Janela (25ms):

Sob uma amostragem de 16 kHz uma janela de 25 milissegundos isola 400 amostras proporcionando resolução conveniente para o trato vocal humano.

Deslocamento de Passo (10ms):

Avançar 10 milissegundos produz 100 quadros espectrais por segundo com 60 por cento de sobreposição entre blocos contíguos.

Fórmula de Quadros Espectrais Passo 3

Quadros = floor((Amostras - N_fft) / Tamanho_Passo) + 1

30 Segundos no Whisper: 480,000 amostras

Estrutura do Espectrograma: 80 canais × 3,000 quadros

Redução pelo Codificador: Comprimido a 1,500 tokens

Comparativo Arquitetural de Códecs Neurais de Áudio

Benchmark de Códecs

Arquitetura do Códec	Amostragem de Entrada	Taxa de Quadros	Livros RVQ	Taxa de Bits Alvo	Uso Predominante
Meta EnCodec	24 kHz / 48 kHz	75 Hz	8 a 32 livros	1.5, 3, 6, 12 kbps	Geração Sonora no AudioCraft
Descript DAC	44.1 kHz	86 Hz	9 livros	8 kbps	Música e Locuções em Alta Fidelidade
Google SoundStream	24 kHz	50 Hz	3 a 8 livros	3 a 6 kbps	Transmissão Vocal em Tempo Real
OpenAI Whisper	16 kHz	100 Hz (STFT)	Nenhum (Mel Contínuo)	80 canais	Reconhecimento e Tradução de Fala

Código de Implementação em Produção: Espectrograma Mel com Torchaudio

Ambiente: Python 3.10+

audio_spectrogram.py torchaudio transforms

import torch
import torchaudio.transforms as T

def generate_whisper_mel_spectrogram(waveform: torch.Tensor, sample_rate: int = 16000):
    mel_transform = T.MelSpectrogram(
        sample_rate=sample_rate,
        n_fft=400,
        win_length=400,
        hop_length=160,
        n_mels=80,
        power=2.0
    )
    mel_spec = mel_transform(waveform)
    log_mel_spec = torch.log(torch.clamp(mel_spec, min=1e-5))
    print(f"Estrutura do Espectrograma Log-Mel: {log_mel_spec.shape}")
    return log_mel_spec

# Simular 3 segundos de áudio a 16 kHz
dummy_audio = torch.randn(1, 16000 * 3)
generate_whisper_mel_spectrogram(dummy_audio)

Perguntas Frequentes de Engenharia Sonora

Áudio Neural

Por que RVQ adota múltiplos livros em vez de um único livro amplo?

Um único livro apto a representar a multiplicidade acústica demandaria 2 elevado a 80 vetores, tornando-se computacionalmente inexequível. Empilhar oito livros de 10 bits obtém idêntica capacidade representativa armazenando unicamente 8,192 vetores.

Qual a diferença entre tokens acústicos e tokens semânticos?

Tokens semânticos (produzidos por HuBERT ou w2v-BERT) registram as palavras pronunciadas descartando o tom da voz. Tokens acústicos (gerados por EnCodec ou DAC) capturam o timbre vocal, as oscilações de pitch e as características acústicas do ambiente.

Por que a taxa de 16 kHz é consagrada em modelos de reconhecimento de fala?

Pelo teorema amostral de Nyquist-Shannon a taxa de 16 kHz contempla frequências sonoras de até 8 kHz. Como as frequências formantes da dicção humana se localizam quase exclusivamente abaixo de 4 kHz, os 16 kHz oferecem nitidez integral economizando processamento agudo supérfluo.

Como os modelos omni geram fala sintetizada em tempo real?

Os modelos omni projetam os índices inteiros dos livros RVQ de maneira autorregressiva. Estes códigos são sintetizados por um vocodificador convolucional leve que reproduz formas de onda em milissegundos nas placas aceleradoras.

Conclusão Arquitetural Chave

A tokenização neural de áudio resolve o desafio da extrema densidade das ondas acústicas por intermédio de codificadores convolucionais e Quantização Vetorial Residual em múltiplos níveis. Ao comprimir 44,100 amostras sonoras por segundo em menos de 100 tokens discretos, os transformadores atuais processam e sintetizam a fala humana com inflexão autêntica e resposta imediata.