Motor de Visión Multimodal

Tokenizador de Imágenes

Visualiza la tokenización de imágenes, desglose de mosaicos de 512x512 de OpenAI y cuadrículas de parches espaciales de Vision Transformer (ViT) con lienzo interactivo y calculadoras de costos.

Model:

Show Grid Show Tile #

Drop your image here or click to browse

PNG, JPEG, WebP, or GIF up to 10MB. Or paste directly from clipboard (Ctrl+V / Cmd+V).

Total Image Tokens

0 ~$0.0000 USD

Base Tokens 85

Tile Tokens 0

Grid & Tile Breakdown

Original Size: -

Scaled Calculation Size: -

Grid Configuration: -

Total Grid Tiles: -

Tile Inspection List

Upload an image to inspect grid tiles…

Inmersión en Visión Artificial

Tokenización de Imágenes y Transformadores de Visión

Una deducción matemática paso a paso de cómo los Vision Transformers y los modelos multimodales de frontera descomponen matrices bidimensionales de píxeles en tokens visuales discretos mediante división en parches espaciales y cuadrículas de mosaicos de alta resolución.

Tabla de Referencia Rápida de Dimensiones y Tensores de Visión

Arquitectura ViT y Visión de OpenAI

Tamaño de Parche ViT

16 × 16 px

Cuadrícula Sin Solapamiento

Base Baja Resolución

85 Tokens

Costo de Visión Global

Dimensión de Mosaico

512 × 512 px

Recorte de Alto Detalle

Costo por Mosaico

170 Tokens

Por Sector de 512px

Secuencia ViT 224

196 Tokens

Matriz de 14 × 14 Parches

Resolución Máxima

2048 × 2048

Límite de Escalamiento

De Píxeles Continuos a Tokens Visuales Discretos

Tensor de Imagen: X ∈ ℝ^{H × W × C}

Los bloques de transformador convencionales exigen secuencias unidimensionales de vectores de entrada. En 2020 el modelo Vision Transformer demostró que las capas clásicas de atención podían modelar correlaciones espaciales bidimensionales dividiendo las imágenes en parches cuadrados contiguos sin solapamiento y procesándolos con la misma naturaleza que los tokens textuales.

1. Partición en Parches

La imagen original se segmenta en una cuadrícula regular de recortes cuadrados de P por P píxeles.

2. Proyección Lineal

Cada parche aplanado se proyecta hacia la dimensión interna del modelo mediante una matriz de pesos.

3. Codificación de Posición

Se suman incrustaciones de coordenadas espaciales para que el transformador comprenda la disposición geométrica.

Conteo de Parches Espaciales Paso 1

N = (H × W) / P^2

Dimensión de Entrada: 224 × 224 píxeles

Tamaño de Parche P: 16 × 16 píxeles

Tokens Visuales Totales: 196 tokens (14 × 14)

Interpretar los parches espaciales como tokens permite a los sistemas visuales aprovechar directamente bloques de transformador preentrenados.

Formulación Matemática de la Proyección de Parches

Ecuación: z_0 = [x_class; x_p E] + E_pos

El procesamiento matemático de píxeles en bruto hacia representaciones vectoriales del transformador abarca el aplanamiento de canales de color, la multiplicación matricial de proyección y la suma de vectores posicionales:

1. Aplanamiento de Parche Espacial:

Cada parche RGB de P por P se desenrolla en un vector plano x_p de longitud (P^2 · C) = (16 × 16 × 3) = 768 valores escalares.

2. Matriz de Proyección Lineal E:

Una matriz de ponderaciones entrenable E proyecta el vector de 768 dimensiones hacia la dimensión oculta del modelo d_model.

3. Vectores de Posición Entrenables:

Las incrustaciones posicionales E_pos se suman a los vectores proyectados para preservar la orientación vertical y horizontal.

Ecuación Tensorial de Proyección Paso 2

z_0 = [x_cls ; x_p^1 E ; ... ; x_p^N E] + E_pos

Dimensión de Parche en Bruto: 16 × 16 × 3 = 768

Matriz de Proyección E: 768 × 768 parámetros

Longitud de Secuencia: 196 + 1 (cls) = 197

Mecánica de Mosaicos de Alta Resolución de OpenAI

Cálculo: 85 + (Mosaicos × 170)

Los modelos comerciales contemporáneos como GPT 4o no reducen fotografías de alta definición a miniaturas borrosas. En su lugar segmentan dinámicamente las imágenes en cuadrículas de mosaicos de 512 por 512 píxeles:

1. Ajuste al Recuadro Límite:

Las imágenes se escalan para encajar en un recuadro de 2048 por 2048 píxeles y posteriormente su lado más corto se ajusta a 768 píxeles conservando la proporción original.

2. Cuadrícula de Mosaicos de Detalle:

La imagen se divide en ceil(Ancho/512) por ceil(Alto/512) sectores. Cada sector demanda 170 tokens sumados a una vista general básica de 85 tokens.

Fórmula de Presupuesto por Mosaicos Paso 3

Tokens Totales = (Mosaicos × 170) + 85

Imagen de 1024 × 1024: 2 × 2 = 4 mosaicos (765 tokens)

Imagen de 1920 × 1080: 4 × 2 = 8 mosaicos (1,445 tokens)

Modalidad de Bajo Detalle: Costo fijo de 85 tokens

Comparativa de Tokenizadores de Visión en Modelos Comerciales

Prueba Visual

Arquitectura del Modelo	Tamaño de Parche Base	Lógica de Mosaicos de Alta Definición	Costo en Tokens (1080p)	Preservación de Proporciones	Tipo de Arquitectura
GPT 4o	ViT Dinámico	Cuadrícula 512 × 512 (170 por mosaico + 85)	1,105 tokens	Exacta (Sin distorsión)	Transformador Omni Nativo
Claude 3.5 Sonnet	14 × 14 px	Mosaicos dinámicos con anclaje (máximo 1,600 tokens)	1,600 tokens	Excelente (Recorte adaptativo)	Estructura Unificada Texto Visión
Gemini 1.5 Flash	Parche Espacial	Costo uniforme de 258 tokens por recorte	258 tokens	Ajuste con barras de relleno	Mezcla de Expertos Multimodal Nativa
ViT Base Estándar	16 × 16 px	Recorte fijo único de 224x224 (196 tokens)	196 tokens	Deficiente (Reducción forzada)	Codificador Exclusivo de Visión

Código de Implementación en Producción: Calculadora de Tokens de Visión

Entorno: Python 3.10+

calculate_vision_tokens.py pillow y math

import math
from PIL import Image

def calculate_openai_image_tokens(width: int, height: int, detail: str = "high") -> int:
    if detail == "low":
        return 85
        
    # Paso 1: Escalar para contener dentro de 2048x2048
    if width > 2048 or height > 2048:
        scale = 2048 / max(width, height)
        width = int(width * scale)
        height = int(height * scale)
        
    # Paso 2: Escalar lado más corto a 768px
    shortest = min(width, height)
    scale = 768 / shortest
    width = int(width * scale)
    height = int(height * scale)
    
    # Paso 3: Contabilizar mosaicos de 512x512
    tiles_w = math.ceil(width / 512)
    tiles_h = math.ceil(height / 512)
    total_tiles = tiles_w * tiles_h
    
    # Paso 4: Calcular presupuesto final de tokens
    total_tokens = (total_tiles * 170) + 85
    print(f"Mosaicos: {tiles_w}x{tiles_h} = {total_tiles} | Tokens Totales: {total_tokens}")
    return total_tokens

calculate_openai_image_tokens(1920, 1080, "high")

Preguntas Frecuentes de Ingeniería de Visión

Procesamiento de Visión

¿Cuándo conviene elegir el modo de bajo detalle frente al de alto detalle?

El modo de bajo detalle con un costo fijo de 85 tokens resulta ideal para catalogación general de escenas, detección de gamas cromáticas y clasificación de objetos voluminosos. El modo de alto detalle es estrictamente indispensable cuando se requiere extraer texto de contratos, examinar diagramas técnicos o identificar alteraciones visuales diminutas.

¿Por qué la resolución geométrica eleva tanto la factura en tokens?

Las capturas fotográficas amplias demandan múltiples sectores de 512 por 512 píxeles para retener la definición original. Una imagen en calidad 4K puede requerir hasta 12 mosaicos totalizando más de 2,100 tokens, lo que aumenta la latencia de inferencia y el consumo de saldo de la API.

¿Cómo determina el modelo la localización espacial exacta de cada parche?

Los transformadores de visión añaden vectores de posición bidimensionales aprendidos o esquemas de codificación posicional rotatoria RoPE a cada vector proyectado, dotando a las capas de autoatención de información explícita sobre coordenadas cartesianas verticales y horizontales.

¿Genera ahorros económicos recortar una imagen antes de remitirla a la API?

Absolutamente. Suprimir bordes superfluos, áreas en blanco o fondos neutros disminuye directamente el número de mosaicos requeridos de 512 por 512 píxeles, logrando un ahorro de 170 tokens por cada mosaico prescindible.

Conclusión Arquitectónica Clave

Los Vision Transformers convierten imágenes bidimensionales en secuencias discretas proyectando parches espaciales contiguos hacia espacios vectoriales de alta dimensión. Los mecanismos modernos de cuadrícula dinámica preservan detalles tipográficos y esquemas gráficos finos sin provocar distorsiones agresivas en la escala de aspecto original.