Adaptly
← Todos los laboratorios

Laboratorio 13

Cuantización e inferencia eficiente

Latencia, caudal, coste y calidad

Acceso de lector

Abrir el laboratorio de este capítulo

Los laboratorios son para alumnos con cuenta. Entra o crea tu cuenta para abrirlos.

Tarea del capítulo

Compara FP16, INT8 e INT4/AWQ como opciones de despliegue. Explica el compromiso entre velocidad, memoria y calidad de salida en un caso.

Qué hacer ahora

  1. Elige una restricción de inferencia.
  2. Nombra una pérdida de calidad aceptable.
  3. Define la medición en la que confiarías.

Enviar tu respuesta

Escribe una respuesta corta o notas de trabajo. Se guarda para su revisión.

Siguiente en Adaptly

Convierte esa restricción de despliegue en una ruta guiada de Adaptly.