MLOps: Saving and Loading Microsoft Phi3 Mini 128k in GGUF Format with MLflow

MLOps: Saving and Loading Microsoft Phi3 Mini 128k in GGUF Format with MLflow

Aprende a guardar y cargar el modelo Microsoft Phi3 mini 128k en formato GGUF utilizando MLflow en este tutorial de 17 minutos. Explora cómo cuantizar el modelo a int8, almacenarlo en MLflow y posteriormente cargarlo para realizar inferencias en un entorno diferente. Accede al notebook proporcionado en GitHub para seguir paso a paso el proceso de trabajo con modelos de lenguaje cuantizados en bfloat16. Ideal para profesionales de machine learning y ciencia de datos interesados en optimizar el rendimiento y la portabilidad de modelos de lenguaje.