MLOps with MLFlow: Comparing Microsoft Phi3 Mini 128k in GGUF, MLFlow, and ONNX Formats

MLOps with MLFlow: Comparing Microsoft Phi3 Mini 128k in GGUF, MLFlow, and ONNX Formats

Explora el Modelo Phi3 Mini 128k de Microsoft en diversos formatos y compara su rendimiento en tiempo y precisión. Trabaja con notebooks que cubren la cuantización MLFlow bfloat16, el formato GGUF cuantizado float16 con Llama.cpp, ONNX CPU cuantizado int4, y ONNX GPU DirectML cuantizado int4. Analiza las diferencias de implementación y rendimiento entre estas variantes del modelo en un contexto de aprendizaje automático y ciencia de datos.