LLMOps: Acelerar Inferencia en GPU de LLMs usando TensorRT-LLM

LLMOps: Acelerar Inferencia en GPU de LLMs usando TensorRT-LLM

Descubre cómo acelerar la generación de modelos de lenguaje de gran escala (LLMs) utilizando el runtime TensorRT-LLM en este video informativo de 16 minutos. Explora las técnicas de optimización para mejorar el rendimiento de inferencia en GPUs, con un enfoque práctico que incluye un notebook de Jupyter para implementar los conceptos aprendidos. Aprende sobre LLMOps y cómo aplicar estas estrategias de aceleración en tus proyectos de ciencia de datos y aprendizaje automático.