Evaluating LLMs and RAG Pipelines at Scale
Explore techniques for evaluating Large Language Models and RAG pipelines in production, focusing on Valor, an open-source evaluation service for rigorous real-world testing.
Deploying GenAI Applications to Enterprises: Custom Evaluation Models and LLMOps Workflow - MLOps World
Explore challenges and solutions in deploying conversational AI to enterprises, focusing on accuracy optimization, LLMOps workflows, and infrastructure requirements for scalable implementation.
LLMOPS: Training a Small LLM (GPT-2) - Machine Learning and Data Science
Explore training a small LLM (GPT2) locally, understanding challenges and limitations of LLM development for individuals and small teams.
LLMOPS: Entrenamiento de un LLM nanoGPT (GPT2) en Español
Aprende a entrenar un LLM nanoGPT en español desde cero, crear datasets personalizados y realizar inferencias localmente utilizando un modelo GPT2 base.
LLMOps with Langchain, OpenAI, and Databricks - Creating a Retrieval QA Chain
Crea un chain Retrieval QA con Langchain, Faiss y OpenAI. Aprende a salvar componentes en MLFLOW Databricks y realizar inferencias usando la chain creada.
ML and MLOps with Databricks: LLMOps, MLFlow, OpenAI, and Databricks - Spanish
Aprende a utilizar OpenAI GPT-4 como revisor de código, encapsulándolo en un modelo Python de MLflow para implementarlo en una pipeline de Databricks.
ML and MLOps with Databricks: LLMOps, MLFlow, Transformers, and Databricks - Spanish
Aprende LLMOps con MLFlow y Databricks: implementa y gestiona modelos de lenguaje a gran escala utilizando herramientas de vanguardia en español.
LLMOps: Optimización de Memoria y Computación en LLMs
Explora técnicas avanzadas de optimización para LLMs: FlashAttention, GQA, DDP y FSDP. Mejora la eficiencia en capas de atención y entrenamiento.
LLMOps: Prompt Tuning for Dialog Summarization with Flan-T5 in Spanish
Aprende a personalizar y evaluar modelos Flan-T5 para resumen de documentos mediante prompt tuning, con enfoque práctico en español.
LLMOps: Personalizar ViT Classifier con tu Propia Data y Docker Inference
Personaliza un Vision Transformer con tu dataset, crea un docker y un punto de inferencia con FastAPI para clasificación de imágenes.
LLMOps: Converting Video Classifier (ViViT) to ONNX for CPU Inference
Convierte un Video Vision Transformer a formato ONNX y realiza inferencia en CPU, optimizando el rendimiento del modelo de clasificación de videos.
LLMOps: Como usar Nvidia TensorRT SDK para Inferencia en GPU
Optimiza la inferencia en GPU con Nvidia TensorRT SDK, convirtiendo modelos y comparando tiempos de ejecución en diferentes precisiones de datos.
LLMOps: Comparación de Openvino, ONNX, TensorRT y Pytorch para Inferencia
Compara el rendimiento de inferencia de modelos convertidos a ONNX, OpenVino y TensorRT frente a PyTorch nativo en GPU y CPU.
Inferencia en CPU con Microsoft Florence 2 ONNX en C# - LLMOPs
Aprende a realizar inferencia en CPU con el modelo Florence 2 Large en formato ONNX utilizando C#. Explora técnicas avanzadas de machine learning y ciencia de datos.
LLMOPs: Inferencia en CPU con Phi3 Vision 128k Instruct - ONNX 4bits en C#
Aprende a realizar inferencia en CPU con Phi 3 Vision 128K Instruct, utilizando modelos ONNX de 4 bits y C# para prompts multimodales eficientes.
LLMOPs - Inferencia en CPU con Phi3 4k Instruct ONNX 4bits en C#
Aprende a realizar inferencia en CPU con Phi 3 4K Instruct cuantizado a 4 bits en ONNX usando C#, optimizando el rendimiento de modelos de lenguaje.
LLMOps: Inferencia de Clasificador ViT Fine-Tuned en CPU con C#
Aprende a realizar inferencia en C# con un Vision Transformer personalizado en formato ONNX utilizando CPU para clasificación de imágenes.
LLMOps: Converting Fine-Tuned ViT Classifier to ONNX for CPU Inference
Convierte un Vision Transformer personalizado a ONNX y realiza inferencia en CPU, optimizando el rendimiento del modelo de clasificación de imágenes.
LLMOps: LLMs Memory and Compute Optimizations
Explore FlashAttention, GQA, FSDP, and DDP techniques to enhance LLM efficiency, training, and fine-tuning in self-attention layers.
LLMOps: Quantization Models and Inference with ONNX Generative Runtime
Explore ONNX runtime GPU support for inference with generative models, including Phi3-mini quantization and conversion techniques.
Teaching Vector Databases at Scale
Discover how vector databases are being integrated into university curricula and online learning platforms, with insights on implementing RAG patterns and scaling database education.