O curso LLMOps, Avaliação e Observabilidade de Sistemas de IA Generativa apresenta os fundamentos, as práticas e as ferramentas necessárias para desenvolver, avaliar, monitorar e operar aplicações baseadas em Large Language Models (LLMs) de forma segura, confiável e escalável.

Ao longo do curso, você compreenderá a evolução do MLOps para o LLMOps e as mudanças trazidas pelos sistemas de IA Generativa. Serão explorados o ciclo de vida de aplicações com LLMs, arquiteturas RAG e Agentes de IA, além dos princípios da Engenharia de Avaliação aplicados à construção de soluções inteligentes.

Você aprenderá a definir estratégias de teste e avaliação, construir e realizar a curadoria de Evaluation Datasets e Golden Datasets e implementar processos de Engenharia de Qualidade em sistemas RAG. O curso também aborda a avaliação independente dos componentes de Retrieval e Generation, utilizando métricas como Context Precision, Context Recall e Context Relevance para identificar falhas e melhorar continuamente a qualidade das respostas.

Na área de observabilidade, você conhecerá as diferenças entre a observabilidade tradicional e a observabilidade de sistemas de IA Generativa, aplicando Distributed Tracing a soluções com LLMs, RAG e Agentes de IA. Também serão estudados métodos específicos para avaliar a confiabilidade de agentes, considerando que aplicações agênticas executam sequências de decisões, utilizam ferramentas e interagem com diferentes fontes de dados.

O conteúdo inclui ainda Continuous Evaluation, Regression Testing, integração com pipelines de CI/CD e Evaluation Driven Development, incorporando a avaliação ao ciclo de desenvolvimento de software desde as primeiras etapas do projeto.

Por fim, você aprenderá a estruturar uma arquitetura completa de LLMOps para ambientes de produção, contemplando segurança, FinOps, Engenharia de Confiabilidade, Online Evaluation, amostragem e monitoramento contínuo da qualidade. Ao concluir o curso, você estará preparado para transformar protótipos de IA Generativa em sistemas robustos, mensuráveis, observáveis e prontos para operar em produção.