---
title: Integração com Ferramentas de Operações Externas
slug: integracao-com-ferramentas-de-operacoes-externas
createdAt: 2024-09-02T19:51:21.166Z
---

## Por que Ferramentas de LLMOps São Necessárias

Embora os LLMs (Modelos de Linguagem de Grande Escala) possuam capacidades excepcionais de raciocínio e geração de texto, seu funcionamento interno ainda não é totalmente compreendido, o que apresenta desafios para o desenvolvimento de aplicações baseadas em LLM. Por exemplo:

- Avaliação da qualidade de saída
- Avaliação dos custos de inferência
- Medição da latência de resposta do modelo
- Complexidade de depuração introduzida por chamadas encadeadas, agentes e ferramentas
- Compreensão de intenções complexas dos usuários

Ferramentas como LangSmith e Langfuse, conhecidas como ferramentas de LLMOps, fornecem capacidades de rastreamento abrangente e avaliação profunda para aplicações LLM, oferecendo aos desenvolvedores suporte completo ao ciclo de vida, desde a prototipagem até a produção e operações.

## Fase de Prototipagem

Na fase de prototipagem, as aplicações LLM normalmente envolvem experimentação rápida com testes de prompts, seleção de modelos, estratégias de RAG (Geração Aumentada por Recuperação) e outras combinações de parâmetros. Compreender rapidamente o desempenho da execução do modelo é crucial nesta etapa. A integração com Langfuse permite rastrear cada etapa da execução da aplicação no Paragraph, fornecendo visibilidade clara e informações de depuração, permitindo que os desenvolvedores identifiquem rapidamente problemas e reduzam o tempo de depuração.

## Fase de Testes

Na fase de testes, a coleta de dados continua para melhorar e aprimorar o desempenho. O LangSmith pode adicionar execuções como exemplos ao conjunto de dados, estendendo a cobertura de testes para cenários do mundo real. Esta é uma vantagem chave de ter sistemas de registro e avaliação/teste na mesma plataforma.

## Fase de Produção

No ambiente de produção, as equipes de desenvolvimento precisam monitorar cuidadosamente pontos de dados chave, adicionar conjuntos de dados de referência, realizar anotações manuais e analisar profundamente os resultados operacionais. Especialmente durante o uso em larga escala de aplicações, as equipes de operações e de dados devem monitorar continuamente os custos e o desempenho das aplicações, otimizando tanto o modelo quanto o desempenho da aplicação.

## Integrando o Paragraph com Ferramentas de Operações

Ao usar o Workflow do Paragraph para orquestrar aplicações LLM, geralmente envolve uma série de nós e lógica com alta complexidade.

Integrar o Paragraph com ferramentas de operações externas ajuda a resolver o problema da "caixa preta" frequentemente enfrentado na orquestração de aplicações. Os desenvolvedores podem simplesmente configurar a plataforma para rastrear dados e métricas ao longo do ciclo de vida da aplicação, avaliando facilmente a qualidade, o desempenho e o custo das aplicações LLM criadas no Paragraph.