Logs e Anotações
Por favor, certifique-se de que sua aplicação esteja em conformidade com as regulamentações locais ao coletar dados de usuários. A prática comum é publicar uma política de privacidade e obter o consentimento dos usuários.
A funcionalidade de Logs foi projetada para observar e anotar o desempenho das aplicações do Paragraph. O Paragraph registra logs de todas as interações com a aplicação, seja através do WebApp ou da API. Se você é um engenheiro de Prompt ou operador de LLM, isso fornecerá uma experiência visual das operações da aplicação LLM.
Usando o Console de Logs
Você pode encontrar os Logs na navegação à esquerda da aplicação. Esta página geralmente exibe:
- Registros de interação entre usuários e a IA dentro do período selecionado
- Os resultados da entrada do usuário e da saída da IA, que para aplicações de conversação são geralmente uma série de fluxos de mensagens
- Classificações de usuários e operadores, bem como anotações de melhoria feitas por operadores
Os logs atualmente não incluem registros de interação do processo de depuração de Prompts.
Anotações de Melhoria
Essas anotações serão usadas para o ajuste fino do modelo em versões futuras do Paragraph para melhorar a precisão do modelo e o estilo de resposta. A versão de pré-visualização atual suporta apenas anotações.
Clicar em uma entrada de log abrirá o painel de detalhes do log no lado direito da interface. Neste painel, os operadores podem anotar uma interação:
- Dar um "joinha" para mensagens que tiveram bom desempenho
- Dar um "não gostei" para mensagens que tiveram desempenho ruim
- Marcar respostas para melhoria, representando o texto que você espera que a IA responda
Por favor, note que, se múltiplos administradores da equipe anotarem a mesma entrada de log, a última anotação sobrescreverá as anteriores.