Integração com LangSmith

o que é langsmith langsmith é uma plataforma para construir aplicações llm em nível de produção ela é usada para desenvolver, colaborar, testar, implantar e monitorar aplicações llm para mais detalhes, consulte langsmith como configurar langsmith 1 registrar/login no langsmith 2 criar um projeto crie um projeto no langsmith após o login, clique em "new project" na página inicial para criar seu próprio projeto o projeto será usado para associar com as aplicações no paragraph para monitoramento de dados depois de criados, você pode visualizar todos os projetos na seção "projetos" 3 criar credenciais do projeto encontre as configurações do projeto em "settings" na barra lateral esquerda clique em "criar chave de api" para gerar as credenciais do projeto selecione "token de acesso pessoal" para a autenticação da api subsequente crie e salve a api key criada 4 integrando langsmith com o paragraph configure o langsmith na aplicação paragraph abra a aplicação que você precisa monitorar, acesse "monitoring" no menu lateral e selecione "tracing app performance" na página após clicar em configurar, cole a chave api e o nome do projeto criados no langsmith na configuração e salve o nome do projeto configurado precisa corresponder ao projeto definido no langsmith se os nomes dos projetos não coincidirem, o langsmith criará automaticamente um novo projeto durante a sincronização de dados depois de salvar com sucesso, você pode visualizar o status de monitoramento na página atual visualizando dados de monitoramento no langsmith uma vez configurado, os dados de depuração ou produção das aplicações dentro do paragraph podem ser monitorados no langsmith depurando aplicações no paragraph quando você alterna para o langsmith, pode visualizar logs detalhados de operação das aplicações do paragraph no painel de controle visualizando dados da aplicação no langsmith logs detalhados de operações de llm através do langsmith ajudarão você a otimizar o desempenho da sua aplicação no paragraph lista de dados de monitoramento informações de rastreamento de workflow/chatflow usado para rastrear workflows e chatflows workflow langsmith chain workflow app log id/workflow run id id user session id colocado em metadata workflow {id} name start time start time end time end time inputs inputs outputs outputs model token consumption usage metadata metadata metadata extra extra error error \[workflow] tags "conversation id/none for workflow" conversation id em metadata conversation id conversation id parent run id parent run id informações de rastreamento de workflow workflow id identificador único do workflow conversation id id da conversa workflow run id id da execução atual tenant id id do tenant elapsed time tempo gasto na execução atual status status da execução version versão do workflow total tokens total de tokens usados na execução atual file list lista de arquivos processados triggered from fonte que acionou a execução atual workflow run inputs dados de entrada da execução atual workflow run outputs dados de saída da execução atual error erros encontrados durante a execução atual query consulta usada durante a execução workflow app log id id do log da aplicação do workflow message id id da mensagem associada start time hora de início da execução end time hora de término da execução workflow node executions informações sobre as execuções dos nós do workflow metadata workflow id identificador único do workflow conversation id id da conversa workflow run id id da execução atual tenant id id do tenant elapsed time tempo gasto na execução atual status status da execução version versão do workflow total tokens total de tokens usados na execução atual file list lista de arquivos processados triggered from fonte que acionou a execução atual informações de rastreamento de mensagens usado para rastrear conversas relacionadas a llm chat langsmith llm message id id user session id colocado em metadata “message {id}" name start time start time end time end time inputs inputs outputs outputs model token consumption usage metadata metadata metadata extra extra error error \["message", conversation mode] tags conversation id conversation id em metadata conversation id conversation id parent run id parent run id informações de rastreamento de mensagens message id id da mensagem message data dados da mensagem user session id id da sessão do usuário conversation model modo de conversação message tokens número de tokens na mensagem answer tokens número de tokens na resposta total tokens total de tokens na mensagem e resposta error informações de erro inputs dados de entrada outputs dados de saída file list lista de arquivos processados start time hora de início end time hora de término message file data dados do arquivo associado à mensagem conversation mode modo de conversação metadata conversation id id da conversa ls provider provedor do modelo ls model name id do modelo status status da mensagem from end user id id do usuário remetente from account id id da conta remetente agent based se a mensagem é baseada em agente workflow run id id da execução do workflow from source fonte da mensagem informações de rastreamento de moderação usado para rastrear moderação de conversas moderação langsmith tool user id colocado em metadata “moderation" name start time start time end time end time inputs inputs outputs outputs metadata extra \[moderation] tags message id parent run id informações de rastreamento de moderação message id id da mensagem user id id do usuário workflow app log id id do log da aplicação do workflow inputs dados de entrada da moderação message data dados da mensagem flagged se o conteúdo foi sinalizado para atenção action ações específicas tomadas preset response resposta predefinida start time hora de início da moderação end time hora de término da moderação metadata message id id da mensagem action ações específicas tomadas preset response resposta predefinida informações de rastreamento de perguntas sugeridas usado para rastrear perguntas sugeridas pergunta sugerida langsmith llm user id colocado em metadata suggested question name start time start time end time end time inputs inputs outputs outputs metadata extra \[suggested question] tags message id parent run id informações de rastreamento de perguntas sugeridas message id id da mensagem message data dados da mensagem inputs conteúdo de entrada outputs conteúdo de saída start time hora de início end time hora de término total tokens número de tokens status status da mensagem