Integração com LangSmith
O que é LangSmith
LangSmith é uma plataforma para construir aplicações LLM em nível de produção. Ela é usada para desenvolver, colaborar, testar, implantar e monitorar aplicações LLM.
Para mais detalhes, consulte LangSmith.
Como Configurar LangSmith
1.Registrar/Login no LangSmith
2.Criar um Projeto Crie um projeto no LangSmith. Após o login, clique em "New Project" na página inicial para criar seu próprio projeto. O projeto será usado para associar com as aplicações no Paragraph para monitoramento de dados.
Depois de criados, você pode visualizar todos os projetos na seção "Projetos".
3.Criar Credenciais do Projeto Encontre as configurações do projeto em "Settings" na barra lateral esquerda.
Clique em "Criar Chave de API" para gerar as credenciais do projeto.
Selecione "Token de Acesso Pessoal" para a autenticação da API subsequente.
Crie e salve a API Key criada.
4.Integrando LangSmith com o Paragraph Configure o LangSmith na aplicação Paragraph. Abra a aplicação que você precisa monitorar, acesse "Monitoring" no menu lateral e selecione "Tracing app performance" na página.
Após clicar em configurar, cole a chave API e o nome do projeto criados no LangSmith na configuração e salve.
O nome do projeto configurado precisa corresponder ao projeto definido no LangSmith. Se os nomes dos projetos não coincidirem, o LangSmith criará automaticamente um novo projeto durante a sincronização de dados.
Depois de salvar com sucesso, você pode visualizar o status de monitoramento na página atual.
Visualizando Dados de Monitoramento no LangSmith
Uma vez configurado, os dados de depuração ou produção das aplicações dentro do Paragraph podem ser monitorados no LangSmith.
Quando você alterna para o LangSmith, pode visualizar logs detalhados de operação das aplicações do Paragraph no painel de controle.
Logs detalhados de operações de LLM através do LangSmith ajudarão você a otimizar o desempenho da sua aplicação no Paragraph.
Lista de Dados de Monitoramento
Informações de Rastreamento de Workflow/Chatflow Usado para rastrear workflows e chatflows
Workflow | LangSmith Chain |
|---|---|
workflow_app_log_id/workflow_run_id | id |
user_session_id | - colocado em metadata |
workflow_{id} | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
Model token consumption | usage_metadata |
metadata | metadata |
extra | extra |
error | error |
[workflow] | tags |
"conversation_id/none for workflow" | conversation_id em metadata |
conversation_id | conversation_id |
parent_run_id | parent_run_id |
Informações de Rastreamento de Workflow
- workflow_id: Identificador único do workflow
- conversation_id: ID da conversa
- workflow_run_id: ID da execução atual
- tenant_id: ID do tenant
- elapsed_time: Tempo gasto na execução atual
- status: Status da execução
- version: Versão do workflow
- total_tokens: Total de tokens usados na execução atual
- file_list: Lista de arquivos processados
- triggered_from: Fonte que acionou a execução atual
- workflow_run_inputs: Dados de entrada da execução atual
- workflow_run_outputs: Dados de saída da execução atual
- error: Erros encontrados durante a execução atual
- query: Consulta usada durante a execução
- workflow_app_log_id: ID do log da aplicação do workflow
- message_id: ID da mensagem associada
- start_time: Hora de início da execução
- end_time: Hora de término da execução
- workflow node executions: Informações sobre as execuções dos nós do workflow
Metadata
- workflow_id: Identificador único do workflow
- conversation_id: ID da conversa
- workflow_run_id: ID da execução atual
- tenant_id: ID do tenant
- elapsed_time: Tempo gasto na execução atual
- status: Status da execução
- version: Versão do workflow
- total_tokens: Total de tokens usados na execução atual
- file_list: Lista de arquivos processados
- triggered_from: Fonte que acionou a execução atual
Informações de Rastreamento de Mensagens
Usado para rastrear conversas relacionadas a LLM
Chat | LangSmith LLM |
|---|---|
message_id | id |
user_session_id | - colocado em metadata |
“message_{id}" | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
Model token consumption | usage_metadata |
metadata | metadata |
extra | extra |
error | error |
["message", conversation_mode] | tags |
conversation_id | conversation_id em metadata |
conversation_id | conversation_id |
parent_run_id | parent_run_id |
Informações de Rastreamento de Mensagens
- message_id: ID da Mensagem
- message_data: Dados da mensagem
- user_session_id: ID da sessão do usuário
- conversation_model: Modo de conversação
- message_tokens: Número de tokens na mensagem
- answer_tokens: Número de tokens na resposta
- total_tokens: Total de tokens na mensagem e resposta
- error: Informações de erro
- inputs: Dados de entrada
- outputs: Dados de saída
- file_list: Lista de arquivos processados
- start_time: Hora de início
- end_time: Hora de término
- message_file_data: Dados do arquivo associado à mensagem
- conversation_mode: Modo de conversação
Metadata
- conversation_id: ID da conversa
- ls_provider: Provedor do modelo
- ls_model_name: ID do modelo
- status: Status da mensagem
- from_end_user_id: ID do usuário remetente
- from_account_id: ID da conta remetente
- agent_based: Se a mensagem é baseada em agente
- workflow_run_id: ID da execução do workflow
- from_source: Fonte da mensagem
Informações de Rastreamento de Moderação
Usado para rastrear moderação de conversas
Moderação | LangSmith Tool |
|---|---|
user_id | - colocado em metadata |
“moderation" | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[moderation] | tags |
message_id | parent_run_id |
Informações de Rastreamento de Moderação
- message_id: ID da Mensagem
- user_id: ID do Usuário
- workflow_app_log_id: ID do log da aplicação do workflow
- inputs: Dados de entrada da moderação
- message_data: Dados da mensagem
- flagged: Se o conteúdo foi sinalizado para atenção
- action: Ações específicas tomadas
- preset_response: Resposta predefinida
- start_time: Hora de início da moderação
- end_time: Hora de término da moderação
Metadata
- message_id: ID da Mensagem
- action: Ações específicas tomadas
- preset_response: Resposta predefinida
Informações de Rastreamento de Perguntas Sugeridas
Usado para rastrear perguntas sugeridas
Pergunta Sugerida | LangSmith LLM |
|---|---|
user_id | - colocado em metadata |
suggested_question | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[suggested_question] | tags |
message_id | parent_run_id |
Informações de Rastreamento de Perguntas Sugeridas
- message_id: ID da Mensagem
- message_data: Dados da mensagem
- inputs: Conteúdo de entrada
- outputs: Conteúdo de saída
- start_time: Hora de início
- end_time: Hora de término
- total_tokens: Número de tokens
- status: Status da mensagem