Ferramenta de Moderação

em nossas interações com aplicações de ia, muitas vezes temos exigências rigorosas em termos de segurança de conteúdo, experiência do usuário e regulamentações legais neste ponto, precisamos da funcionalidade "revisão de palavras sensíveis" para criar um ambiente de interação melhor para os usuários finais na página de orquestração, clique em "adicionar funcionalidade" e localize a caixa de ferramentas "revisão de conteúdo" na parte inferior chamar a api de moderação da openai a openai, junto com a maioria das empresas que fornecem llms, inclui funcionalidades de moderação de conteúdo em seus modelos para garantir que as respostas não contenham conteúdo controverso, como violência, conteúdo sexual e atividades ilegais além disso, a openai disponibilizou essa capacidade de moderação de conteúdo, que você pode consultar em moderação da openai agora você também pode chamar diretamente a api de moderação da openai no paragraph ; você pode revisar o conteúdo de entrada ou saída simplesmente inserindo a "resposta predefinida" correspondente palavras chave os desenvolvedores podem personalizar as palavras sensíveis que precisam ser revisadas, como usar "matar" como palavra chave para realizar uma ação de auditoria quando os usuários inserirem essa palavra o conteúdo da resposta predefinida deve ser "o conteúdo está violando as políticas de uso " pode se prever que, quando um usuário inserir um trecho de texto contendo "matar" no terminal, ele acionará a ferramenta de revisão de palavras sensíveis e retornará o conteúdo da resposta predefinida extensão de moderação diferentes empresas muitas vezes têm seus próprios mecanismos de moderação de palavras sensíveis ao desenvolver suas próprias aplicações de ia, como um chatbot de base de conhecimento interna, as empresas precisam moderar o conteúdo das consultas inseridas por funcionários em busca de palavras sensíveis para esse propósito, os desenvolvedores podem escrever uma extensão de api com base nos mecanismos internos de moderação de palavras sensíveis de sua empresa, que pode ser chamada no paragraph para alcançar um alto grau de personalização e proteção de privacidade para a revisão de palavras sensíveis