Balanceamento de Carga

os limites de taxa dos modelos são restrições impostas pelos provedores de modelos sobre o número de vezes que os usuários ou clientes podem acessar serviços de api dentro de um período de tempo especificado esses limites ajudam a prevenir abusos ou usos indevidos da api, garantem acesso justo para todos os usuários e controlam a carga geral na infraestrutura em chamadas de api de modelos em larga escala, de nível empresarial, altas solicitações simultâneas podem exceder os limites de taxa e afetar o acesso dos usuários o balanceamento de carga pode distribuir as solicitações de api entre vários endpoints de api, garantindo que todos os usuários recebam a resposta mais rápida e a maior taxa de invocação de modelo, assegurando, assim, operações comerciais estáveis você pode habilitar esse recurso navegando para fornecedor de modelos lista de modelos configurar balanceamento de carga de modelos e adicionando várias credenciais (chaves de api) para o mesmo modelo balanceamento de carga de modelos o balanceamento de carga de modelos é um recurso pago você pode habilitá lo assinando serviços pagos saas ou adquirindo a edição empresarial a chave de api padrão é a credencial adicionada ao configurar inicialmente o provedor de modelos você precisa clicar em adicionar configuração para adicionar diferentes chaves de api para o mesmo modelo, a fim de usar corretamente o recurso de balanceamento de carga configurando o balanceamento de carga pelo menos uma credencial adicional de modelo deve ser adicionada para salvar e habilitar o balanceamento de carga você também pode desativar temporariamente ou excluir as credenciais configuradas uma vez configurados, todos os modelos com balanceamento de carga habilitado serão exibidos na lista de modelos habilitando o balanceamento de carga por padrão, o balanceamento de carga usa a estratégia round robin se o limite de taxa for atingido, será aplicado um período de espera de 1 minuto você também pode configurar o balanceamento de carga ao adicionar um modelo, seguindo o mesmo processo descrito acima