1.
O servidor envia uma solicitação sampling/createMessage
para o cliente
2.
O cliente revisa a solicitação e pode modificá-la
3.
O cliente faz o sampling de um LLM
4.
O cliente revisa a conclusão
5.
O cliente retorna o resultado para o servidor
temperature
: Controla a aleatoriedade (0.0 a 1.0)
maxTokens
: Número máximo de tokens a serem gerados
stopSequences
: Array de sequências que interrompem a geração
metadata
: Parâmetros adicionais específicos do provedor
{
"method": "sampling/createMessage",
"params": {
"messages": [
{
"role": "user",
"content": {
"type": "text",
"text": "What files are in the current directory?"
}
}
],
"systemPrompt": "You are a helpful file system assistant.",
"includeContext": "thisServer",
"maxTokens": 100
}
}
1.
Sempre forneça prompts claros e bem estruturados
2.
Lide com o conteúdo de texto e imagem adequadamente
3.
Defina limites de token razoáveis
4.
Inclua o contexto relevante por meio de includeContext
5.
Valide as respostas antes de usá-las
6.
Lide com erros normalmente
7.
Considere limitar a taxa de solicitações de sampling
8.
Documente o comportamento de sampling esperado
9.
Teste com vários parâmetros de modelo
10.
Monitore os custos de sampling
Os clientes devem mostrar aos usuários o prompt proposto
Os usuários devem ser capazes de modificar ou rejeitar prompts
Os system prompts podem ser filtrados ou modificados
A inclusão de contexto é controlada pelo cliente
Os clientes devem mostrar aos usuários a conclusão
Os usuários devem ser capazes de modificar ou rejeitar conclusões
Os clientes podem filtrar ou modificar as conclusões
Os usuários controlam qual modelo é usado
Valide todo o conteúdo da mensagem
Sanitize informações confidenciais
Implemente limites de taxa apropriados
Monitore o uso de sampling
Criptografe os dados em trânsito
Lide com a privacidade dos dados do usuário
Audite as solicitações de sampling
Controle a exposição ao custo
Lide com erros de modelo normalmente
Solicite o contexto mínimo necessário
Estruture o contexto claramente
Lide com os limites de tamanho do contexto
Atualize o contexto conforme necessário
Limpe o contexto obsoleto
Capturar falhas de sampling
Lidar com erros de timeout
Gerenciar limites de taxa
Fornecer comportamentos de fallback
Registrar erros adequadamente