MCP LLM Red Team: canlı chatbot guardrail testi

MCP rehberi · LLM Red Team

@guardbee/mcp-llm-redteam, size ait veya test izniniz olan canlı LLM endpoint ve chatbot’ların guardrail’lerini aktif olarak sınar. Statik kod taraması yapmaz; gerçek hedefe güvenli, tek kullanımlık canary token’lar içeren probe istekleri gönderir ve modelin override talimatına uyup uymadığını ölçer.

Ne işe yarar?

Araç, OpenAI uyumlu API’ler, Anthropic Messages API veya özel webhook üzerinde 12 probe çalıştırır. Jailbreak, system prompt extraction, base64/zero-width obfuscation, sahte sistem yetkisiyle refusal suppression ve çok dilli override kategorilerini kapsar. Başarı, modelin rastgele canary token’ı tekrar etmesiyle deterministik olarak ölçülür; probe’lar gerçek zararlı içerik istemez.

Kimler için?

• Production öncesi staging chatbot guardrail’lerini doğrulayan AI güvenlik ekipleri
• OpenAI, Anthropic, Groq, vLLM veya uyumlu gateway kullanan ürün ekipleri
• Her deploy sonrası tekrarlanabilir LLM güvenlik kontrolü isteyen DevSecOps ekipleri
• Kendi webhook tabanlı chatbot’unu Claude veya Cursor üzerinden test eden geliştiriciler

Ne değildir?

• Sahibi olmadığınız veya açık test izniniz bulunmayan endpoint’ler
• Modelden gerçek zararlı çıktı istemek veya yeni saldırı tekniği geliştirmek
• Tek başına tam kapsamlı manuel red team ve risk değerlendirmesinin yerine geçmek

Özellikler

MCP araçları

npm ile kurulum

Global kurulum (Claude Desktop / Cursor için pratik):

npm install -g @guardbee/mcp-llm-redteam

veya npx ile (config içinde -y önerilir):

npx -y @guardbee/mcp-llm-redteam

npm: @guardbee/mcp-llm-redteam

CI/CD örneği: npx @guardbee/mcp-llm-redteam probe --type=openai --model=gpt-4o-mini --api-key-env=OPENAI_API_KEY --fail-on=high. Özel chatbot: --type=webhook --url=https://staging.example.com/chat. API anahtarını parametre olarak vermeyin; yalnızca önceden tanımlı environment variable adını apiKeyEnv ile belirtin. Her probe hedef API kotası tüketir.

Claude Desktop yapılandırması

Config dosya yolları:

• macOS~/Library/Application Support/Claude/claude_desktop_config.json
• Windows%APPDATA%\Claude\claude_desktop_config.json
• Linux~/.config/Claude/claude_desktop_config.json

Aşağıdaki bloğu ekleyip Claude Desktop’ı yeniden başlatın:

{
  "mcpServers": {
    "guardbee-llm-redteam": {
      "command": "npx",
      "args": [
        "-y",
        "@guardbee/mcp-llm-redteam"
      ],
      "env": {
        "OPENAI_API_KEY": "sk-..."
      }
    }
  }
}

Cursor / diğer MCP istemcileri

Cursor’da Settings → MCP altına aynı command / args / env alanlarını ekleyin. stdio tabanlı MCP sunucuları Claude Desktop ile aynı sözleşmeyi kullanır.

Claude’da örnek kullanım

1. “OpenAI endpoint’imde gpt-4o-mini için güvenli GuardBee red-team suite çalıştır”
2. “Kullanılabilir LLM red-team probe’larını kategoriye göre listele”
3. “Staging webhook’umda hangi guardrail testleri bypass edildi ve nasıl düzeltebilirim?”

İlgili linkler

• Tüm MCP sunucuları
• Entegrasyonlar
• Ücretsiz Guardbee denemesi
• @guardbee/mcp-llm-redteam on npm

Sık sorulan sorular