Keşif Yüzeyi: robots.txt, sitemap.xml, security.txt ve Teknoloji Parmak İzi

Özellik dökümanı · Keşif yüzeyi

Bir web sitesinin güvenlik analizi yalnızca açık taramakla başlamaz. Öncelikle saldırganın görebildiği keşif yüzeyini anlamak gerekir.

Guardbee’de ilk adım, internete açık olan bilgileri analiz ederek uygulamanın nasıl yapılandığını, hangi teknolojileri kullandığını ve güvenlik ekipleriyle iletişimin nasıl sağlandığını ortaya çıkarmaktır. Bu pasif analiz, hedef sisteme zarar vermeden önemli güvenlik sinyalleri üretir.

Keşif yüzeyi nedir?

Keşif yüzeyi (Discovery Surface), internete açık ve herkes tarafından erişilebilen teknik bilgilerin tamamıdır.

Bir saldırgan çoğu zaman ilk olarak şunlara bakar:

• robots.txt
• sitemap.xml
• security.txt
• HTTP Header’ları
• HTML kaynak kodu
• JavaScript dosyaları
• Framework izleri
• CDN bilgileri
• Sunucu teknolojisi
• DNS kayıtları

Bu bilgiler tek başına açık oluşturmasa bile saldırının yönünü belirleyebilir.

Guardbee bu bilgileri otomatik olarak analiz eder ve risk seviyesine göre raporlar.

1. robots.txt analizi

robots.txt arama motorlarına hangi dizinlerin taranacağını söylemek için kullanılır.

Örnek:

User-agent: *
Disallow: /admin/
Disallow: /backup/
Disallow: /test/
Disallow: /old/

Aslında burada arama motorlarına bilgi verilse de saldırgan için de önemli ipuçları oluşur.

Örneğin:

• /admin — yönetim paneli olabilir.
• /backup — yedek dosyaları olabilir.
• /test — geliştirme ortamı olabilir.

Bunların internete açık olması mutlaka açık olduğu anlamına gelmez; ancak keşif sürecini oldukça kolaylaştırır.

Guardbee;

• robots.txt dosyasını indirir
• tüm Allow / Disallow kurallarını analiz eder
• hassas görünen dizinleri sınıflandırır
• güvenlik risk puanı üretir

2. sitemap.xml analizi

Sitemap, sitedeki URL’lerin listesidir.

Örnek:

<url>
   <loc>https://example.com/admin</loc>
</url>
<url>
   <loc>https://example.com/api/docs</loc>
</url>
<url>
   <loc>https://example.com/internal</loc>
</url>

Bazen unutulan test sayfaları, eski yönetim panelleri veya API dokümantasyonları burada yer alabilir.

Guardbee;

• sitemap dosyalarını bulur
• alt sitemap’leri takip eder
• tüm URL’leri çıkarır
• hassas endpoint’leri işaretler
• indekslenmemesi gereken sayfaları raporlar

3. security.txt kontrolü

security.txt, güvenlik araştırmacılarının bir zafiyet bulduğunda kiminle iletişim kuracağını belirten standart dosyadır.

Konumu:

https://site.com/.well-known/security.txt

Örnek:

Contact: mailto:security@example.com
Expires: 2027-01-01
Policy: https://example.com/security

Birçok kurum hâlâ bu dosyayı yayınlamamaktadır.

Eksik olması kritik bir güvenlik açığı değildir; ancak güvenlik olgunluğu açısından önemli bir göstergedir.

Guardbee;

• security.txt var mı kontrol eder
• RFC 9116 uyumluluğunu doğrular
• Contact alanını inceler
• Expires tarihini kontrol eder
• gerekli alanların eksik olup olmadığını raporlar

4. Teknoloji Parmak İzi (Technology Fingerprinting)

Bir saldırgan hedef sistemi tanımaya çalışır. Örneğin:

• Apache, Nginx, IIS
• Cloudflare
• Next.js, Angular, React, Vue
• WordPress
• PHP, ASP.NET, Node.js
• Laravel, Django

Bunların bilinmesi, bilinen güvenlik açıklarının araştırılmasını kolaylaştırabilir.

Guardbee aktif saldırı gerçekleştirmeden çeşitli sinyalleri analiz eder. Bunlardan bazıları:

HTTP Header’ları

• Server
• X-Powered-By
• Via
• CF-Ray

Örneğin:

Server: nginx
X-Powered-By: PHP/8.1

HTML kaynak kodu

Meta etiketleri:

<meta name="generator" …>

Framework scriptleri ve izler:

• _next, nuxt, webpack, vite
• react, angular

JavaScript dosyaları

Dosya isimleri:

• main.js, vendor.js, runtime.js

Ayrıca webpack imzaları, Angular bundle yapısı, React hydration kodları ve Vue runtime dosyaları değerlendirilir.

Cookie isimleri

Örneğin:

• PHPSESSID
• ASP.NET_SessionId
• JSESSIONID
• connect.sid

Bu bilgiler kullanılan altyapı hakkında ipucu verir.

HTTP Response davranışları

Örneğin:

• 404 davranışı
• redirect yapısı
• cache header
• compression
• ETag
• HSTS

Bu bilgiler CDN veya reverse proxy kullanımını gösterebilir.

Guardbee bunu nasıl yapıyor?

Guardbee tamamen pasif keşif yaklaşımı kullanır.

İşlem sırası:

1. Alan adını doğrular.
2. robots.txt dosyasını indirir.
3. sitemap.xml dosyalarını keşfeder.
4. security.txt dosyasını kontrol eder.
5. HTTP Header’larını analiz eder.
6. HTML kaynak kodunu inceler.
7. JavaScript dosyalarını değerlendirir.
8. Teknoloji imzalarını eşleştirir.
9. Güvenlik ve gizlilik sinyallerini puanlar.
10. Sonuçları iş dilinde raporlar.

Bu süreçte hedef sisteme saldırı yapılmaz, brute-force uygulanmaz ve zararlı istek gönderilmez.

Nasıl test edilir?

Manuel olarak da birçok kontrol yapılabilir.

robots.txt

https://site.com/robots.txt

Kontrol edin:

• Yönetim dizinleri var mı?
• Test klasörleri listelenmiş mi?
• Eski dizinler duruyor mu?

sitemap.xml

https://site.com/sitemap.xml

Kontrol edin:

• Yönetim sayfaları var mı?
• Test URL’leri indeksleniyor mu?
• API dokümantasyonu yayınlanmış mı?

security.txt

https://site.com/.well-known/security.txt

Kontrol edin:

• Dosya mevcut mu?
• İletişim bilgisi doğru mu?
• Son kullanma tarihi geçmiş mi?

HTTP Header

Terminal üzerinden:

curl -I https://site.com

İnceleyin:

• Server
• X-Powered-By
• Strict-Transport-Security
• Content-Security-Policy
• Referrer-Policy
• Permissions-Policy

Teknoloji tespiti

Tarayıcı geliştirici araçlarını kullanarak:

• Response Header’ları inceleyin.
• HTML kaynak kodunu görüntüleyin.
• JavaScript dosyalarını kontrol edin.
• Cookie isimlerini inceleyin.
• Ağ (Network) sekmesindeki istekleri analiz edin.

En iyi uygulamalar

• robots.txt içinde hassas dizin isimleri paylaşmayın.
• Sitemap yalnızca herkese açık sayfaları içersin.
• RFC 9116 uyumlu bir security.txt yayınlayın.
• Gereksiz Server ve X-Powered-By başlıklarını kaldırın.
• Güncel olmayan framework sürümlerini kullanmayın.
• Güvenlik başlıklarını (HSTS, CSP, Referrer-Policy vb.) doğru yapılandırın.
• Düzenli olarak teknoloji parmak izi taraması yaparak beklenmeyen değişiklikleri izleyin.

Sonuç

Keşif yüzeyi analizi, bir saldırganın ilk birkaç dakikada elde edebileceği bilgileri sizin de görmenizi sağlar. robots.txt, sitemap.xml, security.txt ve teknoloji parmak izi gibi pasif sinyaller tek başına bir güvenlik açığı olmayabilir; ancak yanlış yapılandırıldıklarında saldırıların hedefini daraltır ve riskleri artırabilir.

Guardbee, bu keşif yüzeyini otomatik olarak analiz ederek görünür teknolojileri, yapılandırma eksikliklerini ve güvenlik olgunluğunu değerlendirir. Böylece yalnızca “ne bulunduğunu” değil, bu bulguların neden önemli olduğunu ve nasıl iyileştirilebileceğini de anlaşılır bir şekilde raporlar.

İlgili rehber: hassas dosya sızıntıları.

Sık sorulan sorular

security.txt zorunlu mu?

Zorunlu değil; ancak sorumlu açıklama için önerilir ve güvenlik olgunluğu sinyalidir. Guardbee RFC 9116 uyumluluğunu ve Contact / Expires alanlarını kontrol eder.

robots.txt veya sitemap’te görünen yollar açık mı demektir?

Hayır. Bu yolların listelenmesi keşfi kolaylaştırır; erişilebilirlik ve zafiyet ayrı kontrollerle doğrulanır.

Teknoloji parmak izi aktif saldırı mıdır?

Hayır. Guardbee pasif sinyallerle (header, HTML, JS, cookie vb.) çalışır; brute-force veya zararlı istek göndermez.

Fingerprint rakip istihbaratı için midir?

Hayır. Kendi markanızın dışarıdan görünen teknolojisini ve beklenmeyen değişiklikleri görmeniz içindir.