# robots.txt – lastcallnyc.de # Generiert von Django / zuletzt aktualisiert: Juni 2026 # ────────────────────────────────────────────────────────────── # SPAM-BOTS & SCRAPER SPERREN # Bekannte schädliche/aggressive Crawler werden komplett gesperrt # ────────────────────────────────────────────────────────────── User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: DotBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: BLEXBot Disallow: / User-agent: PetalBot Disallow: / User-agent: YandexBot Disallow: / User-agent: Baiduspider Disallow: / User-agent: 008 Disallow: / User-agent: Wget Disallow: / User-agent: libwww-perl Disallow: / User-agent: python-requests Disallow: / User-agent: Go-http-client Disallow: / User-agent: masscan Disallow: / User-agent: zgrab Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: BrightEdge Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CCBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: cohere-ai Disallow: / # ────────────────────────────────────────────────────────────── # GPT / OPENAI BOTS – Erlaubt (private Bereiche gesperrt) # ────────────────────────────────────────────────────────────── User-agent: GPTBot Disallow: /admin/ Disallow: /betreiber/ Disallow: /cart/ Disallow: /checkout/ Disallow: /api/ Disallow: /payments/ Allow: / User-agent: ChatGPT-User Disallow: /admin/ Disallow: /betreiber/ Disallow: /cart/ Disallow: /checkout/ Disallow: /api/ Disallow: /payments/ Allow: / User-agent: OAI-SearchBot Disallow: /admin/ Disallow: /betreiber/ Disallow: /cart/ Disallow: /checkout/ Disallow: /api/ Disallow: /payments/ Allow: / # ────────────────────────────────────────────────────────────── # LEGITIME CRAWLER – Zugelassen, private Bereiche gesperrt # ────────────────────────────────────────────────────────────── User-agent: * # Admin & Backend Disallow: /admin/ Disallow: /admin-organized/ Disallow: /betreiber/ Disallow: /summernote/ # Warenkorb & Checkout (kein SEO-Wert, personalisiert) Disallow: /cart/ Disallow: /checkout/ # API-Endpunkte Disallow: /api/ Disallow: /payments/ # Interne / technische URLs Disallow: /tisch/ Disallow: /qr/ Disallow: /screensaver/ Disallow: /home/ Disallow: /summary/ Disallow: /set_session_type/ Disallow: /receipt/ Disallow: /display/ Disallow: /search/ # Notfall-URLs (sicherheitshalber verborgen halten) Disallow: /emergency/ # Debug & Test (nur Entwicklung) Disallow: /debug/ Disallow: /test/ # Statische Daten (kein Crawling nötig) Allow: /static/icons/ Allow: /static/favicon.ico Disallow: /static/ Disallow: /media/ # Öffentliche Seiten erlauben Allow: / Allow: /impressum/ Allow: /datenschutz/ Allow: /kontakt/ Allow: /seite/ Allow: /tischreservierung/ Allow: /sitemap.xml # Sitemap Sitemap: https://lastcallnyc.de/sitemap.xml