# robots.txt – Lokalisto / lokalisato.de
# https://lokalisato.de/robots.txt
# Letzte Aktualisierung: 2026-04-13

# ── Allgemeine Suchmaschinen ────────────────────────
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /intern/
Disallow: /*.log$
Disallow: /tmp/

# ── Google ──────────────────────────────────────────
User-agent: Googlebot
Allow: /
Allow: /llms.txt
Crawl-delay: 1

# ── Google News ─────────────────────────────────────
User-agent: Googlebot-News
Allow: /news/

# ── Bing ────────────────────────────────────────────
User-agent: Bingbot
Allow: /
Crawl-delay: 2

# ── KI-Crawler (erlaubt) ────────────────────────────
# OpenAI GPTBot: erlaubt – nutzt llms.txt
User-agent: GPTBot
Allow: /
Allow: /llms.txt

# Anthropic Claude
User-agent: ClaudeBot
Allow: /
Allow: /llms.txt

# Google Gemini
User-agent: Google-Extended
Allow: /
Allow: /llms.txt

# Perplexity AI
User-agent: PerplexityBot
Allow: /
Allow: /llms.txt

# ── Social Media ────────────────────────────────────
User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

# ── Sitemaps ─────────────────────────────────────────
Sitemap: https://lokalisto.de/sitemap.xml