# focus-gesundheit.de
# www.robotstxt.org/
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

########################################
# Default rules
########################################

User-agent: *
Disallow:

########################################
# AI / LLM crawlers - disallow for model training
########################################

# OpenAI (model training)
User-agent: GPTBot
Disallow: /

# Google Generative AI (Gemini, etc.)
User-agent: Google-Extended
Disallow: /

# Apple Generative AI
User-agent: Applebot-Extended
Disallow: /

# Amazon AI / Bedrock
User-agent: Amazonbot
Disallow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Disallow: /

# Meta / LLaMA
User-agent: meta-externalagent
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /

# Perplexity AI
User-agent: PerplexityBot
Disallow: /

# Common Crawl (frequent AI training source)
User-agent: CCBot
Disallow: /

########################################
# Optional: allow AI-powered search (no training)
########################################

# OpenAI Search / ChatGPT Search
User-agent: OAI-SearchBot
Allow: /

########################################
# Sitemaps
########################################

Sitemap: https://www.focus-gesundheit.de/sitemap/sitemap.gesundheit.content.xml
Sitemap: https://www.focus-gesundheit.de/sitemap/sitemap.gesundheit.profiles.xml
Sitemap: https://www.focus-gesundheit.de/sitemap/sitemap.gesundheit.profiles_0.xml
Sitemap: https://www.focus-gesundheit.de/sitemap/sitemap.gesundheit.profiles_1.xml
Sitemap: https://www.focus-gesundheit.de/sitemap/sitemap.gesundheit.search.xml
Sitemap: https://www.focus-gesundheit.de/sitemap/sitemap.gesundheit.toplists.xml
Sitemap: https://www.focus-gesundheit.de/recently-updated-content.rss