# robots.txt – fountainpen.de
# Zuletzt aktualisiert: 2026-05-19

# Alle Suchmaschinen und KI-Crawler willkommen
User-agent: *
Allow: /

# Sitemap
Sitemap: https://www.fountainpen.de/sitemap.xml

# ===== Klassische Suchmaschinen =====
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

# ===== OpenAI / ChatGPT =====
# GPTBot: Training-Crawler (ChatGPT-Modelle)
User-agent: GPTBot
Allow: /

# OAI-SearchBot: ChatGPT-Search-Index (Browse-/Search-Funktion)
User-agent: OAI-SearchBot
Allow: /

# ChatGPT-User: On-demand-Abruf, wenn ein User in ChatGPT klickt
User-agent: ChatGPT-User
Allow: /

# ===== Anthropic / Claude =====
# ClaudeBot: Training-Crawler
User-agent: ClaudeBot
Allow: /

# Claude-Web: Web-Browsing-Funktion in Claude
User-agent: Claude-Web
Allow: /

# Claude-User: On-demand-Abruf in Claude (Citations)
User-agent: Claude-User
Allow: /

# anthropic-ai: ältere Anthropic-Crawler-Signatur
User-agent: anthropic-ai
Allow: /

# ===== Perplexity =====
# PerplexityBot: Index-Crawler
User-agent: PerplexityBot
Allow: /

# Perplexity-User: On-demand-Abruf bei User-Anfragen
User-agent: Perplexity-User
Allow: /

# ===== Google AI =====
# Google-Extended: Steuert die Nutzung in Google-AI-Produkten (Bard/Gemini) separat von Googlebot
User-agent: Google-Extended
Allow: /

# ===== Apple =====
# Applebot-Extended: Apple-Intelligence-Crawler (separat von Applebot)
User-agent: Applebot-Extended
Allow: /

User-agent: Applebot
Allow: /

# ===== Amazon =====
# Amazonbot: Alexa und KI-Produkte
User-agent: Amazonbot
Allow: /

# ===== Meta / Facebook =====
# Meta-ExternalAgent: Llama-Training und Meta-KI-Produkte
User-agent: Meta-ExternalAgent
Allow: /

User-agent: FacebookBot
Allow: /

# ===== Weitere KI-Crawler =====
# cohere-ai
User-agent: cohere-ai
Allow: /

# Mistral
User-agent: MistralAI-User
Allow: /

# ByteDance / TikTok / Doubao
User-agent: ByteSpider
Allow: /

# CCBot (Common Crawl — Trainingsdaten vieler LLMs)
User-agent: CCBot
Allow: /