# /robots.txt for www.thealgebragroup.com
##############################################
# Sitemaps                                   #
##############################################
Sitemap: https://thealgebragroup.com/sitemap.xml

##############################################
# Future use for AI                          #
##############################################
# LLMs: https://thealgebragroup.com/llms.txt

##############################################
# AI Crawlers                                #
##############################################
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ChatGPT-User/2.0
User-agent: GPTBot
User-agent: anthropic-ai
User-agent: ClaudeBot
User-agent: claude-web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: BingBot
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: LinkedInBot

# Block non-SEO / confirmation URLs
Disallow: /success
Disallow: /successa
Disallow: /booking-confirmation
Disallow: /submit

Allow: /

##############################################
# Search Crawlers                            #
##############################################
User-agent: *

# Block non-SEO / confirmation URLs
Disallow: /success
Disallow: /successa
Disallow: /booking-confirmation
Disallow: /submit

Allow: /