###############################################
# Global Allow — полный доступ для всех ботов #
###############################################
User-agent: *
Allow: /

###############################################
# Указываем Sitemap (замени на свой домен)    #
###############################################
Sitemap: https://niamonx.io/sitemap.xml

###############################################
# Поисковые системы                           #
###############################################

# Google Search
User-agent: Googlebot
Allow: /

# Google News
User-agent: Googlebot-News
Allow: /

# Google Images
User-agent: Googlebot-Image
Allow: /

# Google Video
User-agent: Googlebot-Video
Allow: /

# Google AdsBot
User-agent: AdsBot-Google
Allow: /

# Google Extended (AI data crawler)
User-agent: Google-Extended
Allow: /

# Bing & Yahoo
User-agent: Bingbot
Allow: /

# Bing Ads
User-agent: AdIdxBot
Allow: /

# DuckDuckGo (использует Bing)
User-agent: DuckDuckBot
Allow: /

# Yandex
User-agent: Yandex
Allow: /
User-agent: YandexBot
Allow: /
User-agent: YandexImages
Allow: /
User-agent: YandexNews
Allow: /

# Baidu
User-agent: Baiduspider
Allow: /

# Naver (Корея)
User-agent: Yeti
Allow: /

# Seznam (Чехия)
User-agent: SeznamBot
Allow: /

# Sogou (Китай)
User-agent: Sogou Spider
Allow: /

###############################################
# Большие AI-краулеры (LLM Training Crawlers) #
###############################################

# OpenAI GPTBot
User-agent: GPTBot
Allow: /

# ChatGPT-User crawler
User-agent: ChatGPT-User
Allow: /

# OpenAI image crawler
User-agent: ChatGPTImageCrawler
Allow: /

# Common Crawl (используется Amazon, OpenAI, Anthropic, Perplexity, Stability)
User-agent: CCBot
Allow: /

# Anthropic (Claude)
User-agent: Claude-Web
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Amazonbot (Amazon GPT, Rufus)
User-agent: Amazonbot
Allow: /

# DuckDuckGo AI (DuckAssist)
User-agent: DuckAssist
Allow: /

# You.com AI crawler
User-agent: YouBot
Allow: /

# Kagi Search & AI
User-agent: KagiBot
Allow: /

# NeevaAI (поисковый + ИИ)
User-agent: NeevaBot
Allow: /

###############################################
# Smaller AI / Research / Data indexing bots  #
###############################################

# DataForSEO crawler
User-agent: dataforallbot
Allow: /

# Diffbot (структурирование контента)
User-agent: Diffbot
Allow: /

# Ahrefs (SEO-данные)
User-agent: AhrefsBot
Allow: /

# SEMrush
User-agent: SemrushBot
Allow: /

# Majestic
User-agent: MJ12bot
Allow: /

# Moz
User-agent: rogerbot
Allow: /

# SiteAudit (ScreamingFrog-like)
User-agent: sitecheckerbot
Allow: /

###############################################
# Для совместимости со старыми краулерами     #
###############################################

User-agent: archive.org_bot
Allow: /

User-agent: ia_archiver
Allow: /

###############################################
# END                                         #
###############################################