# robots.txt for chimitdorzhi.tech # Чимитдоржи Дарижапов (Chimitdorzhi Darizhapov) Official Website User-agent: * Allow: / Allow: /services/ Disallow: /tools/ Disallow: /gh-articles/ # --- AI / LLM краулеры явно разрешены (GEO) --- # Поисковые и обучающие боты нейросетей: пусть индексируют и цитируют. # В именной группе общие запреты из * не действуют, поэтому служебные папки закрыты в каждой. User-agent: GPTBot Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: OAI-SearchBot Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: ChatGPT-User Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: ClaudeBot Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Claude-User Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Claude-SearchBot Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Claude-Web Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: anthropic-ai Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: PerplexityBot Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Perplexity-User Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Google-Extended Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: YandexAdditional Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Applebot-Extended Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Amazonbot Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: cohere-ai Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Meta-ExternalAgent Allow: / Disallow: /tools/ Disallow: /gh-articles/ # --- Китайские поисковые и AI-краулеры --- # Baidu (ERNIE), ByteDance (Doubao), Huawei Petal, Alibaba Shenma, Sogou, 360. User-agent: Baiduspider Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Bytespider Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: PetalBot Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: YisouSpider Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: Sogou web spider Allow: / Disallow: /tools/ Disallow: /gh-articles/ User-agent: 360Spider Allow: / Disallow: /tools/ Disallow: /gh-articles/ # Карта для нейросетей — https://chimitdorzhi.tech/llms.txt # Sitemap Sitemap: https://chimitdorzhi.tech/sitemap.xml # Host Host: https://chimitdorzhi.tech