Разберём, почему файл не виден, где его искать и как создать или настроить правильно. Это поможет избежать ошибок в Google Search Console и Яндекс.Вебмастере, восстановить индексацию. Пройдём по шагам от проверки до фикса.

Почему файл robots.txt может не отображаться

Файл robots.txt должен лежать в корневой папке сайта, но часто его не видно в файловом менеджере или FTP. Это происходит из-за особенностей CMS вроде WordPress, uCoz или конструкторов сайтов. Например, в WordPress файл может генерироваться динамически по адресу сайт/robots.txt, но физически отсутствовать в корне — плагины или тема его создают на лету.

Другая причина — системные настройки хостинга. Многие панели вроде cPanel или ISPmanager подставляют дефолтный robots.txt, если свой не найден. Пользователи жалуются: открывается по ссылке, но в FileZilla или менеджере пусто. Это не баг, а фича для безопасности — файл скрыт, чтобы новички не сломали SEO. Плюс, боты вроде Google иногда блокируют доступ из-за firewall или fail2ban.

Перед паникой проверьте:

• Откройте в браузере вашсайт.ru/robots.txt — если текст есть, файл работает.
• Используйте инструменты Google Search Console или Яндекс.Вебмастер для проверки ошибок.

Где искать и как получить доступ к файлу

Доступ к robots.txt зависит от платформы. В конструкторах типа Tilda или RU-CENTER файл редактируется в настройках, без FTP. На самостоятельном хостинге ищите в корне через FileZilla, но убедитесь, что показаны скрытые файлы — включив опцию ‘Force show hidden files’. Если на VPS, подключитесь по SSH: cd /var/www/html && ls -la | grep robots.txt.

В CMS ситуация сложнее. WordPress часто прячет файл, генерируя его через wp-robots.txt или плагины вроде Yoast SEO. В uCoz он не появляется в менеджере, но доступен по прямой ссылке — редактируйте в панели модулей. Пример: пользователь видит robots.txt в браузере, но не может отредактировать в FileZilla — решение в админке CMS.

Шаги для поиска:

1. Проверьте браузер — введите полный URL.
2. FTP/Файловый менеджер — root-директория, покажите скрытые файлы.
3. В CMS: админка → SEO-настройки или Yoast/RankMath.
4. Хостинг-панель — раздел ‘Файлы’ или ‘Сайты’.

Как создать robots.txt, если его нет

Создать файл просто: новый текстовий файл с именем robots.txt, без расширения. Разместите в корне сайта — путь /public_html/robots.txt. Начните с базовых директив: User-agent: * Disallow: /wp-admin/ — это закроет админку от индексации. Добавьте Sitemap: Sitemap: https://site.ru/sitemap.xml для ускорения сканирования.

Не переусердствуйте — ошибка вроде Disallow: / заблокирует весь сайт. Тестируйте в Google Search Console (Инструменты → Проверка robots.txt) или сервисе robots.txt Tester. Пример для типичного сайта: запретите /?p=, /tag/, но разрешите /blog/. Файл не должен превышать 2 КБ, иначе парсер его игнорирует.

Пошаговый план создания:

• Создайте файл в Notepad++ или Блокноте.
• Ключевые директивы: User-agent, Allow, Disallow, Sitemap.
• Загрузите в root (права 644).
• Проверьте: сайт.ru/robots.txt.
• Добавьте Clean-Param для Яндекса, если параметры в URL.

Типичные ошибки и как их исправить

Частая ошибка — неправильный синтаксис: лишние пробелы или заглавные буквы меняют смысл. Ещё проблема с доступом: боты получают 403 из-за mod_security или лимитов хостинга. В логах Google укажут ‘Боты не могут получить доступ к robots.txt’ — проверьте firewall, отключите fail2ban временно.

Другая ловушка — конфликт с .htaccess: если там редиректы, файл может не читаться. Решение: очистите кэш CDN вроде Cloudflare, где robots.txt кэшируется. После правок подождите 1–2 дня, пока боты пересканируют.

Чек-лист исправлений:

1. Валидация: Онлайн-тестеры вроде technicalseo.com/tools/robots-txt.
2. Синтаксис без ошибок — только ASCII-символы.
3. Права файла: 644, владелец www-data.
4. Перезагрузка: удалите старый, загрузите новый.
5. Мониторинг в Webmaster-тулах.

Robots.txt под контролем: нюансы на заметку

Всё кажется простым, но остаются детали вроде поддержки JavaScript-сайтов — боты читают только статичный robots.txt, SPA требуют специфики. Подумайте о мультидомене: один файл на зеркало или отдельные.

Ещё вопрос — кастом под ботов: Googlebot, YandexBot имеют свои фичи, как Clean-Param. Если сайт на Next.js или Nuxt, генерируйте статично. Стоит поэкспериментировать с логами, чтобы увидеть, как именно боты реагируют.