Sitemaps.xml
Поисковые системы автоматически ищут на каждом сайте специальный файл под названием sitemaps.xml. Наличие этого файла на вашем сайте обязательно для упрощения обнаружения страниц поисковыми системами. Sitemap представляет собой большую карту всех страниц вашего сайта. К счастью, создание этого файла и его размещение на сайте — это простой процесс.
Большинство систем управления контентом (CMS) автоматически генерируют файл sitemap. Это включает такие системы, как WordPress, Magento и Shopify. Если это не так на вашем сайте, вам может понадобиться установить плагин или использовать бесплатный инструмент XML Sitemaps Generator, который автоматически создаст для вас файл sitemaps.xml.
XML Sitemaps Generator
https://www.xml-sitemaps.com/
Далее, попросите вашего веб-разработчика или веб-дизайнера загрузить его в основную директорию вашего сайта, или сделайте это сами, если у вас есть доступ по FTP. После загрузки файл должен быть общедоступен по следующему адресу:
https://www.yoursite.com/sitemaps.xml
После этого вам следует отправить свой sitemap в учетную запись Google Search Console и (или) Яндекс Вебмастера для вашего сайта. Если у вас нет учетной записи Google Search Console, следующая статья от Google предоставляет простые инструкции для веб-разработчиков или веб-дизайнеров по настройке этого процесса.
Как добавить сайт в Search Console
https://support.google.com/webmasters/answer/34592
Войдите в свою учетную запись, нажмите на ваш сайт. В разделе «настройка сайта» нажмите «sitemaps» и отправьте ваш sitemap.
Использование файла Sitemap в Яндекс Вебмастер
https://yandex.ru/support/webmaster/controlling-robot/sitemap.html
Robots.txt
Еще один обязательный файл для каждого сайта — это файл robots.txt. Он должен находиться в том же месте, что и ваш sitemaps.xml файл. Адрес этого файла должен выглядеть примерно так:
http://www.yoursite.com/robots.txt
Файл robots.txt — это простой файл, который позволяет указать области вашего сайта, которые вы не хотите, чтобы поисковая система включала в результаты поиска. Хотя наличие файла robots.txt не дает прямого преимущества, важно убедиться, что он не блокирует области вашего сайта, которые вы хотите, чтобы поисковые системы находили.
Файл robots.txt — это обычный текстовый документ, его содержимое должно выглядеть примерно так:
# robots.txt - a good example
User-agent: *
Disallow: /admin
User-agent: *
Disallow: /logs
Если вы хотите указать поисковым системам не сканировать ваш сайт, он должен выглядеть как следующий пример. Если вы не хотите блокировать весь сайт, убедитесь, что ваш файл не выглядит как этот пример. Всегда полезно дважды проверить, чтобы убедиться, что он не настроен таким образом, чтобы случайно не заблокировать важные части сайта.
# robots.txt - example blocking the entire site
User-agent: *
Disallow: /
Слеш в этом примере указывает поисковым системам, что их программное обеспечение не должно посещать домашний каталог.
Чтобы создать файл robots.txt, просто создайте текстовый документ с помощью Notepad, если вы используете Windows, или TextEdit, если вы используете Mac OS. Убедитесь, что файл сохранен как обычный текстовый документ, и используйте «хороший пример robots.txt» как указание на то, как он должен выглядеть. Убедитесь, что в списке указаны любые директории, которые вы не хотите, чтобы поисковые системы посещали, такие как внутренние папки для сотрудников, административные области, бэкенд CMS и так далее.
Если у вас нет областей, которые вы хотите заблокировать, вы можете вообще пропустить создание файла robots.txt, но обязательно убедитесь, что у вас нет файла, блокирующего важные части сайта, как в примере выше.
