Запрет к индексированию в роботсе файла сайтмап

12
SS
На сайте с 07.10.2023
Offline
8
418
Доброго дня! В роботсе нет запрещающей сайтмап записи, сайтмап указан самой последней строкой в формате "Sitemap: https://www.site.ru/xml/sitemap ", но в проверке ответа сервера в вебмастере ошибка - "Данный URL запрещен к индексированию в файле robot.txt". С чем может быть связано? 
W1
На сайте с 22.01.2021
Offline
291
#1
SaraS :
С чем может быть связано? 

А показать роботс - не судьба?

Мой форум - https://webinfo.guru –Там я всегда на связи
Антоний Казанский
На сайте с 12.04.2007
Offline
626
#2
SaraS :
"Данный URL запрещен к индексированию в файле robot.txt". С чем может быть связано? 

Связано именно с тем, что вам явно в кавычках указано.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
SS
На сайте с 07.10.2023
Offline
8
#3
Антоний Казанский #:

Связано именно с тем, что вам явно в кавычках указано.

Так нет запрета на сайтмап.

User-agent: Yandex

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/getSchedule*

Disallow: /post/*/singleInfo*

Disallow: */site

 

User-agent: Googlebot

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/*/singleInfo*

Disallow: /post/getSchedule*

Disallow: */site

 

User-agent: *

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /club/search/

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/*/singleInfo*

Disallow: /post/getSchedule*

Disallow: */site

 

Sitemap: https://www.названиесайта.ru/xml/sitemap

TB
На сайте с 16.01.2009
Offline
185
#4
SaraS #:

Так нет запрета на сайтмап.

User-agent: Yandex

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/getSchedule*

Disallow: /post/*/singleInfo*

Disallow: */site

 

User-agent: Googlebot

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/*/singleInfo*

Disallow: /post/getSchedule*

Disallow: */site

 

User-agent: *

Disallow: /*?

Allow: /*?p=

Disallow: /post/search*

Disallow: /admin*

Disallow: /auth*

Disallow: /spb/auth*

Disallow: /user*

Disallow: /post/gallery

Disallow: /club/search/

Disallow: /post/yandex/getMapMarkAll

Disallow: /post/*/singleInfo*

Disallow: /post/getSchedule*

Disallow: */site

 

Sitemap: https://www.site.ru/xml/sitemap

А это что по вашему? 

Disallow: */site

SS
На сайте с 07.10.2023
Offline
8
#5
TonyBlackberry #:

А это что по вашему? 

Disallow: */site

Эта запись ограничивает попадание хвостов в индекс, чтобы не попадали дубли страниц в индекс

Антоний Казанский
На сайте с 12.04.2007
Offline
626
#6
SaraS #:
Так нет запрета на сайтмап.

1. Приведите рабочий URL.

2. Приведите актуальный скриншот, где Вебмастер указывает на запрет в robots.

SS
На сайте с 07.10.2023
Offline
8
#7

/

TB
На сайте с 16.01.2009
Offline
185
#8
SaraS #:

Эта запись ограничивает попадание хвостов в индекс, чтобы не попадали дубли страниц в индекс

И одновременно запрещает ваш sitemap, т.к. его адрес подпадает под запрещение */site

Александр
На сайте с 18.03.2020
Offline
145
#9
Товарищ, дайте уже ссылку на сайтмапу нормальную, чтобы можно было нормально все глянуть.
Поразительно: просит помощи, но домен не светит - боится, зато на весь интернет - пожалуйста, заходи кто хочет.
Антоний Казанский
На сайте с 12.04.2007
Offline
626
#10
SaraS #:
Эта запись ограничивает попадание хвостов в индекс, чтобы не попадали дубли страниц в индекс

Каких "хвостов"? Это запись как раз ограничивает индексацию адресов второго и более уровней, которые начинаются c последовательности site.

Именно под это правило ваша XML карта и попадает.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий