Гугл обходит странички, причина?



Новая для меня эта история, поэтому пишу снова. Предыстория. Посмотрел логи сайта, вижу, что гугл обходит страницы с параметрами, корзины и проч. Проверил, есть ли такие страницы в индексе - нет. Ну и закрыл их в роботсе, чтобы робот не ходил. Сейчас смотрю логи за три дня после обновления роботса - он все равно обходит эти страницы, хотя robots посетил в день обновления. Правильно ли я понимаю, что обход таких страниц прекратится лишь со временем? Как Вы решаете подобные проблемы, если они у Вас есть? Спасибо.

1140   14  

Comments

  1. Михаил Данилюк
    Михаил Данилюк 5 лет назад
    При таком раскладе не прекратится ). Вам необходимо очистить файл robots.txt (бот его и раньше игнорил, а с октября 2019 вообще не учитывает). Лучшая практика использовать meta robots с атрибутами noindex, nofollow
    • Volodymyr Garan
      Volodymyr Garan 5 лет назад
      сторінки з параметрами - noindex, nofollow?
    • Sergei Svetsov
      Sergei Svetsov 5 лет назад
      Дак это стоит давно, все равно четверть запросов от гуглбота идет на ненужные страницы. <br>Насчет игнора роботс можете дать ссылку почитать?
    • DrMax Seo
      DrMax Seo 5 лет назад
      Михаил Данилюк Гугл учитывает robots как рекомендации и как минимум снижает частоту посещений страниц, закрытых в роботсе, чем экономится ссылочный бюджет
    • Михаил Данилюк
      Михаил Данилюк 5 лет назад
      по порядку. 1. если блоичите страницы от индекса в robots.txt, то прочие директивы бот игнорирует, в том числе и meta robots, то есть использование этого файла нивелирует прочие ваши усилия. 2. про прекращение поддержки noindex в robots.txt вот пруф https://vc.ru/.../76431-google-prekrashchaet-podderzhku...
    • Михаил Данилюк
      Михаил Данилюк 5 лет назад
      DrMax Seo вот официально https://webmasters.googleblog.com/.../a-note-on...
    • Михаил Данилюк
      Михаил Данилюк 5 лет назад
      DrMax Seo использовать robots.txt для оптимизации краулингового бюджета не лучшая затея. Имхо, юзать для открытия css и js
    • DrMax Seo
      DrMax Seo 5 лет назад
      Михаил Данилюк там нигде не говориться о том, что роботс перестал работать ))))
    • Sergei Svetsov
      Sergei Svetsov 5 лет назад
      Михаил Данилюк в том то и дело, что страницы не в индексе, многие очень давно. И закрываю я только те страницы, которых нет в индексе, ибо Вы правы, остальные директивы тогда не работают.
    • Volodymyr Garan
      Volodymyr Garan 5 лет назад
      Михаил Данилюк ну так перестали підтримувати нестандартні директиви. Але ж все інше працює, можна закрити.<br><br>Serj Zaitsev а пробували в консолі чи дійсно ті сторінки з параметрами блокуються в новому robots.txt?
    • Михаил Данилюк
      Михаил Данилюк 5 лет назад
      Volodymyr Garan речь шла только про блокировку сканирования. остальное воспринимает как рекомендации
    • Sergei Svetsov
      Sergei Svetsov 5 лет назад
      Volodymyr Garan А что в консоле, страницы не в индексе, исключены давно через мета роботс. Мне надо как-то прекратить их сканирование.
    • Юрий Бедулин
      Юрий Бедулин 5 лет назад
      ну так он все равно ходить будет проверять не поменялся ли ноиндекс в мета - а в чём запарка то?
  2. Юрий Бедулин
    Юрий Бедулин 5 лет назад
    он ходить и будет ходить всегда - проверять не поменялся ли тег ноиндекс например + гугл не скрывает и официально пишет что сам решит ходить или нет по закрытым стр в роботсе