Создали новый сайт на yii и тут начался шквал страниц из дублей

Коллеги, доброго времени суток. Пожалуйста помогите решить проблему! Создали новый сайт на yii. Залили сайт на прод и тут начался шквал страниц из дублей. Через Search Console уже исключила большую часть. Но Гугл все равно находит копии. Проверила сайт через сервис apolon guru и оказалось что каждая страница имеет несколько копии в верхнем регистре, копию без /, и ещё около 10 цыкличных ссылок, не говоря уже о 404. Как такое могло случиться? Может кто знает решение? Подскажите пожалуйста.

1175   45  
yii

Comments

  1. Roman Taluyev
    Reply
    Roman Taluyev 7 лет назад
    Спросите разработчиков с опытом, которые делали вам на этом движке. Поставьте переадресацию на уровне веб-сервера.
    • Марія Формазюк
      Reply
      Марія Формазюк 7 лет назад
      Добрый день. Спрашывала, они порекомендовали закрыть их через робот.тхт. И всё.
    • Roman Taluyev
      Reply
      Roman Taluyev 7 лет назад
      Марія Формазюк Да, и все. Ставится вот такой редирект "навсегда"(и поисковик не должен больше вас беспокоить): https://ru.wikipedia.org/wiki/HTTP_301
    • Евгений Резонов
      Reply
      Евгений Резонов 7 лет назад
      Марія Формазюк robots.txt не гарантия исключения из индекса. Править в коде нужно
    • Артём Матвеев
      Reply
      Артём Матвеев 6 лет назад
      Route в main.php правильно настроен?
    • Артем Чевелёв
      Reply
      Артем Чевелёв 6 лет назад
      Марія Формазюк через роботс закрывать слабо эффективно, так как роботы могут использовать директиву а могут и нет. Для начала закрываем в коде страницы метатегом, либо статусом http. Либо сразу настраивать 301 редирект. Это все делается через разработку. После чего страницы отправляем на переобход в обоих ПС
  2. Сергей Полещук
    Reply
    Сергей Полещук 7 лет назад
    .htaccess или как то так называется файл с настройками.
  3. Ivan Kleshchev
    Reply
    Ivan Kleshchev 7 лет назад
    Случиться - разработчики с кривыми руками. Решение - или перерабатывать сайт или на нормальный движок переносить. Поставив редиректы в .htaccess проблема не исчезнет. Да и сами редиректы не есть гуд для поисковиков.
    • Кузьма Феськов
      Reply
      Кузьма Феськов 6 лет назад
      Yii топ движек сейчас, что в вашем понимании "нормальный"?
    • Кузьма Феськов
      Reply
      Кузьма Феськов 6 лет назад
      Иразрработчкине с кривыми руками, им просто не ставили задачу все это прикрыть
    • Ivan Kleshchev
      Reply
      Ivan Kleshchev 6 лет назад
      Кузьма Феськов Топовый движок в мире - это вордпресс - более 30% сайтов. Если отсутствие дублей и урлы в нижнем регистре со слешем не является стандартом для разработчика, то это не разработчик, а студент с детских курсов по программированию.
    • Кузьма Феськов
      Reply
      Кузьма Феськов 6 лет назад
      Иван Клещёв Yii это фреймворк, вордпресс движек. советовать делать магазин на вордпрессе - это вообще не компетентность с вашей стороны
    • Ivan Kleshchev
      Reply
      Ivan Kleshchev 6 лет назад
      Кузьма Феськов Некомпетентность - считать вордпресс негодным для магазинов. По магазинам, кстати, вп тоже на первом месте в мире, если не знаете. Это давно уже не блоговый движек, а мощнейшая платформа для любых направлений.
    • Кузьма Феськов
      Reply
      Кузьма Феськов 6 лет назад
      Иван Клещёв ой все, идите уже делать магазин на вордпрессе
    • Ivan Kleshchev
      Reply
      Ivan Kleshchev 6 лет назад
      Кузьма Феськов Странный вы... Истина в последней инстанции)))
    • Kiryl Kamarouski
      Reply
      Kiryl Kamarouski 6 лет назад
      Кузьма Феськов Это не движок, а фрэймворк, где програмист должен быть пряморук и это стоит весьма дорого, если на юви делают сайт визитку к примеру то это проблемма в области психиатрии
    • Кузьма Феськов
      Reply
      Кузьма Феськов 6 лет назад
      Kiryl Kamarouski я об этом написал выше, вы не внимательны
  4. Валерий Сыщук
    Reply
    Валерий Сыщук 7 лет назад
    Это называется внедрение seo аудита. Надо переписывать код сайта так, чтобы таких страниц и ссылок не было.<br> Можно адрес сайта в личку? Был подобный проект на yii
  5. Марія Формазюк
    Reply
    Марія Формазюк 7 лет назад
    Не проблема поставить редирект. Но проблема что при генерации контента создаётся куча дублей. На каждый товар и на каждую новость. Вчера добавила новость и получила 17 цыкличных, 4 дубля, 10 редиректов и столько же 404.
    • Roman Taluyev
      Reply
      Roman Taluyev 7 лет назад
      Дубли убираются редиректами или переписыванием кода. 404 - разберитесь почему они возникают. Когда вы пошли в продакшен - то "поезд уже ушел", вам надо с этим разбираться, даже если вы поменяете движок или все что угодно - робот гугла узнал о вашем домене. Для понимания ситуации попросите того, кто делал вам сайт обьяснить ситуацию.
    • Марія Формазюк
      Reply
      Марія Формазюк 7 лет назад
      Они ещё дорабатывают сайт. Поскольку постоянно вылазит арсенал ошибок. Но сами разработчики утверждают что копий нет. Список ошибок с консоли они не берут во внимание. Поставили везде 301. Но кто же не решение проблемы
  6. Владимир Кулиненко
    Reply
    Владимир Кулиненко 7 лет назад
    берете программиста и отрезаете ему руки , потом находите нового и делаете все заново
    • Михаил Коваль
      Reply
      Михаил Коваль 7 лет назад
      Может лучше спросить что было в ТЗ?
    • Владимир Кулиненко
      Reply
      Владимир Кулиненко 7 лет назад
      Михаил Коваль я думаю пункта создавать дубли точно не было
  7. Roman Taluyev
    Reply
    Roman Taluyev 7 лет назад
    вот ещй вспомнил... обратите внимание на пагинацию, например - там ставится специальный тег, с указанием какая страница основная - так не будет дублирования. Это знает любой норм SEO специалист.
    • Марія Формазюк
      Reply
      Марія Формазюк 7 лет назад
      С пагинацыей проще. Они не вообще не решили не делать
  8. Владимир Кулиненко
    Reply
    Владимир Кулиненко 7 лет назад
    если это инет магазин -поможет товар в корне либо канон
  9. Михаил Коваль
    Reply
    Михаил Коваль 7 лет назад
    1. Каноникалы есть на всех страницах и они правильные?<br>2. В сайтмап мусорные страницы не попадают?<br>3. На лишних страницах есть инструкции роботам ноиндекс, нофоллоу?<br>4. .htaccess пропишите редиректы на правильные страницы.<br>5. На лишних страницах уникальные тайтлы\дескрипшены?<br>6. С каких страниц берутся ссылки на неправильные страницы? Закрыть/убрать.<br><br>Сомневаюсь, что в ТЗ были прописаны требования к ссылкам. Если не было, то напишите ТЗ и спросите, может ли это ваш разработчик.<br><br>Если умеете, пишите ТЗ самостоятельно, если нет - SEO-аудит все делают...
    • Марія Формазюк
      Reply
      Марія Формазюк 7 лет назад
      Добрый день. 1. Есть но не на всех. 2. Нет не попадают. 3. Нет для всех. Для части есть. Но для новых пока нет. 4. Часть прописали, но при создании новой страницы - появляются новые дубли. 5. Тайтли пока не прописывала. Из-за проблем з дублями. 6. Закрывали и убирали. Но все равно остались дубли верхнего регистра.
    • Михаил Коваль
      Reply
      Михаил Коваль 7 лет назад
      Марія, ищете подрядчика?<br><br>Если нет, то эти 6 пунктов ваши )<br><br>И следующие пункты с постановкой задачи разработчику на "правильные урлы".<br><br>Хорошо повеселиться! 😂
  10. Владимир Боб
    Reply
    Владимир Боб 6 лет назад
    Судя по перечню ошибок, у разрабов руки из жопы. Сам факт, что большинство этих ошибок закрывается на уровне кода и серверных настроек htaccess, говорит о том, что либо команда подрядчиков некомпетентна, либо заказчик поленился подготовить качественное тз.
    • Ivan Kleshchev
      Reply
      Ivan Kleshchev 6 лет назад
      А зачем "отсутствие дублей" включать в тз?)))
    • Владимир Боб
      Reply
      Владимир Боб 6 лет назад
      Иван Клещёв не верная постановка. <br><br>Единый, каноничный адрес всех страниц в нижнем регистре со слешем в конце. Без дублей, суффиксов, редиректов и прочей хни ...
    • Ivan Kleshchev
      Reply
      Ivan Kleshchev 6 лет назад
      Владимир Боб Если такое надо писать в тз.... Бррр.... Чтож там за разрабы то...
    • Владимир Боб
      Reply
      Владимир Боб 6 лет назад
      Иван Клещёв та да)
    • Кузьма Феськов
      Reply
      Кузьма Феськов 6 лет назад
      Иван Клещёв ну возьмем Битрикс, там из коробки несколько вариантов пути до одного и того же контента. Этим же страдают некоторые другие фреймворки. Если не просить это закрыть - никто закрывать и не будет.
  11. Марія Формазюк
    Reply
    Марія Формазюк 6 лет назад
    Спасибо всем, за ответы. Будем искать адекватного разработчика
    • Kiryl Kamarouski
      Reply
      Kiryl Kamarouski 6 лет назад
      А ссылочку на сайт можно? вот просто интересно глянуть на ваг магазин что вам понадобился фреймворк при обилии коробочных решений
  12. Юрий Хаит
    Reply
    Юрий Хаит 6 лет назад
    public function beforeaction($action){<br> $absoluteUrl = Yii::$app-&gt;request-&gt;absoluteUrl;<br> if ((strpos($absoluteUrl, 'index.php') !== false)) {<br> $scriptUrl = Yii::$app-&gt;request-&gt;scriptUrl;<br> $new_url = str_replace($scriptUrl, "", $absoluteUrl); <br> $this-&gt;redirect($new_url, 301);<br> }<br> return true;<br>}<br><br>Ну а если серьёзно - читаем метод №1 https://klisl.com/dubli_stranic.html
    • Марія Формазюк
      Reply
      Марія Формазюк 6 лет назад
      А есть вариант удалить дубли?
  13. Марія Формазюк
    Reply
    Марія Формазюк 6 лет назад
    Добрый день. Сегодня нашли еще один интересный момент при обработки страницы с 404 ошибкой сервер отдает сначала 200 а лишь потом 404. Может кто объяснить как такое может быть???
    • Валерий Сыщук
      Reply
      Валерий Сыщук 6 лет назад
      Пример: вас спросили "знаете Аню Иванову?"<br>Вы ответили: да, знаю. А нет, не знаю, ту которую я знаю зовут, Аня Петрова.<br>Так и здесь - есть обработчик, которые первоначально отдает 200 ответ сервера, а потом в процессе работы и генерации страницы отдает 404 "нет такую не знаю"
    • Марія Формазюк
      Reply
      Марія Формазюк 6 лет назад
      но Гугл называет такие 404 - ложными. Вот https://support.google.com/webmasters/answer/181708?hl=ru
    • Валерий Сыщук
      Reply
      Валерий Сыщук 6 лет назад
      Марія Формазюк это точно этот случай?
  14. Марія Формазюк
    Reply
    Марія Формазюк 6 лет назад
    Вот пример ответа сервера [05/Jun/2019:13:12:42 +0300] "GET /uk-ua/data HTTP/1.1" 200 976 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"<br>[05/Jun/2019:13:12:42 +0300] "GET /uk-ua/page/catalog%2Fbasic-ua%2Ftest-ua%2Findex.php HTTP/1.1" 404 47 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
Click here to cancel reply.