На сайт идет трафик на давно не существующие страницы



Надоело! Коротко. Очень долгий период (не один год!) на сайт идет трафик на давно не существующие страницы. Идет явный перебор по определенной маске на самом деле ранее существующих адресов. Все IP не имеют между собой никакой связи, география - по всему миру, но преобладает Россия и Украина. За пару дней набирается десятки тысяч уникальных ip. Бывают редкие повторы. Много VPN, в т.ч. ip из одной сети. Не бот, без referer, user-agent всегда разные, в заголовках кроме accept-language ничего нет чтоб уловить какие-либо полезные для анализа закономерности. Именно неизменный "Accept-Language: ru,uk;q=0.9,en-US;q=0.8,en;q=0.7" во всех случаях говорит что это один источник.
Возвращаю 403 ошибку и в Headers отправляю X-Frame-Options: DENY, а в content-security-policy frame-src и frame-ancestors прописано 'self' и несколько нужных адресов. Но никак это не меняет картину.
Люди добрые, что это и как справиться? Может кто надоумит, как порешать эту хрень. Вреда особого нет (воровства нет, нагрузка не убийственная), но все же не порядок.
746   22  

Comments

  1. Станислав Тетера
    Станислав Тетера 5 лет назад
    А сделай 301 <img height="16" width="16" alt="🙂" referrerpolicy="origin-when-cross-origin" src="https://static.xx.fbcdn.net/images/emoji.php/v9/t4c/1/16/1f642.png">
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Stanislav Tetera делал
    • Pavel Sokolov
      Pavel Sokolov 5 лет назад
      Андрій Бовкун Первая мысль - это поставить 301 редирект, но как вижу, это уже реализовано. Ставьте ссылки на карточки товаров. Если покупок не будет, то блокируйте эти страницы в robots.txt. Так вы избежите санкций по накрутке поведенческих факторов.
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Pavel Sokolov в robots.txt disallow прописан
  2. Константин Мельников
    Константин Мельников 5 лет назад
    Проверьте сайт по старым базам спамилок типа хрумер, гса и прочие.
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Константин Мельников Может быть в этом что-то есть. Знаю, что такие сайты есть, но никогда с ними не сталкивался. Я искал по разному упоминание своих страниц. Пусто. НоВсе страницы - это страницы результатов поиска. Там никогда не было форм. И в get параметрах лишних значений нет.
  3. Kirill Kharun
    Kirill Kharun 5 лет назад
    Всем привет! Вопрос по Аналитиксу. Запускаю сайт на полторы сотни стран, с субдоменами "главного" домена и с отдельными доменами (в зависимости от занятости домена в стране). Как посоветуете установить код Google Analytics, чтоб потом удобно анализировать ситуацию в целом и по каждой из стран? Спасибки за дельный совет )
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Kirill Kharun Это не оно. Года три точно.
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Kirill Kharun тот сайт еще не запустил, по аналитиксу оптимального решения не нашел
    • Kirill Kharun
      Kirill Kharun 5 лет назад
      Андрей Бовкун очень мало данных.Но если Вреда особого нет (воровства нет, нагрузка не убийственная), но все же не порядок. Тогда вы перфекционист Поздравляю Ваш сайт будет выбран для дальнейших тестов алгоритма. С Наступающим Апдейтом 2021)
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Kirill Kharun эти странице запрещены к индексу. Какой тут пф??
    • Kirill Kharun
      Kirill Kharun 5 лет назад
      Андрей Бовкун в роботсе закрыты?редирект поставлен?тогда внешние факторы влияют, где ставили ссылки?внешняя оптимизация нужна Андрей)
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Kirill Kharun В robots.txt закрыто. 301 раньше долго стоял. Потом 403. Ничего не изменилось.Ссылки не ставил. Ссылочная масса росла естественным путем.Ума не приложу что тут придумать из внешн оптимизации (
  4. Павел Звездин
    Павел Звездин 5 лет назад
    как по мне не сео это, а сисадминско-кулхацкерское
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Павел Звездин да чуток оффтоп, но чую, сопряженность есть какая-то на техническом уровне )
  5. Ойген Ульрих
    Ойген Ульрих 5 лет назад
    cloudflare и режим под атакой
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Eugen Ullrich кроме блокировки запросов к серверу какая практическая польза еще?
    • Ойген Ульрих
      Ойген Ульрих 5 лет назад
      Andriy Bovkun меньше нагрузка на сервер = больше ресурсов для того, что действительно важно. ну и заодно сжатие активировать для pagespeed
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Но причину там выявить никак?
    • Ойген Ульрих
      Ойген Ульрих 5 лет назад
      Andriy Bovkun ну попробуй отпинговать назад некоторые айпи. почитай ответ сервера, что там? если бот какой, может ответ даст что бот.
    • Андрей Бовкун
      Андрей Бовкун 5 лет назад
      Eugen Ullrich делал. Десятки тысяч ip. По всему миру. По Украине - мелкие и крупные провайдеры из разных городов. Ощущение что страницы запрашиваются реальными пользователями в iframe в банерах или т.п. без их ведома и сами страницы никто не видит. Но одинаковый accept-language это предположение ставит под сомнение. И запрашивается только страница, т.е. без css, javascript и графики
  6. Evgeniy Orlov
    Evgeniy Orlov 5 лет назад
    Eugen Streichert , как с такой напастью седые строгие мужчины борются?