Файл robots.txt
User-agent: *
Host: you-site.com
Sitemap: http://you-site.com/sitemap.xml
- Индексация открыта
- Указан хост сайта
- Карта сайта
Как закрыть сайт от индексации
User-agent: *
Disallow: /Robots.txt оптимальный(SEO)
User-agent: Yandex
Disallow: */search
Disallow: *Brend[]=
Disallow: *price_max=
Disallow: *price_min=
Disallow: *strana[]=
Disallow: *tip[]=
Disallow: *serii[]=
Disallow: *vozrast[]=
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /*gclid=
Disallow: /*utm_source=
Disallow: /*login
Host: site.com.ua
User-agent: Googlebot
Disallow: */search
Disallow: *Brend[]=
Disallow: *price_max=
Disallow: *price_min=
Disallow: *strana[]=
Disallow: *tip[]=
Disallow: *serii[]=
Disallow: *vozrast[]=
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /*gclid=
Disallow: /*utm_source=
Disallow: /*login
User-agent: *
Disallow: */search
Disallow: *Brend[]=
Disallow: *price_max=
Disallow: *price_min=
Disallow: *strana[]=
Disallow: *tip[]=
Disallow: *serii[]=
Disallow: *vozrast[]=
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /*gclid=
Disallow: /*utm_source=
Disallow: /*login
Sitemap: http://site.com.ua/sitemap.xml
Comments