Файл robots.txt для joomla.

Файл robots.txt это простой файл сделанный в текстовом редакторе, его можно создать в любом редакторе типа в блокноте или любом текстовом редакторе. Этот файл можно сделать сразу один для всех поисковых роботов, а также прописать правило для каждого отдельного робота. Сейчас хватает одного правила для всех роботов Делаем просто в редакторе в соответствие с правилами составления и размещаем файл роботс для joomla или сайта под другой cmc в корне сайта. Сразу в папке www/

В файле присутствует несколько директив все они лбязательны:

User-agent: *

прописывается в самом начале документа.

Работа поискового робота состоит из сессий, по окончание каждой сессии идет запрос к робот тхт.

Если запрос покажет, что этого файла нет, робот считает что разрешено сканировать все страницы.

В robots.txt присутствуют директивы Disallow и Allow

Disallow запрещает доступ к страницам

Allow разрешает.

После User-agent: * нельзя ставить пустых переходов строчки типа должно быть:

User-agent: *

Disallow или Allow 

Если поставить #, после символа можно писать комментарии.

Если на одну страницу стоит Disallow и Allow, приоритет отдан будет  Allow.

Так же если прописать

Disallow: /retseptiprigotovlenie/salat/8/

доступ к http://www.mani-mani-net.com /retseptiprigotovlenie/salat/8            разрешен

а к         http://www.mani-mani-net.com /retseptiprigotovlenie/salat/8/          запрещен

При составление робот тхт проверяйте его на Яндексе, он скажет что запрещено а что нет

Директивы Disallow или Allow работают по длине адреса страницы.

Если для страницы написать несколько директив, робот будет читать последнюю в документе.

В этом файле надо закрыть все дубли страниц. Какие и где дубли могут появиться показано в видео, но не все. 

Для каждого веб ресурса надо создать индивидуальный файл.

в robots.txt можно применить специальный символ * или $

Disallow /сайт /*.asw - запрет '/cgi-bin/example.asw'
так же '/сайт /rivate/test.asw'
Disallow: /*сайт запрет не только на '/сайт',
а так же '/сайт/rivate'

С первого раза не много не понятно, самый простой способ разобраться. Пойти на Яндекс и попробовать.

Пишите в поиске проверить robots.txt Яндекс, и вы там.

В видео robots.txt показано как что проверять и какие директории надо закрыть.

Ниже пример. 

Проверить на Яндексе 

http://webmaster.yandex.ru/robots.xml

 Пример робот txt

User-agent: *
Закрываем директорию или страницу сайта на joomla--Disallow: /administrator/ директория администратор
Закрываем директорию или страницу сайта--Disallow: /cache/ папка кеш
Закрываем директорию или страницу сайта--Disallow: /cli/
Закрываем директорию или страницу сайта--Disallow: /components/ компоненты
Закрываем директорию или страницу сайта--Disallow: /includes/
Закрываем директорию или страницу сайта--Disallow: /language/     языковые файлы
Закрываем директорию или страницу сайта--Disallow: /libraries/        так можно закрыть библиотеки 
Закрываем директорию или страницу сайта--Disallow: /logs/           логи сайта
Закрываем директорию или страницу сайта--Disallow: /media/
Закрываем директорию или страницу сайта--Disallow: /modules/      модули
Закрываем директорию или страницу сайта на joomla--Disallow: /*print*   отправить на принтер
Закрываем директорию или страницу сайта--Disallow: /*print=1               распечатать материал
Закрываем директорию или страницу сайта--Disallow: /index.php?do=search*  поиск
Закрываем директорию или страницу сайта в файле robots--Disallow: /component/search/   поиск
Закрываем директорию или страницу сайта--Disallow: /index.php?  страницы с адресом ndex.php?
Закрываем директорию или страницу сайта--Disallow: /index2.php  страницы с адресом index2.php 
Закрываем директорию или страницу сайта--Disallow: /index.php    страницы с адресом /index.php
Закрываем директорию или страницу сайта--Disallow: /index.html   страницы с адресом .htm
Закрываем директорию или страницу сайта--Disallow: /plugins/  так можно закрыть плагины
Закрываем директорию или страницу сайта--Disallow: /templates/  шаблон сайта
Закрываем директорию или страницу сайта--Disallow: /tmp/          временные файлы
Закрываем директорию или страницу сайта--Disallow: /xmlrpc/
Закрываем директорию или страницу сайта--Disallow: /*com_mailto  формы отправки письма
Закрываем директорию или страницу сайта--Disallow: /*pop=           закрытие всплывающих окошек
Закрываем директорию или страницу сайта файлом txt--Disallow: /*lang=ru
Закрываем директорию или страницу сайта--Disallow: /print     принтер, печать
Закрываем директорию или страницу сайта--Disallow: /*print= принтер, печать 
Закрываем директорию или страницу сайта--Disallow: /*task=vote   форма голосования на сайте
Закрываем директорию или страницу сайта--Disallow: /*=watermark   по этой ссылки открываются водяные знаки
Закрываем директорию или страницу сайта--Disallow: /*=download   файлы для закачки
Закрываем директорию или страницу сайта--Disallow: /*user/           папка с пользователями данные и так далее
Закрываем директорию или страницу сайта--Disallow: /404               стр. с ошибками четыреста четыре
Закрываем директорию или страницу сайта--Disallow: /index.php?do=search*   поиск
Закрываем директорию или страницу сайта--Disallow: /*format=
Закрываем директорию или страницу сайта--Disallow: /*.pdf         файлы pdf
Закрываем директорию или страницу сайта--Disallow: /*.swf        можно закрыть флеш, решаем сами надо или нет
Закрываем директорию или страницу сайта--Disallow: /*=rss        так можно закрыть rss
Закрываем директорию или страницу сайта--Disallow: /sv Страницу закрыл
Закрываем директорию или страницу сайта--Disallow: /novosti Страницу закрыл
Закрываем директорию или страницу сайта--Disallow: /pogoda_mira Страницу закрыл
Закрываем директорию или страницу сайта--Disallow: /rabota-mani-internet.narod2.ru Зеркало закрыл.
Закрываем директорию или страницу сайта файлом txt--Disallow: /www.ra.ru Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /r.ru Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /www.rd.ru Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /www.mani-mani-net.net Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /mani-mani-net.net Зеркало закрыл.

Закрываем директорию или страницу сайта--Disallow: /mt.com Закрыл адреса без www так же в .htaccess стоит в робот не надо писать то что ниже две строчки:

RewriteCond %{HTTP_HOST} ^mani-mani-net.com$ [NC]                     пере направление без www на с www
RewriteRule ^(.*)$ http://www.mani-mani-net.com/$1 [R=301,L]           пере направление без www на с www  писать надо две строчки.

Закрываем директорию или страницу сайта--Disallow: *1&limitstart  пункт в правом меню содержит эти знаки
Закрываем директорию или страницу сайта--Disallow: *&limitstart    пункт в правом меню  содержит эти знаки
Закрываем директорию или страницу сайта--Disallow: *mailto  формы отправления письма
Закрываем директорию или страницу сайта--Disallow: *odudecardshow  страницы закрыл с таким адресом в название 
Закрываем директорию или страницу сайта--Disallow: *odudecardpre     страницы закрыл с таким адресом в название 
Закрываем директорию или страницу сайта--Disallow: *odudecardsend   страницы закрыл с таким адресом в название 

Типа есть страницы с открытками типа, эта нужна для индекса:

http://www.mani-mani-net.com/component/odudecard/odudecardlist/2?Itemid=101 

А эти дубли картинок получаются, закрыл:

http://www.mani-mani-net.com/component/odudecard/odudecardshow/2/282?Itemid=101

http://www.mani-mani-net.com/component/odudecard/odudecardpre?Itemid=101

http://www.mani-mani-net.com/component/odudecard/odudecardsend?Itemid=101

http://www.mani-mani-net.com/component/odudecard/?Itemid=101


Закрываем директорию или страницу сайта--Disallow: *1?limitstart         страницы закрыл с таким адресом в название 
Закрываем директорию или страницу сайта--Disallow: *?limitstart           страницы закрыл с таким адресом в название 
Закрываем директорию или страницу сайта--Disallow: *&Itemid             страницы закрыл с таким адресом в название 
Закрываем директорию или страницу сайта--Disallow: *showall=&start    страницы закрыл с таким адресом в название 
Закрываем директорию или страницу сайта--Disallow: /retseptiprigotovlenie/salat/8/ Страницу закрыл

Host: www.mani-mani-net.com

Так же главное зеркало сайта, то есть с www или без можно выбирать на Яндексе в панели управления. 

Sitemap: http://www.mani-mani-net.com/Sitemap.xml    так указывается расположение карты сайта в файле robots txt для joomla

В Sitemap прописаны страницы типа:

http://www.mani-mani-net.com/retseptiprigotovlenie/soleniyakonservirovanie
http://www.mani-mani-net.com/retseptiprigotovlenie/soleniyakonservirovanie?start=1   с?start=1, на сайте адреса другие в меню справа.


На этом сайте в принципе тоже самое, только нет разделов некоторых.

Папку шаблона сейчас закрывать не надо. Почему.

Файл можно проверить в панели веб мастера на Яндекс и google. Проверяются страницы закрыты или нет от индекса.

В видео показано как проверить robots txt Яндекс.

Так же показано как  проверить robots txt +для google.

робот тхт

заказать сайт недорого

joomla +как установить русский язык

Как установить изображение на сайт

Надо зарегиться для проверки на этих сервисах Яндекс и google

Добавить комментарий