Файл robots.txt для joomla
Файл robots.txt это простой файл сделанный в текстовом редакторе, его можно создать в любом редакторе типа в блокноте или любом текстовом редакторе. Этот файл можно сделать сразу один для всех поисковых роботов, а также прописать правило для каждого отдельного робота. Сейчас хватает одного правила для всех роботов Делаем просто в редакторе в соответствие с правилами составления и размещаем файл роботс для joomla или сайта под другой cmc в корне сайта. Сразу в папке www/
В файле присутствует несколько директив все они лбязательны:
User-agent: *
прописывается в самом начале документа.
Работа поискового робота состоит из сессий, по окончание каждой сессии идет запрос к робот тхт.
Если запрос покажет, что этого файла нет, робот считает что разрешено сканировать все страницы.
В robots.txt присутствуют директивы Disallow и Allow
Disallow запрещает доступ к страницам
Allow разрешает.
После User-agent: * нельзя ставить пустых переходов строчки типа должно быть:
User-agent: *
Disallow или Allow
Если поставить #, после символа можно писать комментарии.
Если на одну страницу стоит Disallow и Allow, приоритет отдан будет Allow.
Так же если прописать
Disallow: /retseptiprigotovlenie/salat/8/
доступ к http://www.mani-mani-net.com /retseptiprigotovlenie/salat/8 разрешен
а к http://www.mani-mani-net.com /retseptiprigotovlenie/salat/8/ запрещен
При составление робот тхт проверяйте его на Яндексе, он скажет что запрещено а что нет
Директивы Disallow или Allow работают по длине адреса страницы.
Если для страницы написать несколько директив, робот будет читать последнюю в документе.
В этом файле надо закрыть все дубли страниц. Какие и где дубли могут появиться показано в видео, но не все.
Для каждого веб ресурса надо создать индивидуальный файл.
в robots.txt можно применить специальный символ * или $
Disallow /сайт /*.asw - запрет '/cgi-bin/example.asw'
так же '/сайт /rivate/test.asw'
Disallow: /*сайт запрет не только на '/сайт',
а так же '/сайт/rivate'
С первого раза не много не понятно, самый простой способ разобраться. Пойти на Яндекс и попробовать.
Пишите в поиске проверить robots.txt Яндекс, и вы там.
В видео robots.txt показано как что проверять и какие директории надо закрыть.
Ниже пример:
Проверить на Яндексе
http://webmaster.yandex.ru/robots.xml
Пример робот txt
User-agent: *
Закрываем директорию или страницу сайта на joomla--Disallow: /administrator/ директория администратор
Закрываем директорию или страницу сайта--Disallow: /cache/ папка кеш
Закрываем директорию или страницу сайта--Disallow: /cli/
Закрываем директорию или страницу сайта--Disallow: /components/ компоненты
Закрываем директорию или страницу сайта--Disallow: /includes/
Закрываем директорию или страницу сайта--Disallow: /language/ языковые файлы
Закрываем директорию или страницу сайта--Disallow: /libraries/ так можно закрыть библиотеки
Закрываем директорию или страницу сайта--Disallow: /logs/ логи сайта
Закрываем директорию или страницу сайта--Disallow: /media/
Закрываем директорию или страницу сайта--Disallow: /modules/ модули
Закрываем директорию или страницу сайта на joomla--Disallow: /*print* отправить на принтер
Закрываем директорию или страницу сайта--Disallow: /*print=1 распечатать материал
Закрываем директорию или страницу сайта--Disallow: /index.php?do=search* поиск
Закрываем директорию или страницу сайта в файле robots--Disallow: /component/search/ поиск
Закрываем директорию или страницу сайта--Disallow: /index.php? страницы с адресом ndex.php?
Закрываем директорию или страницу сайта--Disallow: /index2.php страницы с адресом index2.php
Закрываем директорию или страницу сайта--Disallow: /index.php страницы с адресом /index.php
Закрываем директорию или страницу сайта--Disallow: /index.html страницы с адресом .htm
Закрываем директорию или страницу сайта--Disallow: /plugins/ так можно закрыть плагины
Закрываем директорию или страницу сайта--Disallow: /templates/ шаблон сайта
Закрываем директорию или страницу сайта--Disallow: /tmp/ временные файлы
Закрываем директорию или страницу сайта--Disallow: /xmlrpc/
Закрываем директорию или страницу сайта--Disallow: /*com_mailto формы отправки письма
Закрываем директорию или страницу сайта--Disallow: /*pop= закрытие всплывающих окошек
Закрываем директорию или страницу сайта файлом txt--Disallow: /*lang=ru
Закрываем директорию или страницу сайта--Disallow: /print принтер, печать
Закрываем директорию или страницу сайта--Disallow: /*print= принтер, печать
Закрываем директорию или страницу сайта--Disallow: /*task=vote форма голосования на сайте
Закрываем директорию или страницу сайта--Disallow: /*=watermark по этой ссылки открываются водяные знаки
Закрываем директорию или страницу сайта--Disallow: /*=download файлы для закачки
Закрываем директорию или страницу сайта--Disallow: /*user/ папка с пользователями данные и так далее
Закрываем директорию или страницу сайта--Disallow: /404 стр. с ошибками четыреста четыре
Закрываем директорию или страницу сайта--Disallow: /index.php?do=search* поиск
Закрываем директорию или страницу сайта--Disallow: /*format=
Закрываем директорию или страницу сайта--Disallow: /*.pdf файлы pdf
Закрываем директорию или страницу сайта--Disallow: /*.swf можно закрыть флеш, решаем сами надо или нет
Закрываем директорию или страницу сайта--Disallow: /*=rss так можно закрыть rss
Закрываем директорию или страницу сайта--Disallow: /sv Страницу закрыл
Закрываем директорию или страницу сайта--Disallow: /novosti Страницу закрыл
Закрываем директорию или страницу сайта--Disallow: /pogoda_mira Страницу закрыл
Закрываем директорию или страницу сайта--Disallow: /rabota-mani-internet.narod2.ru Зеркало закрыл.
Закрываем директорию или страницу сайта файлом txt--Disallow: /www.ra.ru Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /r.ru Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /www.rd.ru Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /www.mani-mani-net.net Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /mani-mani-net.net Зеркало закрыл.
Закрываем директорию или страницу сайта--Disallow: /mt.com Закрыл адреса без www так же в .htaccess стоит в робот не надо писать то что ниже две строчки:
RewriteCond %{HTTP_HOST} ^mani-mani-net.com$ [NC] пере направление без www на с www
RewriteRule ^(.*)$ http://www.mani-mani-net.com/$1 [R=301,L] пере направление без www на с www писать надо две строчки.
Закрываем директорию или страницу сайта--Disallow: *1&limitstart пункт в правом меню содержит эти знаки
Закрываем директорию или страницу сайта--Disallow: *&limitstart пункт в правом меню содержит эти знаки
Закрываем директорию или страницу сайта--Disallow: *mailto формы отправления письма
Закрываем директорию или страницу сайта--Disallow: *odudecardshow страницы закрыл с таким адресом в название
Закрываем директорию или страницу сайта--Disallow: *odudecardpre страницы закрыл с таким адресом в название
Закрываем директорию или страницу сайта--Disallow: *odudecardsend страницы закрыл с таким адресом в название
Типа есть страницы с открытками типа, эта нужна для индекса:
http://www.mani-mani-net.com/component/odudecard/odudecardlist/2?Itemid=101
А эти дубли картинок получаются, закрыл:
http://www.mani-mani-net.com/component/odudecard/odudecardshow/2/282?Itemid=101
http://www.mani-mani-net.com/component/odudecard/odudecardpre?Itemid=101
http://www.mani-mani-net.com/component/odudecard/odudecardsend?Itemid=101
http://www.mani-mani-net.com/component/odudecard/?Itemid=101
Закрываем директорию или страницу сайта--Disallow: *1?limitstart страницы закрыл с таким адресом в название
Закрываем директорию или страницу сайта--Disallow: *?limitstart страницы закрыл с таким адресом в название
Закрываем директорию или страницу сайта--Disallow: *&Itemid страницы закрыл с таким адресом в название
Закрываем директорию или страницу сайта--Disallow: *showall=&start страницы закрыл с таким адресом в название
Закрываем директорию или страницу сайта--Disallow: /retseptiprigotovlenie/salat/8/ Страницу закрыл
Host: www.mani-mani-net.com
Так же главное зеркало сайта, то есть с www или без можно выбирать на Яндексе в панели управления.
Sitemap: http://www.mani-mani-net.com/Sitemap.xml так указывается расположение карты сайта в файле robots txt для joomla
В Sitemap прописаны страницы типа:
http://www.mani-mani-net.com/retseptiprigotovlenie/soleniyakonservirovanie
http://www.mani-mani-net.com/retseptiprigotovlenie/soleniyakonservirovanie?start=1 с?start=1, на сайте адреса другие в меню справа.
На этом сайте в принципе тоже самое, только нет разделов некоторых.
Папку шаблона сейчас закрывать не надо Почему
Файл можно проверить в панели веб мастера на Яндекс и google. Проверяются страницы закрыты или нет от индекса.
В видео показано как проверить robots txt Яндекс.
Так же показано как проверить robots txt для google.
joomla +как установить русский язык
Как установить изображение на сайт
Надо зарегиться для проверки на этих сервисах Яндекс и google