prowebber.ru - Тут есть все для настоящих вебмастеров

Чтение RSS Мы в твиттере
«    Декабрь 2016    »
ПнВтСрЧтПтСбВс
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 

Всё для вебмастера » Всё для DataLife Engine » Robots.txt для Datalife Engine

Robots.txt для Datalife Engine


Данный материал предоставлен сайтом ProWebber.ru исключительно в ознакомительных целях. Администрация не несет ответственности за его содержимое.
У нас вы можете скачать бесплатно Robots.txt для Datalife Engine.


Имея кучу сайтов на DLE, сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), конечно же, Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида "my-dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента.
Вообще, причины вспомнить о robots.txt могут быть разными, к примеру, в этом заветном файле можно передать Sitemap Google’у и Яндексу не заходя в панель вебмастера.

Как сделать правильно?
Почитав и интернете форумы и официальные мануалы поисковиков и сравнивая прочитанное, можно сказать, что люди часто не читают руководств и ошибаются, к примеру, в robots.txt нет директивы"Allow” есть только"Disallow”
Для начала давайте выясним, чего мы хотим от нашего файла:
Хорошая индексируемость нужных страниц ПС
Отсутствие ненужных страниц в индексе ПС (всё равно вылетят из индекса)
Задание заркала для Яндекса

Если хотите разобраться, тогда давайте по порядку. Это запретит индексировать всем поисковым роботам страницы для печати:

User-agent: *
Disallow: /*print


Уберём из индекса страницы без контента (они рано или поздно всё выпадут):
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html


По вкусу, и в зависимости от уровня Вашей паранои можно добавить также:
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts


Теперь любезно добавляем Sitemap для Поисковых систем. Вы наверняка прекрасно знаете, насколько он полезен для индексации Вашего сайта.
Идём в админку -> другие разделы -> в самом низу заходим в «Google Sitemap». Оставляем все настройки по умолчанию и жмём «создать/обновить». Сверху должна появиться надпись вида «25.01.2009 10:37 файл индекса для Google Sitemap был создан и доступен по адресу: http://my-dle-site/sitemap.xml». Теперь даём знать о нём поисковикам:

Sitemap: http://my-dle-site/sitemap.xml

И добавляем основное зеркало для Яндекса, чтобы не было недоразумений с его стороны) Идём по адресу: http://yandex.ru/yandsearch?serverurl=my-dle-site
и смотрим, как проиндексирован Ваш сайт с www или без. Добавляем в robots.txt директиву вида:
User-agent: Yandex
Host: my-dle-site

my-dle-site, если сайт в индексе без www, и наоборот. Если сайт ещё не проиндексирован Яшей, то указывайте так, как Вам больше нравится видеть Ваш сайт.

Вот и всё. Правильный robots.txt для ДЛЕ будет выглядеть примерно так:
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml
User-agent: Yandex
Host: my-dle-site


Потратив 5 минут на создание такого файла можно значительно облегчить себе/поисковикам жизнь и работу в дальнейшем.

Автор: неизвестен


0
Просмотры: 8801 VIP ProWebber | Комментарии (20)
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

#1angik

  • 19 мая 2010 18:38
  • Регистрация: 12.05.2010
  • ICQ: --
  • Комментариев: 39
Спасибо за новость, сегодня попробую и отпишусь об эффекте

0

#2nartuk

  • 19 мая 2010 18:40
  • Регистрация: 7.05.2010
  • ICQ: --
  • Комментариев: 220
  • Выкл.
angik,
Эффект наступит через неделю-вторую, а может и позже (или раньше).
Это же зависит от ПС smile Как только просканят тебя наново так и будет эффект!

--------------------

0

#3E-BOYZ

  • 19 мая 2010 19:13
  • Регистрация: 18.02.2010
  • ICQ: 367612955
  • Комментариев: 191
  • Выкл.
Disallow: /admin.php

Зачем палить админку??? О_о


Disallow: /autobackup.php
Disallow: /favorites/

И как повашему ПС проиндексирует эти страницы если на них нет ссылок?

0

#4RipWay

  • 19 мая 2010 19:23
  • Регистрация: 9.01.2010
  • ICQ: 310687
  • Комментариев: 21
Вот и всё. Правильный robots.txt для ДЛЕ будет выглядеть примерно так:

Вот это только добавь - User-agent: *

и Disallow: /admin.php не стоит писать этого.

Disallow: /engine/download.php
Disallow: /engine/go.php

думаю стоит это добавить

0

#5nartuk

  • 19 мая 2010 19:31
  • Регистрация: 7.05.2010
  • ICQ: --
  • Комментариев: 220
  • Выкл.
tecktonik-super,
RipWay,
Автор статьи не я, поэтому не модифицировал тест статьи.

З.Ы. Между прочем на DLE сайтах лучше сразу переименовать файл админки smile
Причем в стиле dsfsd3dfsd454545454ssd.php smile

--------------------

0

#6Mel

  • 19 мая 2010 19:42
  • Регистрация: 8.04.2010
  • ICQ: 565027139
  • Комментариев: 377
Цитата: nartuk
Причем в стиле dsfsd3dfsd454545454ssd.php

зачем?(я овичок)

0

#7mochej

  • 19 мая 2010 19:46
  • Регистрация: 31.10.2009
  • ICQ: 4188003
  • Комментариев: 242
Mel,
Что бы сайт не угнали.. И бд не слили..

0

#8E-BOYZ

  • 19 мая 2010 20:00
  • Регистрация: 18.02.2010
  • ICQ: 367612955
  • Комментариев: 191
  • Выкл.
Что бы сайт не угнали.. И бд не слили..

Даже если и узнают как называется файл админки, не факт что ещё сайт смогут угнать=)

0

#9zasranec

  • 19 мая 2010 20:51
  • Регистрация: 25.10.2009
  • ICQ: --
  • Комментариев: 195
кстати те кто используют редирект
можно добавить
/go/?

--------------------

0

#10Mel

  • 19 мая 2010 20:54
  • Регистрация: 8.04.2010
  • ICQ: 565027139
  • Комментариев: 377
Все! переименовал

0

#11nartuk

  • 19 мая 2010 20:57
  • Регистрация: 7.05.2010
  • ICQ: --
  • Комментариев: 220
  • Выкл.
zasranec,
Это что за редирект такой ?
/go/?

Может быть (DLE родной):
/engine/go.php


В общем, у кого стоят доп. модули/хаки редиректов (типо dude Smart Leech и т.п.) то можете тоже добавлять.
Только не надо каждому здесь писать какой у него адрес редиректа smile

--------------------

0

#12Error

  • 19 мая 2010 22:14
  • Регистрация: 27.09.2009
  • ICQ: --
  • Комментариев: 22
Автор, спс, но ты не прав на счёт сейпа, чем тебе помешали печатные страницы, а ведь они оч хорошо продаются как и индексятся просто как грится нужно их уметь готовить, а именно подключить элементарно просто код биржи...

Для подключения страниц для печати откройте show.full.php и static.php(engine\modules) и после строки:
if( ! defined( 'DATALIFEENGINE' ) ) {
    die( "Hacking attempt!" );
}



вставьте:
///////////////////////////////////
/// Код Sape
///////////////////////////////////
define('_SAPE_USER', '********************');  
require_once($_SERVER['DOCUMENT_ROOT'].'/'._SAPE_USE

R.'/sape.php');  
$sape = new SAPE_client();
$tpl->set('{linkis}', $sape->return_links());
///////////////////////////////////



внимание не забудьте вставить свой код вместо звёздочек*.

В файлы шаблонов print.tpl и static_print.tpl в папке templates в нужном месте вставьте тег для вывода ссылок:
{linkis}


Тег {linkis} можете заменить на свой

0

#13nartuk

  • 19 мая 2010 22:26
  • Регистрация: 7.05.2010
  • ICQ: --
  • Комментариев: 220
  • Выкл.
Error,
Спасибо за мануал интергации сапы smile drink

--------------------

0

#14kaybox

  • 20 мая 2010 13:36
  • Регистрация: 1.02.2010
  • ICQ: --
  • Комментариев: 57
а статические старницы можно и в админке отключить от индексации поисковиками, а вообще а этой статье описано совсем не то что стоит скрывать в файле robots.txt

0

#15lika004

  • 21 мая 2010 03:28
  • Регистрация: 27.01.2010
  • ICQ: 373624275
  • Комментариев: 158
Классно, узнала много нового. ну там еще строка есть типа через какое время индексировать.

0

#16nartuk

  • 21 мая 2010 04:38
  • Регистрация: 7.05.2010
  • ICQ: --
  • Комментариев: 220
  • Выкл.
lika004,
Вообще-то мета-тег revisit-after, а строка это понятие растяжимое smile

--------------------

0

#17super120

  • 21 мая 2010 15:29
  • Регистрация: 3.01.2010
  • ICQ: --
  • Комментариев: 52
Описание не ново, но все равно спасибо.
И кстати я заметил, что бот Яндекса очень прихотлив и любит когда к нему лично "обращаются", поэтому полный роботс.тхт будет выглядить примерно так
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml
Host: my-dle-site


А то когда для Яши отдельно не прописывал, он с удовольствием "кушал" страницы юзеров

0

#18nartuk

  • 21 мая 2010 15:34
  • Регистрация: 7.05.2010
  • ICQ: --
  • Комментариев: 220
  • Выкл.
super120,
Для полного удовлетворения можно даже так:
User-agent: *
правила

User-agent: Yandex
правила

User-agent: StackRambler
правила

User-agent: Googlebot
правила

Host: www.host.ru
Sitemap: http://www.host.ru/sitemap.xml


Ну и там еще добавить ботов по вкусу smile

--------------------

0

#19Azimut

  • 25 мая 2010 14:17
  • Регистрация: 15.02.2010
  • ICQ: --
  • Комментариев: 4
Я бы еще поставил
Crawl-delay: 5

чтобы роботы слишком часто не стучали

0

#20super120

  • 26 мая 2010 00:12
  • Регистрация: 3.01.2010
  • ICQ: --
  • Комментариев: 52
Цитата: nartuk
Ну и там еще добавить ботов по вкусу

Да остальные боты вроде нормальные и хорошо относятся к User-agent: *, а вот именно у Яндекса видимо какие-то проблемы с этим либо Мания Величия biggrin

0
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии в данной новости.

Max-energy.top - Заработок на электросчетчиках;)

Skripters.info - все для вебмастера. Только эксклюзивный контент.

Создание шаблонов DLE, быстро и недорого! 3wave.com.ua

Бро лей на лучшую партнёрку

Почти бесплатный VDS хостинг!

Поддержи сайт
Скрипты, cms, шаблоны, статьи по раскрутке

Опросы

Как часто вы бываете на сайте?

Захожу 1-2 раза в день
1-2 часа в сутки
Более 2 часов
Почти целый день тут smile

Архив новостей
Ноябрь 2016 (7)
Октябрь 2016 (10)
Сентябрь 2016 (8)
Август 2016 (11)
Июль 2016 (14)
Июнь 2016 (17)

Последние комментарии:

Искать людей

Ваши переписки