EOMY.NET

[Roma-i-alena]

Вот балда, а я пропустил данный пункт так как у меня нет динамических ссылок!
Спасиб!

[Wink]

Roma-i-alena
Я не пытаюсь сделать здесь учебник по SEO, а оптимизирую собственный сайт, поэтому повторять один в один все мои действия не стоит

Правильный robots.txt который ничего не запрещает выглядит примерно так:

[Roma-i-alena]

Спасиб!

[Gimli]

может и ошибаюсь, НО:
т.к. мы меняем

[Wink]

Gimli
Логично Конечно не ошибаешься, я просто забыл про эту строчку написать.

[Wink]

Шаг 8. Карта сайта

Лучший способ подружить поисковик с сайтом - явно указать все странички которые он должен проиндексировать. Для этого служит карта сайта - обычно это xml-файлик sitemap.xml, который располагается в коренном каталоге и содержит список страниц для индексации.
Формат файла и порядок работы с ним описаны на сайте sitemap.org

Обычно для больших сайтов, типа форумов с кучей топиков и разделов, я пишу свой собственный скрипт, формирующий sitemap.xml, но в данном случае просто воспользовался одним из онлайн-генераторов. Для небольшого сайта с количеством страниц до 500 довольно удобный. Нашлись 220 страничек и получился файл размером в 40Кб. Заодно таким образом можно проверить, какие из страниц доступны ботам - если какая-нибудь не нашлась, значит стоит поискать ошибки в системе навигации.

Чтобы скормить карту сайта Гуглю, нужно иметь в нем учетную запись веб-мастера, добавить в инструментах свой сайт и указать название файла.
У кого еще нет такой учетной записи, регистрация здесь.



После подтверждения сайта в инструментах веб-мастера можно найти много интересных отчетов и дополнительных сервисов, которые будут полезны. Некоторые из отчетов, типа показа всех внутренних и внешних ссылок сайта, обновляются очень редко, но могут предоставить информацию, которую Гугль обычно прячет.

По некоторым данным Яндекс также в этом году собирается запустить поддержку карт - некоторые веб-мастера фиксируют обращение поискового бота к файлу sitemap.xml - видимо идет тестирование такой возможности.

Ну и до кучи стоит написать, что существует расширение файла robots.txt, позволяющее явным образом указать название файла карты. Для Гугля и Яндекса у меня прописаны отдельные правила, а для всех остальных вполне можно такую строку дописать:

[Milka]

Очень полезный топик, спасибо.
_________________
Семь бед, один reset...

[azure]

Wink, а Яндексу такое что-то говорит?:
Sitemap: http://radec-m.ru/sitemap.xml

Не хочет индексировать все страници одного моего сайта, или долго думает , я для его тоже самое прописал что у меня для Гугли, но он ...
Гугля все отлично "скушала"
_________________
admin - http://zagadki.org.ua

[Wink]

azure
Строку sitemap в robots.txt понимают пока немногие поисковики и Яндекс к ним точно не относится

[lazutov]

http://www.freesitemapgenerator.com/
к сайтмепам.
ждать не надо,
оно присылает имейл когда заканяивает, удобно
_________________
сервис DNS | разные http, DNS и прочие утилиты