|
Allow, Disallow, robots.txt
|
| Автор |
Сообщение |
LargeCell
Пол-пирога
Зарегистрирован: 19.07.2009
Сообщения: 95
2218 
|
 Добавлено: Вт, 06 Окт, 2009 12:48 Заголовок сообщения: Allow, Disallow, robots.txt |
 |
|
Есть вопрос небольшой. Можно ли в robots.txt использовать подобную конструкцию:
| Цитата: | User-agent: *
Allow: /ds/ds-news/
Disallow: /ds/ |
То есть, использовать директиву Disallow после Allow? Чтобы поисковик не индексировал папку /ds/, но смотрел на /ds/ds-news/ .
Проверил в hxxp://webmaster.yandex.ru/wmconsole/ свой роботс, вроде принимает нормально, пишет что /ds/ запрещен к индексации, а /ds/ds-news/ разрешен. Если директиву Allow поставить после Disallow то яндекс пишет что папки запрещены к индексации в обоих случаях. А что в случае других поисковиков?
Может вопрос нубский, я это спрашиваю, потому что во всех примерах показано, как Allow идет после Disallow.
p.s. задал вопрос на мастерталке. почему-то молчат. |
|
| Вернуться к началу |
|
 |
[LP]LordPro.teus
Призрак Лорда
Зарегистрирован: 26.07.2007
Сообщения: 5092
42282
|
| Добавлено: Вт, 06 Окт, 2009 12:51 Заголовок сообщения: |
|
|
LargeCell
если брать по аналогии с .htaccess - то было бы корректнее использовать Allow после Disallow + директива Order
_________________
 
До выхода LiteDiary 0.3.0: парам-пам-пам-пам! Она уже здесь! |
|
| Вернуться к началу |
|
|
LargeCell
Пол-пирога
Зарегистрирован: 19.07.2009
Сообщения: 95
2218
|
| Добавлено: Вт, 06 Окт, 2009 14:56 Заголовок сообщения: |
|
|
Яндекс это кушает нормально:
я так думаю, что изначально директивой allow пользовался google, теперь и яндекс? |
|
| Вернуться к началу |
|
|
[LP]LordPro.teus
Призрак Лорда
Зарегистрирован: 26.07.2007
Сообщения: 5092
42282
|
| Добавлено: Вт, 06 Окт, 2009 15:01 Заголовок сообщения: |
|
|
LargeCell
Именно. К сожалению, некоторые "тупые" биржи до сих пор не научились с этим работать.
_________________
До выхода LiteDiary 0.3.0: парам-пам-пам-пам! Она уже здесь! |
|
| Вернуться к началу |
|
|
LargeCell
Пол-пирога
Зарегистрирован: 19.07.2009
Сообщения: 95
2218
|
| Добавлено: Вт, 06 Окт, 2009 15:08 Заголовок сообщения: |
|
|
| [LP]LordPro.teus, спасибо! |
|
| Вернуться к началу |
|
|
goodluck
Хостинг — это наше всё!
Зарегистрирован: 25.03.2007
Сообщения: 245
5685
|
| Добавлено: Вт, 06 Окт, 2009 15:09 Заголовок сообщения: |
|
|
Подобную команду будут понимать не все поисковые роботы.
_________________
Статьи и заметки про Интернет |
|
| Вернуться к началу |
|
|
[LP]LordPro.teus
Призрак Лорда
Зарегистрирован: 26.07.2007
Сообщения: 5092
42282
|
| Добавлено: Вт, 06 Окт, 2009 15:17 Заголовок сообщения: |
|
|
goodluck
Основные - все будут. Остальные... пусть учатся.
_________________
До выхода LiteDiary 0.3.0: парам-пам-пам-пам! Она уже здесь! |
|
| Вернуться к началу |
|
|
LargeCell
Пол-пирога
Зарегистрирован: 19.07.2009
Сообщения: 95
2218
|
| Добавлено: Ср, 07 Окт, 2009 06:42 Заголовок сообщения: |
|
|
Может кому тоже пригодится, можно скрыть папку (но не подпапку) таким образом:
Disallow: /ds/$
Disallow: /wii/$
В результате:
 |
|
| Вернуться к началу |
|
|
[LP]LordPro.teus
Призрак Лорда
Зарегистрирован: 26.07.2007
Сообщения: 5092
42282
|
| Добавлено: Ср, 07 Окт, 2009 10:02 Заголовок сообщения: |
|
|
LargeCell
способ "заныкать" игры, оставив для ПС только новости?..  )
_________________
До выхода LiteDiary 0.3.0: парам-пам-пам-пам! Она уже здесь! |
|
| Вернуться к началу |
|
|
LargeCell
Пол-пирога
Зарегистрирован: 19.07.2009
Сообщения: 95
2218
|
| Добавлено: Ср, 07 Окт, 2009 13:19 Заголовок сообщения: |
|
|
[LP]LordPro.teus
да не, просто я использую wordpress, при нажатии на рубрику-родителя выводится страница с ссылками на записи+отрывок этой записи. чтоб контент лишний раз не дублировался я решил закрыть от ПС это. вот так |
|
| Вернуться к началу |
|
|
[LP]LordPro.teus
Призрак Лорда
Зарегистрирован: 26.07.2007
Сообщения: 5092
42282
|
| Добавлено: Ср, 07 Окт, 2009 13:22 Заголовок сообщения: |
|
|
LargeCell
продуманно +1
_________________
До выхода LiteDiary 0.3.0: парам-пам-пам-пам! Она уже здесь! |
|
| Вернуться к началу |
|
|
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
