EOMY.NET
Хостинг EOMY.NET: Форум поддержки
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 
RSS Feed  

Allow, Disallow, robots.txt

 
Начать новую тему   Ответить на тему    Список форумов EOMY.NET -> Раскрутка
Allow, Disallow, robots.txt
Автор Сообщение
LargeCell
Пол-пирога
Пол-пирога


Зарегистрирован: 19.07.2009
Сообщения: 95

2218 Монеты

СообщениеДобавлено: Вт, 06 Окт, 2009 12:48    Заголовок сообщения: Allow, Disallow, robots.txt Ответить с цитатой

Есть вопрос небольшой. Можно ли в robots.txt использовать подобную конструкцию:

Цитата:
User-agent: *
Allow: /ds/ds-news/
Disallow: /ds/


То есть, использовать директиву Disallow после Allow? Чтобы поисковик не индексировал папку /ds/, но смотрел на /ds/ds-news/ .

Проверил в hxxp://webmaster.yandex.ru/wmconsole/ свой роботс, вроде принимает нормально, пишет что /ds/ запрещен к индексации, а /ds/ds-news/ разрешен. Если директиву Allow поставить после Disallow то яндекс пишет что папки запрещены к индексации в обоих случаях. А что в случае других поисковиков?

Может вопрос нубский, я это спрашиваю, потому что во всех примерах показано, как Allow идет после Disallow.
p.s. задал вопрос на мастерталке. почему-то молчат.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
[LP]LordPro.teus
Призрак Лорда
Призрак Лорда


Зарегистрирован: 26.07.2007
Сообщения: 5123

44732 Монеты

СообщениеДобавлено: Вт, 06 Окт, 2009 12:51    Заголовок сообщения: Ответить с цитатой

LargeCell
если брать по аналогии с .htaccess - то было бы корректнее использовать Allow после Disallow + директива Order
_________________

А ведь еще не поздно смотаться на Азовское море, согреться на солнышке...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
LargeCell
Пол-пирога
Пол-пирога


Зарегистрирован: 19.07.2009
Сообщения: 95

2218 Монеты

СообщениеДобавлено: Вт, 06 Окт, 2009 14:56    Заголовок сообщения: Ответить с цитатой

Яндекс это кушает нормально:



я так думаю, что изначально директивой allow пользовался google, теперь и яндекс?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
[LP]LordPro.teus
Призрак Лорда
Призрак Лорда


Зарегистрирован: 26.07.2007
Сообщения: 5123

44732 Монеты

СообщениеДобавлено: Вт, 06 Окт, 2009 15:01    Заголовок сообщения: Ответить с цитатой

LargeCell
Именно. К сожалению, некоторые "тупые" биржи до сих пор не научились с этим работать.
_________________

А ведь еще не поздно смотаться на Азовское море, согреться на солнышке...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
LargeCell
Пол-пирога
Пол-пирога


Зарегистрирован: 19.07.2009
Сообщения: 95

2218 Монеты

СообщениеДобавлено: Вт, 06 Окт, 2009 15:08    Заголовок сообщения: Ответить с цитатой

[LP]LordPro.teus, спасибо!
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
goodluck
Два пингвина
Два пингвина


Зарегистрирован: 25.03.2007
Сообщения: 316

9526 Монеты

СообщениеДобавлено: Вт, 06 Окт, 2009 15:09    Заголовок сообщения: Ответить с цитатой

Подобную команду будут понимать не все поисковые роботы.
_________________
Статьи, заметки, обзоры. Интернет и компьютеры
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
[LP]LordPro.teus
Призрак Лорда
Призрак Лорда


Зарегистрирован: 26.07.2007
Сообщения: 5123

44732 Монеты

СообщениеДобавлено: Вт, 06 Окт, 2009 15:17    Заголовок сообщения: Ответить с цитатой

goodluck
Основные - все будут. Остальные... пусть учатся.
_________________

А ведь еще не поздно смотаться на Азовское море, согреться на солнышке...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
LargeCell
Пол-пирога
Пол-пирога


Зарегистрирован: 19.07.2009
Сообщения: 95

2218 Монеты

СообщениеДобавлено: Ср, 07 Окт, 2009 06:42    Заголовок сообщения: Ответить с цитатой

Может кому тоже пригодится, можно скрыть папку (но не подпапку) таким образом:

Disallow: /ds/$
Disallow: /wii/$

В результате:

Вернуться к началу
Посмотреть профиль Отправить личное сообщение
[LP]LordPro.teus
Призрак Лорда
Призрак Лорда


Зарегистрирован: 26.07.2007
Сообщения: 5123

44732 Монеты

СообщениеДобавлено: Ср, 07 Окт, 2009 10:02    Заголовок сообщения: Ответить с цитатой

LargeCell
способ "заныкать" игры, оставив для ПС только новости?.. Smile)
_________________

А ведь еще не поздно смотаться на Азовское море, согреться на солнышке...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
LargeCell
Пол-пирога
Пол-пирога


Зарегистрирован: 19.07.2009
Сообщения: 95

2218 Монеты

СообщениеДобавлено: Ср, 07 Окт, 2009 13:19    Заголовок сообщения: Ответить с цитатой

[LP]LordPro.teus
да не, просто я использую wordpress, при нажатии на рубрику-родителя выводится страница с ссылками на записи+отрывок этой записи. чтоб контент лишний раз не дублировался я решил закрыть от ПС это. Smile вот так
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
[LP]LordPro.teus
Призрак Лорда
Призрак Лорда


Зарегистрирован: 26.07.2007
Сообщения: 5123

44732 Монеты

СообщениеДобавлено: Ср, 07 Окт, 2009 13:22    Заголовок сообщения: Ответить с цитатой

LargeCell
продуманно Smile +1
_________________

А ведь еще не поздно смотаться на Азовское море, согреться на солнышке...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов EOMY.NET -> Раскрутка Часовой пояс: GMT
Страница 1 из 1

 


Rambler's Top100   Рейтинг@Mail.ru    



Powered by phpBB © 2001, 2005 phpBB Group