EOMY.NET
Хостинг EOMY.NET: Форум поддержки
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 
RSS Feed  

Индексируют ли боты JavaScript?

 
Начать новую тему   Ответить на тему    Список форумов EOMY.NET -> JavaScript, AJAX
Индексируют ли боты JavaScript?
Автор Сообщение
madhamster
Согнул ложку
Согнул ложку


Зарегистрирован: 09.10.2006
Сообщения: 902

460 Монеты

СообщениеДобавлено: Вт, 06 Янв, 2009 22:34    Заголовок сообщения: Индексируют ли боты JavaScript? Ответить с цитатой

Парсят ли они javascript или они видят только исходник страницы?

Просто порой хочется списки, таблицы генерировать с помощью JS, но если так то бот не увидит сгенерированную инфу...
_________________
NextStage - live music competition
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Alek$
11 1110 1000
11 1110 1000


Зарегистрирован: 24.11.2007
Сообщения: 1140
Откуда: Новосибирск
26958 Монеты

СообщениеДобавлено: Ср, 07 Янв, 2009 07:35    Заголовок сообщения: Ответить с цитатой

madhamster
нет, так они не умеют.
_________________
Самая страшная ошибка - это ошибка без видимых причин и конкретных последствий.
phpBB3 [db_update.php generator]
phpBB3 [Russian]
Антисоциальный блог
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
jekob
Big Cat
11 1110 1000


Зарегистрирован: 22.10.2006
Сообщения: 1213
Откуда: Zirkan.com
31671 Монеты

СообщениеДобавлено: Ср, 07 Янв, 2009 14:08    Заголовок сообщения: Ответить с цитатой

боты видят только статичную инфу между тегами, и ничего кроме нее. Есть специальные браузеры и даже сайты, через которые можно увидеть, какстраница будет видна для бота.
_________________
Fear is the Mind Killer.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора AIM Address
Веденин
Красные глаза
Красные глаза


Зарегистрирован: 17.05.2007
Сообщения: 2067
Откуда: Самара
11926 Монеты

СообщениеДобавлено: Ср, 07 Янв, 2009 20:54    Заголовок сообщения: Re: Индексируют ли боты JavaScript? Ответить с цитатой

madhamster писал(а):
Парсят ли они javascript или они видят только исходник страницы?

Просто порой хочется списки, таблицы генерировать с помощью JS, но если так то бот не увидит сгенерированную инфу...

Нет, точнее в ряде случаев боты поисковиков могут парсить кое-какие команды JS, но только подозрительные команды JS которыми пытаются прикрыть поисковый спам.(например, безусловную переадресацию на другой сайт или сокрытие большей части текста для пользователя).
В мануалах гугла и яндекса предлагается делать навигацию как удобно, но обязательно дублировать её обычными ссылками внизу страницы (или на край сделать карту сайта и передать её в эти поисковики).
_________________
Написание конвекторов, парсеров, интеграции нескольких сайтов (в личку)

Тематические поисковые системы Рунета: Танцевальная, программиста, поиск книг
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
SWAT
Пол-пирога
Пол-пирога


Зарегистрирован: 29.07.2007
Сообщения: 61
Откуда: Россия
4695 Монеты

СообщениеДобавлено: Сб, 10 Янв, 2009 08:27    Заголовок сообщения: Ответить с цитатой

jekob писал(а):
боты видят только статичную инфу между тегами, и ничего кроме нее. Есть специальные браузеры и даже сайты, через которые можно увидеть, какстраница будет видна для бота.


Помоему ничего спецального для этого не нужно, просто отключаешь в браузере CSS и JS и ты превратишся в бота Smile
_________________
C/C++, Lua, JavaScript, CSS + XHTML, PHP.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
DEXIF
#!/bin/bash
Согнул ложку


Зарегистрирован: 27.09.2006
Сообщения: 939
Откуда: Минск
50609 Монеты

СообщениеДобавлено: Сб, 10 Янв, 2009 08:42    Заголовок сообщения: Ответить с цитатой

Ну а как же тогда теги <noindex> и ему подобные?
_________________

SED | Let's Rock! | XAP в ЛИЧКУ, SAPE
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
SWAT
Пол-пирога
Пол-пирога


Зарегистрирован: 29.07.2007
Сообщения: 61
Откуда: Россия
4695 Монеты

СообщениеДобавлено: Сб, 10 Янв, 2009 08:44    Заголовок сообщения: Ответить с цитатой

Тега <noindex> не существует.
Его придумал Yandex и помоему только он его и обрабатывает.
Причем вставка этого тега, карается не валидностью документа.
_________________
C/C++, Lua, JavaScript, CSS + XHTML, PHP.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
DEXIF
#!/bin/bash
Согнул ложку


Зарегистрирован: 27.09.2006
Сообщения: 939
Откуда: Минск
50609 Монеты

СообщениеДобавлено: Сб, 10 Янв, 2009 09:10    Заголовок сообщения: Ответить с цитатой

Хм... а яндексбота что не существует??? Или я что-то пропустил?? Мы говорили о том как увидеть то что видят боты... Я вот например хотел бы увидеть глазами яндекса Shocked А потом ещё и гугла с яху... Rolling Eyes
_________________

SED | Let's Rock! | XAP в ЛИЧКУ, SAPE
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Alek$
11 1110 1000
11 1110 1000


Зарегистрирован: 24.11.2007
Сообщения: 1140
Откуда: Новосибирск
26958 Монеты

СообщениеДобавлено: Сб, 10 Янв, 2009 09:30    Заголовок сообщения: Ответить с цитатой

DEXIF
если уж на то пошло - у гугля и иже с ним нет глаз. И их глазами нельзя смотреть Smile
_________________
Самая страшная ошибка - это ошибка без видимых причин и конкретных последствий.
phpBB3 [db_update.php generator]
phpBB3 [Russian]
Антисоциальный блог
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Веденин
Красные глаза
Красные глаза


Зарегистрирован: 17.05.2007
Сообщения: 2067
Откуда: Самара
11926 Монеты

СообщениеДобавлено: Сб, 10 Янв, 2009 10:24    Заголовок сообщения: Ответить с цитатой

DEXIF писал(а):
Хм... а яндексбота что не существует??? Или я что-то пропустил?? Мы говорили о том как увидеть то что видят боты... Я вот например хотел бы увидеть глазами яндекса Shocked А потом ещё и гугла с яху... Rolling Eyes

Да пожалуйста, вот страница глазами яндекс бота:
Код:
hkва@r3ыф@#d3s2В$s4%sfФ4%dsВ$1*3Ф21hkва
@r3ыф@#d3s2В$s4%sfФ4%dsВ$1*3Ф21hkва@r3ыф
@#d3s2В$s4%sfФ4%dsВ$1*3Ф21

устраивает? Very Happy
Дело в том что в реальности страница превращается в некий комплексный индекс, который потом используется для поиска, причем там хитрым способом отбрасываются частые слова, учитывается расстояние между словами и т.д. Описание алгоритма постороения похожего индекса есть в яндексе (правда они используют другой), но я так и не смог осилить его описание.

З.И. Примерный алгоритм как получить страницу глазами гугла или бота:
1. Выберете в браузере сохранить как текст
2. Из текста выкиньте все предлоги союзы местоимения и т.п.
3. Переведите ряд слов в их более употребимые синонимы
4. Чаще всего выкидываем общий текст с другими страницами сайта (например, текст главного меню, дизайна, подвала и т.п. )
5. Выдираем title и анализируем его отдельного
6. Переводим в индекс на самом деле у поисковиков один индекс, но будем считать, что их три:
1) Минимальное расстояние (в словах) между словами (т.е в фразе солнце рано встало и петухи меня разбудили, солнце и петухи отделены 3 словами), на сколько знаю такого индекса нет у гугла, и точно есть у яндекса
2) Кол-во вхождений слова на странице (на самом деле тут ещё определяется, где находится слово, например слова в меню или подвале общем для всего сайта может не учитыватся в заголовке напротив учитыватся очень сильно+слишком большое кол-во вхождений наоборот уменьшает этот индекс)
3) Порядок слов друг за другом
7. Определяем копипастеность текста примерный алгоритм (упрощенно,алгоритм поисковиков похож, но другой) берем первый индекс (Минимальное расстояние между словами) и сравниваем десяток комбинаций слов на странице с десятком слов в базе, если есть другие сайты у которых большая часть комбинаций совпадает с вашей страницей, сравниваем большое кол-во комбинаций, если текст все равно совпадает, то это копипаст. Такой алгоритм позволит обнаружить даже значительно измененый текст.
8. Получаем ссылки и определяем внутренние они или внешние, якоря ссылок их вес и т.д.

Вот вы посмотрели глазами бота поисковика страницу (конечно упрощенно, на самом деле все ещё сложнее)
_________________
Написание конвекторов, парсеров, интеграции нескольких сайтов (в личку)

Тематические поисковые системы Рунета: Танцевальная, программиста, поиск книг
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов EOMY.NET -> JavaScript, AJAX Часовой пояс: GMT
Страница 1 из 1

 


Rambler's Top100   Рейтинг@Mail.ru    



Powered by phpBB © 2001, 2005 phpBB Group