там нужно добавить массив с хостами чтобы не блокировали
А конкретнее на пальцах можно куда массив добавить?
У меня вроде 1500 тыс страниц прошли без блокирования _________________ Написание конвекторов, парсеров, интеграции нескольких сайтов (в личку)
Your client does not have permission to get URL /search?client=navclient&ch=6%u&features=Rank&q=site.com from this server. (Client IP address: 89.251.107.3)
If you believe that you have received this response in error, please report your problem. However, please make sure to take a look at our Terms of Service (http://www.google.com/terms_of_service.html). In your email, please send us the entire code displayed below. Please also send us any information you may know about how you are performing your Google searches-- for example, "I'm using the Opera browser on Linux to do searches from home. My Internet access is through a dial-up account I have with the FooCorp ISP." or "I'm using the Konqueror browser on Linux to search from my job at myFoo.com. My machine's IP address is 10.20.30.40, but all of myFoo's web traffic goes through some kind of proxy server whose IP address is 10.11.12.13." (If you don't know any information like this, that's OK. But this kind of information can help us track down problems, so please tell us what you can.)
$c += $length;
switch($len)
{
case 11: $c+=($url[$k+10]<<24);
case 10: $c+=($url[$k+9]<<16);
case 9 : $c+=($url[$k+8]<<8);
case 8 : $b+=($url[$k+7]<<24);
case 7 : $b+=($url[$k+6]<<16);
case 6 : $b+=($url[$k+5]<<8);
case 5 : $b+=($url[$k+4]);
case 4 : $a+=($url[$k+3]<<24);
case 3 : $a+=($url[$k+2]<<16);
case 2 : $a+=($url[$k+1]<<8);
case 1 : $a+=($url[$k+0]);
/* case 0: nothing left to add */
}
$mix = mix($a,$b,$c);
/*-------------------------------------------- report the result */
return $mix[2];
}
Ну для просмотра всех страниц одного сайта бана быть не должно, в крайнем случае можно поставить таймаут или по частям сканить страницы сайта. ИМХО, все таки этот скрипт для себя, а не для создания мега пупер сервиса. _________________ Написание конвекторов, парсеров, интеграции нескольких сайтов (в личку)
Веденин
я просто сказал, что грабли есть. Mywhois.name получал бан по 2-3 раза в неделю примерно с 200-300 запросами в сутки. _________________ сервис DNS | разные http, DNS и прочие утилиты
я просто сказал, что грабли есть. Mywhois.name получал бан по 2-3 раза в неделю примерно с 200-300 запросами в сутки.
Я понял, спасибо
Кстати, если менять ip'ник откуда идет запрос бана я так понимаю быть не должно, т.е. сделали 1000 запросов на локальном компе, переконектились к инету (естественно, если провайдер дает динамические адреса), и ещё 1000 запросов? _________________ Написание конвекторов, парсеров, интеграции нескольких сайтов (в личку)
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
Ох ни фига себе!.. Огромное спасибо.