EOMY.NET
Хостинг EOMY.NET: Форум поддержки
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 
RSS Feed  

внутрисетевой трафик

 
Начать новую тему   Ответить на тему    Список форумов EOMY.NET -> Сервис VPS от EOMY.NET
внутрисетевой трафик
Автор Сообщение
jekob
Big Cat
11 1110 1000


Зарегистрирован: 22.10.2006
Сообщения: 1213
Откуда: Zirkan.com
31671 Монеты

СообщениеДобавлено: Чт, 19 Дек, 2013 20:10    Заголовок сообщения: внутрисетевой трафик Ответить с цитатой

Добрый день уважаемые Дмитрий и форумчане,
мы в последнее время заказываем все больше серверов у эоми и возникла одна сложность - трафик.
На распределенных системах(более 3х-4х машин) получается так что трафик есться катастрофически быстро и нам пришлось докупать бОльшую машину только изза этой причины(другие ресурсы были затрачены меньше половины.
При вот таком сценарии у нас ушел терабайт на главной машине "как дети в школу" в прошлом месяце:
Пользователь -> APP Сервер (nGinx+php-cgi) -> MemCache Server -> MySQL DB.
И вот так у нас сожрало 1ТБ трафика на первой и последней машине практически одновременно. При том что ВЕСЬ сайт весит всего 3ГБ и число посещений не превышает 1500 в сутки. Я сперва грешил на атаки и тяжелые запросы и всякого рода попытки взлома, после пожирания всего трафика нам пришлось в срочном порядке выкупить новую машину и на этот раз я перенес все сервисы в один хост. Как только переезд был закончен и отчеты за первые недели стали видны - стало ясно что трафик весь ресурс потребляет теперь на уровне примерно 30ГБ в месяц(прогноз, поскольку полный месяц еще не прошел, но сегодня уже 19 и ресурс сьел только чуть более 10гб).
Да, я добавил несколько уровней защиты на ресурс и отлову атак и ДДОСа на разных этапах, но это очень большая разниа и у нас не всегда есть возможность запускать машины "все в одном"(в основном изза рисков сбоев и в планах стабильности).

Так вот, можно ли сделать хотя бы внутри одного ДЦ возможность безлимитного внутрисетевого трафика? Хотя бы в будущем?
Подозреваю, что вам сложно это реализовать по причине того что у нас по сути все айпишники внешнесетевые и внутренних как бы нет...НО каждый запрос внутри одного ДЦ обрабатывается по моим тестам без выхода на публичный ДНС, максимум два-три скачка, значит как минимум теоретически есть возможность такой трафик отследить и тарифицировать отдельно...
Штука в том, что любое сложное приложение требует сложной инфраструктуры к нему, LBS, несколько бд, кеширование и тд и с лимитами (а тем более с отключением при превышении) работать становится как минимум сложно и накладно.

Заранее спасибо!
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора AIM Address
eomysupport
Администратор
Администратор


Зарегистрирован: 25.12.2005
Сообщения: 5713

271055 Монеты

СообщениеДобавлено: Сб, 21 Дек, 2013 05:26    Заголовок сообщения: Ответить с цитатой

Здравствуйте,

Я исследовал этот вопрос и вот что мне удалось выяснить. Для того, чтобы у нас появилась возможность не учитывать локальный трафик, нам понадобится пойти одним из двух путей:

1) Перенести учет трафика на свичи
-или-
2) Перенести учет трафика в iptables VPS нод.

В данный момент мы не можем перенести учет трафика на свичи, так как мы до сих пор не определились с типом свичей (сейчас у нас зоопарк из cicso и juniper). Через несколько месяцев планируем остановиться на одной модели и использовать именно её на всех площадках. Тогда уже можно будет сделать автоматический учет только внешнего трафика.

Решение на iptables на нодах (с локальными IP 10.х.х.х на VPS серверах) работает "из коробки", но у него есть существенная проблема - оверхед, ведь трафик всех пользователей пойдет через iptables на ноде. Проблема сильно обостряется при DoS атаках - атаки на один VPS будут оказывать влияние на всех пользователей на ноде...

Как видите, прямо сейчас мы затрудняемся внедрить какое-то решение по локальному трафику. Если у вас есть идеи как можно организовать игнорирование локального трафика при подсчетах без задействования iptables или свичей - пожалуйста, дайте знать, мы обязательно это попробуем.
_________________
Дмитрий

Часто задаваемые вопросы по хостингу
Условия предоставления услуг бесплатного хостинга
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
lazutov
while (1==1);
Последний герой


Зарегистрирован: 30.04.2007
Сообщения: 4429

120354 Монеты

СообщениеДобавлено: Сб, 21 Дек, 2013 08:56    Заголовок сообщения: Ответить с цитатой

Сейчас я так понимаю считается TXbytes RXBytes с интерфейса venet;
Сделать еще один ифейс, куда "заворачивать" (ip route add) трафик всех IP на этой площадке.

Таким образом будет две цифры: venet0 и "из них локальный" venet1

На бумаге выглядит гладко.
_________________
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
eomysupport
Администратор
Администратор


Зарегистрирован: 25.12.2005
Сообщения: 5713

271055 Монеты

СообщениеДобавлено: Сб, 21 Дек, 2013 20:40    Заголовок сообщения: Ответить с цитатой

Да, именно так мы и считаем трафик.

В OpenVZ нельзя создать интерфейс, подобный venet0, к сожалению. Это, конечно, сразу же решило бы проблему.

Можно решить вопрос при помощи создания виртуального ethernet интерфейса (--netif_add), однако, подобное решение негативно скажется на безопасности, так как с этими интерфейсами с клиентской стороны можно сделать много чего интересного.
_________________
Дмитрий

Часто задаваемые вопросы по хостингу
Условия предоставления услуг бесплатного хостинга
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов EOMY.NET -> Сервис VPS от EOMY.NET Часовой пояс: GMT
Страница 1 из 1

 


Rambler's Top100   Рейтинг@Mail.ru    



Powered by phpBB © 2001, 2005 phpBB Group