-
добавить в избранное
С чем едят DPI? С антивирусом
4 декабря 2017
Все слышали о блокировках доступа к тем или иным интернет-ресурсам, а многие сталкивались с этим явлением на собственном опыте. К сожалению, в ходе этих блокировок помимо сайтов, доступ к которым должен быть закрыт, блокируются и те, которые блокировать не предполагалось. Почему так происходит и можно ли этого избежать?
Проблема в том, что Интернет на данный момент напоминает коммунальную квартиру. «Коммуналка» имеет адрес, на который приходят письма и уведомления, но вот кому конкретно приходит почта, разбираются сами жильцы. В Интернете все устроено аналогично: пользователи обращаются к сайтам по адресу, но (сюрприз!) на каждом адресе может быть несколько ресурсов. Точно так же партнеры пишут в некую компанию по единому адресу, и тем не менее информация доходит до получателей. В результате, если блокируется некий адрес, то блокируются и правые, и виноватые (и бабка-самогонщица, и вполне законопослушные жители квартиры).
В настоящее время в Едином реестре запрещенной информации содержится около 95 тыс. адресов сайтов, содержащих запрещенную информацию, доступ к которым ограничивается на территории Российской Федерации. Каждой записи соответствуют индивидуальный набор идентификаторов, состоящих из IP-адреса, доменного имени и конкретной URL-страницы.
На одном IP-адресе могут находиться одновременно от одного до нескольких тысяч доменов.
Пример:
На текущий момент на внесенном в реестр IP 75.126.100.10 — находится 81 домен, блокируемый заодно (проверка первого IP тут, далее каждый может проверить каждый конкретный IP-адрес самостоятельно), на 107.23.136.142 — 4 домена, а на 50.63.202.6 — аж 10002 ресурса.
И это – не единственный недостаток блокировки по адресам. Такая блокировка вообще малоэффективна: злоумышленники могут легко переходить на незаблокированные ресурсы, использовать прокси-серверы, «клонировать» заблокированные сайты.
И не надо думать, что блокировка – это зло. Те же самые шифровальщики, клавиатурные шпионы, банковские и рекламные троянцы – все они связываются с командными центрами, блокировка которых – эффективное средство борьбы со злоумышленниками.
Минимизировать проблемы может DPI. Собственно говоря, о том, что только широкое использование DPI может сделать блокировки эффективными, было ясно сразу, но широко обсуждать это в СМИ стали после появления очередного приказа Роскомнадзора (PDF).
Что же такое DPI? Вопреки распространенному мнению, это не продукт, а название технологии. Точнее даже – группы технологий.
Deep Packet Inspection (сокр. DPI) — технология накопления статистических данных, проверки и фильтрации сетевых пакетов по их содержимому.
DPI-решения подключаются к каналу передачи данных и перехватывают все сетевые пакеты проходящего через него сетевого трафика или сетевые пакеты только определенного протокола (например, веб-трафик). Каждый сетевой пакет распаковывается, и производится анализ его параметров и содержимого.
Анализ производится на предмет наличия в передаваемых сетевых пакетах данных, не соответствующих заданным правилам (вредоносная программа, сетевая атака, спам, конфиденциальная или иная информация, не соответствующая законодательству и др.), исходя из задач, решаемых DPI-решением.
По итогам анализа сетевого трафика DPI-решения могут формировать необходимую статистическую информацию, которая может быть использована для выявления аномалий (поведенческий анализ), улучшения качества обслуживания для пользователей (QoS), оперативно-разыскных мероприятий (СОРМ).
Deep Packet Inspection может принимать решение не только по содержимому пакетов, но и по косвенным признакам, присущим каким-то определенным сетевым программам и протоколам. Для этого может использоваться статистический анализ (например, статистический анализ частоты встречи определенных символов, длины пакета и т. д.).
Deep Packet Inspection часто используются провайдерами для контроля трафика, а иногда и для блокировки некоторых протоколов, таких как BitTorrent. С помощью Deep Packet Inspection можно определить, какое приложение сгенерировало или получает данные, и на основании этого предпринять какое-либо действие.
Помимо блокирования, Deep Packet Inspection может собирать подробную статистику соединения каждого пользователя по отдельности.
https://ru.wikipedia.org/wiki/Deep_packet_inspection
То есть DPI – это дальний родственник превентивной защиты. Он работает по определенным правилам, в том числе анализируя информацию внутри пакетов данных, передаваемых по сети. Благодаря этому можно точно узнать не только точное место, куда и откуда идет обращение, но даже идентифицировать программу, установившую обращение и пользователя. Статистика, как известно, знает все.
В случае использования DPI провайдер может классифицировать трафик вне зависимости от IP-адреса и порта. Таким образом, заблокированные сайты не будут открываться, даже если вы используете прокси-сервер на совершенно другом порту и незаблокированном IP-адресе.
DPI – это не просто средство блокировки доступа. Это – система анализа пакетов, позволяющая провайдеру производить определенные действия. Например:
Когда-то я работал в местечковом провайдере WiMAX. У нас была довольно небольшая база абонентов, но все они физики (физические лица), и выход в Интернет порядка 30 Мб/с. С физиками есть одна проблема — они любят торренты и P2P-сети. Если с последними все относительно просто — если провайдер этого не делает, то и пользователи сами вряд ли скооперируются, то с торрентами настоящая беда. Трафик протокола BitTorrent сложно отследить стандартными средствами, тем более что механизмы работы протокола постоянно адаптируют под меняющиеся реалии. Это стало настоящим бичом компании: в час наибольшей нагрузки сеть лежмя лежала.
Страна у нас большая, каналы не везде «толстые», а фильмы смотреть хотят все (ну или бизнес замутить собственный через Интернет). В результате нагрузка на канал возрастает до величин, при которых сеть «ложится» у всех клиентов провайдера. Итог – их недовольство, возмущенные звонки, уход к конкурентам.
График «одного из операторов» с общим трафиком в 20 Гбит/с. Торрент-трафик составляет в общем объеме 37,5%.
Циничный оскал капитализма. Зажимаем трафик по торрентам, и сеть работает стабильно, подавляющая часть клиентов довольна.
Анализ трафика также позволяет выявить повторяющиеся запросы (например, фильмы в момент релиза). А значит, можно собрать их в кэш и выдавать пользователям оттуда. Отдача востребованных объектов клиентам ускоряется, все довольны, включая провайдера, которому не нужно платить за лишний трафик.
Что кэшируем: видеоконтент популярных сервисов, таких как YouTube, RuTube, и обновления Windows, браузеров, антивирусов и другого ПО, а также часто повторяющиеся файлы (например, библиотеки jquery, картинки и т. п).
В связи с цитатой выше – «минутка воспоминаний». Кэширование однажды даже стало проблемой, так как антивирус получал устаревшие обновления из кэша провайдера, а не актуальные, с собственных серверов. Кэш провайдера видел повторяющиеся обновления – и выдавал старую версию файла. Давно это было!
Но вернемся от продвинутых возможностей к безопасности и блокировкам. Что здесь может DPI?
В настоящее время DPI технология получила широкое применение в следующих средствах и системах:
- системы обнаружения и предотвращения вторжений IDPS, использующие методы сигнатурного и поведенческого анализа сетевого трафика в целях обнаружения и блокировки в нем вредоносных кодов и команд;
- средства защиты от утечек конфиденциальной информации (DLP), в которых технология DPI применяется для поиска конфиденциальной информации в сетевом трафике с применением сигнатурного и контентного анализа;
- анализаторы сетевого трафика (снифферы), перехватывающие сетевые пакеты с содержанием требуемого контента;
- межсетевые экраны веб-приложений (Web Application Firewall), использующие технологию DPI для анализа и мониторинга веб-трафика в целях выявления и предотвращения атак и вредоносных программ, специфичных для веб-приложений;
- контент-фильтры (веб-фильтры), осуществляющие анализ веб-трафика по содержанию, отфильтровывая контент, не отвечающий политике безопасности, используя при этом контентный анализ трафика;
- спам-фильтры, выполняющие фильтрацию нежелательных электронных сообщений в почтовом трафике;
- средства управления и оптимизации сетевого трафика операторов сетей передачи данных, интернет-провайдеров и мобильных операторов, которые используют технологии DPI для оптимизации и улучшения качества обслуживания пользователей, уменьшения заторов в сети и контроля проходящего трафика любого своего клиента.
Замедляет ли DPI скорость работы в Интернете? Необязательно. Естественно, DPI может ставиться «в разрыв», когда весь трафик поступает на него и анализируется до передачи дальше, но он может ставиться и параллельно основному каналу передачи данных. В этом случае данные будут ответвляться на серверы DPI.
Пассивный DPI — DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence).
При этом слово DPI само по себе не говорит ни о чем (стандарт от Международного союза электросвязи Y.2770 появился совсем недавно). В связи с этим существует множество реализаций от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы. Есть, кстати, возможность собрать DPI и самостоятельно – на основе свободных решений.
Есть и ограничения. Технические спецификации Y.2770 не предусматривают инспекции зашифрованного трафика, но предусматривают обязательную инспекцию его незашифрованных фрагментов.
Почему же DPI не применяются повсеместно? Есть волшебное слово «монетизация». Пользователи воспринимают качественный доступ как должное и не хотят доплачивать за дополнительные услуги (скажем, за фильтрацию на вредоносные программы на уровне провайдера – «Это же их обязанность!»), а провайдеры не хотят внедрять оборудование и программы, которые не будут как-то «отбиваться» за счет продажи услуг.
#технологии #безопасностьАнтивирусная правДА! рекомендует
Ножом можно и убить, и сделать бутерброд. Как мы используем нож – зависит только от нас. DPI – технология. Сама по себе она не несет вреда. Ее использование может быть выгодно, но может и удушить. Сама технология ни в чем не виновата.
Может ли DPI заменить антивирус? Нет. DPI может обнаруживать вредоносные программы, являясь по сути развитием брандмауэра, но для этого ей нужно собрать файл целиком, чтобы проверить его с помощью вирусных баз. Это означает, что передача файла пользователю будет задержана до момента его полного получения провайдером. Неудобно от этого – пользователям.
Кроме того, DPI не может обнаруживать вредоносные файлы, передаваемые в ходе защищенных соединений, и неизвестные вредоносные файлы – в ходе передачи данных невозможно проанализировать их с помощью превентивной защиты. Поэтому DPI – это дополнение к антивирусу.
|
Оцените выпуск Чтобы проголосовать зайдите в аккаунт на сайте или создайте его, если аккаунта еще нет.
|
Сделайте репост
|
![[ВКонтакте]](http://st.drweb.com/static/new-www/social/no_radius/vkontakte.png)
![[Twitter]](http://st.drweb.com/static/new-www/social/no_radius/twitter.png)
Необходимо войти на страницу выпуска через аккаунт на сайте «Доктор Веб» (или создать аккаунт). Аккаунт должен быть связан с вашим аккаунтом в социальной сети. Видео о связывании аккаунта.
Нам важно ваше мнение
Чтобы оставить комментарий, нужно зайти через свой аккаунт на сайте «Доктор Веб». Если аккаунта еще нет, его можно создать.
Комментарии пользователей
Денисенко Павел Андреевич
23:29:27 2018-08-02
Неуёмный Обыватель
18:05:01 2018-06-16
vasvet
15:45:01 2018-04-04
Taufik
06:54:27 2018-01-08
a13x
11:54:19 2017-12-18
Людмила
09:44:14 2017-12-08
и снова отговорки, общие слова и ноль конкретики.
"е одобрять закон и не одобрять его исполнение - вещи принципиально разные"
- всякое исполнение закона базируется на законе. если закон исполняется плохо, или неправильно, значит проблема в том числе в законе. я предложила вам обозначить, что конкретно - понимаете, конкретно, а не "всем общеизвестно, что и ну вы же все понимаете и т.д." можно и видимо нужно там исправить. подзаконные акты для исполнителей пишутся на основе закона.
"ни к каким законам у меня неодобрений нет."
= улыбнуло:)))
"Мне известны разные мнения, и я их выражаю. А вам показалось, будто это я за себя говорю"
= а вот это в подписанном __вашем__именем комментарии не есть ваше мнение, а мнение неких известных вам других людей? все фразы - утвердительные, четкое обозначают позицию пишущего.
"Основная задача этих блокировок - ограничение доступа к информации. И это уже совсем другое дело. Очень важно разделять борьбу с распространением вирусов и борьбу с распространением информации.
К слову сказать, на вопрос о том, с какой стати "закон о защите детей от информации..." защищает от этой информации не только детей, а вообще всех, власть давать ответ не спешит и разумных решений не предлагает"
= ну и о личном. второй пост подряд вы позволяете себе выпады в мой адрес в виде оценочных суждений: непоследовательно себя ведет, демагогия, слабая логика ...
это у меня неприязнь к вам или же вы переносите на меня свою модель поведения в этой переписке:)))?
чтобы вы не пытались представить себя жертвой местного "режима" еще раз обозначу свою позицию. Любые утверждения, особенно критического толка, голословны, если не подкрепляются аргументами. Вы аргументами свое утверждение "Основная задача этих блокировок - ограничение доступа к информации." не подкрепили, а попытались перевести на личности.
Марина
18:55:49 2017-12-07
"ни минуты не сомневалась, что вы не напишите ничего конкретного по не одобряемому вами закону."
Вы сделали неправильные выводы из моих сообщений.
Во-первых, не одобрять закон и не одобрять его исполнение - вещи принципиально разные, нельзя их путать. Это как красное и холодное. Я нигде не писала, что не одобряю какой-то закон, это вы домыслили. И, конечно же, ни к каким законам у меня неодобрений нет.
Во-вторых, вы ошибочно решили, что это именно Я что-то не одобряю. Мне известны разные мнения, и я их выражаю. А вам показалось, будто это я за себя говорю. Что ж, это негрубая ошибка.
Надеюсь, теперь вам стало понятней, почему я решила не отвечать на вашу демагогию. Там слабая логика, много необоснованной агрессии - так вы транслируете личную неприязнь ко мне.
Не стоит воспринимать всё так близко к сердцу. У меня к вам ничего личного нет.
Людмила
17:16:15 2017-12-07
ни минуты не сомневалась, что вы не напишите ничего конкретного по не одобряемому вами закону.
Марина
16:40:31 2017-12-07
Как-то непоследовательно вы себя ведёте. Сперва пальчиком грозите, указывая на нежелательность размещения здесь сообщений, связанных с политикой. А теперь на это же и провоцируете. Это очень странно. И меня ставите в неудобное положение: вроде как и ответить вам надо, и делать это глупо. Поскольку вы весьма агрессивно настроены, я, пожалуй, воспользуюсь своим правом отказаться от участия в этой провокации.
Может, мне показалось, но есть такое чувство, что у вас какая-то обида на меня. Мы никогда раньше не беседовали, поэтому вроде как повода нет. Но я подумала, может, это я ваши статьи недавно поругала? Очень похоже по стилю изложения. Если так, то, слушайте, я же не знаю авторов, поэтому тут нет ничего личного. Мы тут все вольны (наверно) делиться своими мнениями, а личных конфликтов лучше избегать, это не приведёт ни к чему хорошему.
Людмила
10:56:16 2017-12-06
"взрослые вынуждены мириться с ограничениями, реализованными для детей, это неправильно"
= что именно в имеете в виду? какие ограничения для детей вам - взрослому человеку - мешают жить?
Людмила
10:55:15 2017-12-06
2. Разве для формулирования критической позиции необходимо личное участие? Вопрос резонансный, критики по нему много.
==переформулирую свой вопрос, который в сделали вид что не поняли: по этому резонансному лично для вас вопросу – что именно вас не устраивает в законе (назовите конкретные статьи)? Что и как предлагаете в нем изменить или удалить из него и почему (аргументируйте, пжст)?
Я бы задала вопросы, да меня никто не спрашивал.
= и в этом соль вашей «позиции». Очень просто бросаться словами и не нести за них ответственности – мол, меня же не спросили. Да если бы спросили, да я бы так ответила! Да вы только спросите. Ну, вот я и спрашиваю выше – ждем ответ. Может быть на основании ваших профессиональных аргументов мы напишем открытое письмо, обратимся в соответствующие инстанции, еще что-то придумаем, да просто выпуск, изобличающий преступный замысел власти в этом законе сделаем Давайте – излагайте.
3. « Что значит не надо думать, что блокировка – это зло? Очевидно, что многие именно так и думают. «
Фраза построенная с типично манипулятивным приемом — «очевидно, многие» — ну какой одинокий лемминг будет отрицать то, что стаду леммингов очевидно, а значит идти против стада?.
А ведь мы написали только о следующем: блокировки ресурсов, являющихся распространителями вирусов – не есть зло, а правильные шаги.
Вы же взяли слово «блокировка» и обвешали его как новогоднюю елку тем, о чем вам выгодно было написать. Скоро, в том числе, и об этой технике манипуляции выйдет выпуск «Как просто поломать судьбу».
«Споров не избежать».
==Вот совершенно не поняла вас сейчас: споров не избежать, потому что «Очевидно, что многие именно так и думают»?. Этот вывод вы из какой посылки извлекли?
А спорят у нас по любому поводу: как правильней антивирусу работать, как лучше в футбол играть, как эффективней осуществлять маркетинг компании – причем спорят-то все сплошь не имеющие отношений к ИТ, футболу и маркетингу – одни «профессионалы».
«К блокировкам вирусов вопросов нет, но блокируются не только вирусы, даже В ОСНОВНОМ не вирусы, верно?»
- Давайте разберемся подробно что и по какой причине блокируется. К какому списку заблокированных сайтов (назовите хотя бы 5) у вас претензии? Что не надо было блокировать с вашей т.з. и аргументируйте почему?
В одном из выпусков мы рассказывали о волне «праведного» гнева интернет сообщества по поводу блокировки сайта, распространявшего фильм «Красная шапочка». Шум был еще тот – наступление на свободу и детские сказки! Ну-ну. Только вот фильм был порнушкой.
Марина
18:25:48 2017-12-05
Безусловно, вы правы по поводу экстремизма и прочих страхов. Я-то писала о другом - взрослые вынуждены мириться с ограничениями, реализованными для детей, это неправильно. Углубляться в тему не буду, а то меня тут уже поругали.
Марина
18:19:53 2017-12-05
1. Действительно, спасибо за замечание. Выходит, уже 7 лет назад.
2. Разве для формулирования критической позиции необходимо личное участие? Вопрос резонансный, критики по нему много. Я бы задала вопросы, да меня никто не спрашивал.
3. Мне нравится порой поворчать, но не на уровне потребности. Не хотите споров - не публикуйте спорные утверждения. Что значит не надо думать, что блокировка – это зло? Очевидно, что многие именно так и думают. Споров не избежать. К блокировкам вирусов вопросов нет, но блокируются не только вирусы, даже В ОСНОВНОМ не вирусы, верно?
Ruslan
16:38:40 2017-12-05
Константин-Орен
14:42:21 2017-12-05
Sasha50
14:08:25 2017-12-05
Людмила
11:26:21 2017-12-05
1. 436-ФЗ принят в 2010 - не 5 лет назад.
2. какие лично вы задавали вопросы власти по этому закону?
3. потребность в полит. троллинге удовлетворяйте в другом месте, пжст.
udginvr
10:32:35 2017-12-05
Возможно потому, что большое количество людей в отношении информации ведёт себя как дети и ведутся на разные манипуляции? Ведь фишинг и социальная инженерия - это только некоторые примеры того, причём не самые разрушительные. Люди готовы вестись на громкие лозунги по принципу - чем громче кричат, тем больше верят. Вот например есть возможность подавать различные петиции онлайн и голосовать за них. В России то ли 10, то ли 100 тысяч подписей надо набрать и тогда петиция должна быть рассмотрена правительством. Хорошая идея? Да, пока люди не начинают подписывать законы о запрете поливать водой поля и добавлять воду в пищу. Кому интересно - почитайте в википедии про Дигидрогена Монооксид.
А ещё я в своё время работал с монографией, в которой описывалось распространение идей, в том числе анализировалась организация массовых беспорядков в Египте. По тому же самому принципу: свободно лежащие в соцсетях группы, которые подпитывают людей поданной в правильном ключе информацией и в один прекрасный день говорят: а давайте во столько-то часов все пойдём, да и выйдем на улицы. И на улицы выходит огромная толпа, с печальными последствиями.
Понятно, что обратный вариант тоже возможен: те же самые группы, только контролируемые государством. Тоже далеко не всем по душе. Но если выбирать между стабильной жизнью и революцией, мне всё-таки стабильная жизнь милее. Мне не нравится то, что государство на законодательном уровне блокирует сайты, которые я привык посещать, но в то же время принимаю это скорее как горькую пилюлю.
Марина
09:23:33 2017-12-05
Вообще-то, если бы блокировались только ресурсы-распространители вирусов, все бы только спасибо сказали. Но вы и сами прекрасно понимаете, что это далеко не так. Основная задача этих блокировок - ограничение доступа к информации. И это уже совсем другое дело. Очень важно разделять борьбу с распространением вирусов и борьбу с распространением информации. Это принципиально разные вещи.
К слову сказать, на вопрос о том, с какой стати "закон о защите детей от информации..." защищает от этой информации не только детей, а вообще всех, власть давать ответ не спешит и разумных решений не предлагает, хотя уже 5 лет прошло с момента принятия.
С...й
21:52:12 2017-12-04
В...а
21:40:38 2017-12-04
vla_va
21:26:16 2017-12-04
orw_mikle
21:06:55 2017-12-04
Dvakota
21:02:21 2017-12-04
Galina X
21:02:19 2017-12-04
ek
21:00:18 2017-12-04
Damir
20:46:59 2017-12-04
Andromeda
20:37:57 2017-12-04
НинаК
20:31:57 2017-12-04
Сергей
20:26:51 2017-12-04
kva-kva
20:05:56 2017-12-04
Альфа
20:02:39 2017-12-04
mk.insta
18:52:31 2017-12-04
Littlefish
18:49:03 2017-12-04
Это точно. А то если вирмейкеры доберутся, то перенаправят всех с абсолютно любых сайтов, на специально созданные ресурсы с вредоносными программами и шифровальщиками. И тогда не то что эпидемия может случится, а самая настоящая пандемия.
Littlefish
18:39:34 2017-12-04
zsergey
18:37:22 2017-12-04
Toma
18:31:11 2017-12-04
B0RIS
18:16:13 2017-12-04
Шалтай Александр Болтай
18:13:46 2017-12-04
La folle
18:08:03 2017-12-04
razgen
18:03:05 2017-12-04
vinnetou
17:30:26 2017-12-04
Masha
16:47:01 2017-12-04
Геральт
15:55:49 2017-12-04
Dmur
15:05:32 2017-12-04
Любитель пляжного футбола
14:56:24 2017-12-04
Oleg
13:57:22 2017-12-04
Владимир
12:56:30 2017-12-04
EvgenyZ
12:26:05 2017-12-04
Дмитрий
12:19:29 2017-12-04