Интернет-трафик. Боты победили.

Обновлено 2017-02-05 3533 4.7 8

Отчет о трафике 2016

Анализ был приведен в действие Imperva Incapsula используя собственные собственной технологии, опираясь на перекрестную проверку таких факторов, как HTTP fingerprint, происхождения IP-адреса и множества поведенческих моделей. Все это помогло идентифицировать и классифицировать входящий интернет-трафик.

Компанией Imperva Incapsula исследовано и проанализировано более 16,7 млрд визитов на 100 тысяч случайно выбранных доменов из собственной клиентской базы в период с 9 августа по 6 ноября 2016 года.

Итог гласит: 2016 году на ботов пришлось 51,8% трафика, а на людей — 48,2%. При этом в 2015 году уровень человеческого трафика впервые за четыре года превысил уровень автоматизированного — 53% против 47%.

Кто больше всего посещает сайты?

Большинством посетителей сайта являются Боты.

На долю «хороших» ботов, по их версии, приходится 22,9% интернет-трафика и «плохие» боты освоили 28,9% трафика в интернете.
infographic bot-report-2016

«Плохие» боты используются, например, для рассылки спама и DDos-атак на сайты, а «хорошие» — для анализа сайтов, сбора и обработки информации.

трафик график

"Хорошие" боты Интернета выполняют очень ценные функции, их используют поисковые системы, нужны для открытия API адресов, используются при сканировании в поисках уязвимостей и мониторинга веб-сайтов.

Существует минимум 4 типа "хороших" ботов:

  • Feed fetcher – Боты , сканирующие содержание веб сайта и веб - приложений для мобильных, которые они затем показывают пользователям.
  • Поисковые боты (Commercial crawlers)- Боты, которые собирают информацию для поисковых алгоритмов, используемую для ранжирования сайта.
  • Коммерческие сканеры (Commercial crawlers) - Пауки, используемые для авторизованных извлечений данных, как правило, от имени цифровых маркетинговых инструментов.
  • Мониторинг ботов (Monitoring bots) - Поисковые системы , которые контролируют наличие сайта и надлежащего функционирования различных сетевых возможностей.

  • 45 наиболее активных хороших ботов ответственных за 84,2 процента всего хорошего трафика ботами.


    "Плохие" боты осуществляют большую часть вредоносной активности, с которой мы сталкиваемся на веб-сайтах. Самый популярный пример это - отказ в обслуживании (DDoS) атаки.


    Увеличение интернет трафика

    Специалисты Imperva Incapsula отмечают, что увеличение интернет трафика ботами в 2016 году приходится на "хороших" ботов. В то время как активность "плохих" продолжает колебаться в пределах 30 процентов, в течение последних пяти лет.Проще говоря, хорошие роботы будут сканировать ваш сайт, а "плохие" боты будут пытаться взломать его независимо от того, насколько он популярен для людей. Они продолжают посещать домен даже в отсутствие человеческого трафика.

    Регулярное посещение сайта

    В частности, из 100000 доменов в этом опросе, по крайней мере 94,2 процента подвергались бот атаке в течение 90 дней.

    Наиболее тревожная статистика в этом докладе это то что, за последние пять лет каждый третий посетитель любого сайта был бот.

    Часто эти нападения являются результатом действий киберпреступников имеющих широкую сеть для автоматизированных атак на тысячи доменов одновременно.

    Такие не избирательные нападения столь же опасны, как и целенаправленные атаки, они проводятся в поисках многочисленных незащищенных сайтов. Как ни странно, владельцы таких сайтов больше всего склонны игнорировать опасность хакерских ботов, считая, что их веб-сайт слишком "маленький" и бесполезный, чтобы подвергнуться нападению.

    Именно такое отношение к защите своей информации, приводит бот-атаки к успеху, мотивируя тем самым киберпреступников осуществлять все больше более сложные автоматизированные штурмы.







    Читайте также:
    Похожие записи, из рубрики:
    • Боты, которые меняют политику
    • Жесткий диск SkyHawk AI с емкостью 10 ТБ и 8 ТБ
    • Не ждать милости от природы
    • Запланированные поломки
    Комментарии
    1 svital  
    0
    Интересный анализ трафика! Детальный, красочный и довольно объективный.
    Особенно понравилсь развёрнутая характеристика посещения проекта ботами.
    Ботам - бой!
    "Вынесем все - и широкую к трафику
    Грудью дорогу проложим себе.
    Жаль только - жить в эту пору прекрасную
    Уж не придется - ни мне, ни тебе.." (исковеркал автор неизвестный) angry

    2 Fatcm  
    0
    Очень интересный материал. Я конечно знал, что тут не обходится без ботов, но чтобы так... Получается, из 500 посетителей на моём блоге, 250 - боты. Офигеть.

    3 Newly_made10  
    0
    Не расстраивайтесь, боты важны для сайта, кто же будет собирать информацию об обновлениях и появлениях нового материала на вашем сайте. Да и счетчики их не отображают.

    4 Владимир Иванович  
    0
    Насчет счетчиков не уверен. Бывают очень подозрительные данные иногда - несколько посетителей с нулевым временем просмотра страниц. Подозреваю, что это боты отметились в яндекс метрике.

    5 mescher410  
    0
    Вот... Присоединяюсь к Владимиру Ивановичу. Посетители с нулевым временем, особенно когда сайт еще молодой ну очень расстраивают...

    6 Newly_made10  
    0
    Посетители с нулевым временем просмотра. Если это боты,то наоборот надо радоваться что ваш сайт становится интересен ботам, значит он "засветился" в интернете.
    Ну а если это человек ( что выяснить совсем не трудно)то действительно плохо. значит что то не устраивает, что спугнуло или не тот ответ у вас на странице за которым пришел человек.
    надо работать над сайтом.

    7 Максим Бойко  
    0
    Всё, жизнь для меня не станет прежней! Неужели мой блог тоже посещают столько ботов!?

    8 Newly_made10  
    0
    Наши сайты и блоги все это фигня для ботов которые реально могут изменить общественное мнение. Вот еще одно исследование (ссылка) Где ужасные подробности деятельности ботов в мировом масштабе.

    Добавлять комментарии могут только зарегистрированные пользователи.
    [ Регистрация | Вход ]