Как называется проверка на бота

Как отличить бота от человека на форумах или в чатах мессенджеров?

Ботов можно встретить абсолютно везде, особенно они получили распространение в соцсетях и мессенджерах. И там и там они могут выполнять вполне полезные действия:

вести страницу соцсети;

постить контент в со цс ети или в группе мессенджера;

отвечать на простые вопросы пользователей в мессенджерах и личных сообщениях;

Как отличить бота от человека?

Как отличить бота от человека в чатах мессенджеров

Юмор хромает. Обычно боты юмором не блещут. Он присутствует, но в очень примитивном состоянии, поэтому робот не способен распознать шутку в контексте вашего сообщения. Тем более бот не способен распознать сарказм, поэтому он его воспримет буквально. Попробуйте применить такой прием и отследить реакцию своего оппонента.

Орфографические ошибки. Ошибки и опечатки (желательно несколько в одном слове) могут бота поставить в тупик, потому что он будет не готов к этому. При этом живой человек может распознать такой текст без проблем. Попробуйте и этот прием.

Как отличить бота от человека в соцсетях и форумах

Находят некий аккаунт в соцсети, который подходит под нужные параметры.

С аккаунта полностью копируют всю информацию: аватар, фото а льбомы, основную информацию, видео, музыку.

Заполняют свой фейковый аккаунт иногда в этой же соцсети, иногда — в другой.

Добавляют несколько друзей, оставляют несколько постов, делают несколько лайков и репостов.

На такую подготовку аккау н та уходит не более часа времени, при этом получается заполненный и немного активный аккаунт. Но наша задача — отличить аккаунт бота от аккаунта живого человека. Для этого нужно обратить внимание на следующие действия:

Посмотрите на оценки, комментарии и на то, кто делился постами вашего аккаунта. Если каждый раз это небольшое количество одних и тех же людей, то есть вероятность, что перед вами бот. Не лишним будет посмотреть профиль «комментирующих», похожи ли они на живых друзей нашего предполагаемого бота? Есть ли в комментариях диалог между владельцем аккаунта и комментирующими?

Заключение

никогда не вести диалоги личного характера с незнакомыми вам людьми;

если есть хоть малейшее подозрение в достоверности аккаунта в соцсети или на фор у ме, то обходите его стороной.

Помните! Ваша информационная безопасность находится только в ваших руках. Вы всегда только своими руками или действиями передаете собственную информацию злоумышленникам. А злоумышленники придумывают все новые и новые способы, чтобы вы это сделали.

Мы будем очень благодарны

если под понравившемся материалом Вы нажмёте одну из кнопок социальных сетей и поделитесь с друзьями.

Источник

Обойти капчу, или Как сайты проверяют человека

Капча (CAPTCHA), требующая доказать, что «Я не робот», появляется на все большем количестве сайтов и сервисов, и раздражает пользователей. Есть несколько причин, из-за которых сайты принимают посетителей за ботов и требуют введения проверочным символов. Можно ли избавиться от повторяющейся проверки, что нужно изменить в настройках браузера и странице во «Вконтакте», как обойти капчу с помощью VPN-сервисов?

Что такое капча?

CAPTCHA — автоматизированный публичный тест Тьюринга. Он позволяет определить бота среди посетителей сайтов. Механизм защиты веб-сервисов от спама разработала в 2000 году команда университета Карнеги — Меллон. Идея теста в том, что предложенное задание легко выполняется людьми, но недоступно для машин.

Чаще всего пользователям нужно ввести символы с картинки. Они изображены с помехами, или полупрозрачны, чтобы машина не могла их распознать. Изначально система хорошо работала, снизила нагрузку на сайты, избавила их от фальшивых комментариев.

Через семь лет после создания теста Тьюринга появилась модификация — reCAPTCHA. Людям предложили распознавать слова отсканированных выпусков газеты The New York Times. Защита от спама одновременно помогала оцифровывать издание.

Но компьютеры становились все мощнее и стали способны распознать символы. Поэтому появились другие варианты: поиск кошек, дорожных знаков на картинках или галочка напротив фразы «Я не робот».

Полезный для администрации сайтов тест стал раздражать пользователей. Иногда приходится вводить капчу по несколько раз, чтобы увидеть какую-то страницу. Отдельной проблемой становится капча во «ВКонтакте».

Существует несколько причин, по которым пользователю приходится постоянно доказывать, что он не робот. Даже если человек не спамит, а просто оставляет комментарии или общается в соцсетях, его может преследовать ввод символов.

Подозрительный трафик с компьютера. Расширения браузера или вирусы на устройстве юзера могут стать частью сети ботов. За это reCAPTCHA блокирует его IP-адрес.

Плохая компания. Провайдеры выделяют для группы абонентов один реальный IP. Поэтому если один из них бот, его блокируют, и вся группа попадает в чёрный список.

Выключение JavaScript на смартфоне. Механизм reCAPTCHA — код JavaScript на сайте. Кодами пользуются не только сервисы, но и мошенники, поэтому в смартфонах для безопасности в браузерах отключен JavaScript. Это приводит к тому, что reCAPTCHA работает со сбоями.

Как избавиться от капчи

Пользователи Google Chrome могут избавиться от надоедливой защиты, отключив ряд расширений. Блокирующее рекламу расширение AdBlock или плагин RDS Bar часто приводят к появлению капчи.

Еще один вариант для компьютеров — заново подключиться к интернету. После перезагрузки модема или роутера юзер может получить новый внешний адрес, и избавиться от назойливой проверки.

Владельцы iPhone могут в разделе настроек Safari открыть вкладку «Дополнения» и включить JavaScript. Пользователям Android в Chrome, нужно нажать на меню с тремя точками, перейти в «Настройки», открыть «Настройки сайтов» и также активировать JavaScript. Еще один вариант для мобильных — ненадолго включить авиарежим, после которого смартфон перерегистрируют в сети, и сможет получить незапятнанный IP.

Избавиться от капчи «ВКонтакте» можно за несколько минут. В настройках страницы надо перейти в раздел «Безопасность», нажать на «Показать историю активности». Всплывшее окно покажет историю посещений сайта и IP, с которого осуществлялся вход.

Если в списке адрес, который отличается от адреса пользователя, нужно нажать «Завершить все сеансы». А затем сменить пароль. Кроме того, капча появляется реже, если страница привязана к номеру телефона.

Если капчу вводить лень даже изредка, это за плату сделают другие юзеры. На специализированных веб-сервисах возьмут примерно 40 рублей за разгадывание тысячи картинок. Пользователь же получит специальный ключ, позволяющий ему забыть о надоедливом тесте.

Если колдовство с настройками не помогло, придётся воспользоваться сервисами VPN. Крупные компании оказывают эту услугу платно. Но есть и бесплатные сервисы с хорошим интерфейсом и удобные в эксплуатации. Например, программа CyberGhost VPN (скачать бесплатно >>).

Сервис работает с всеми популярными браузерами, отлично защищен благодаря протоколу OpenVPN с 256-битным шифрованием AES. Бесплатно можно запускать только на одном устройстве. Пользователь получит доступ к 37 серверам в 12 странах, работает без перерыва около трех часов, после этого надо снова подключит и продолжить работу.

Источник

6 сервисов, чтобы найти и удалить ботов в Instagram

У вас там затемнение, сущность в виде гномика, сейчас я это почистию, уберу…

Боты — это фейковые аккаунты в Instagram, которые создают для массовых лайков и комментариев. Типичные признаки:

Боты никогда ничего не купят, не оставят осмысленный комментарий, не посоветуют друзьям. Поэтому в своих аккаунтах их лучше находить и уничтожать удалять. (Чужие тоже стоит проверять, если собираетесь покупать рекламу или партнёриться.) Вручную этим заниматься долго и сложно, но есть специальные инструменты:

Описания и тарифы актуальны на февраль 2021 года.

Копирайтер-маркетолог. Повышаю продажи бизнеса с помощью продвижения в соцсетях. Специализируюсь на копирайтинге и работе с Яндекс.Дзен.

FakeLikeInfo

FakeLikeInfo — специализированный инструмент для проверки на накрутки и ботов.

Анализ — на основе последних 12 постов. По каждому — детальная сводка.

В FakeLikeInfo есть возможность бесплатно проанализировать аккаунт, в котором до 500 подписчиков. Если фолловеров больше, стоимость составит от 399 рублей за одну проверку.

Сервис можно использовать для комплексного анализа аккаунтов — например, для проверки блогеров перед покупкой рекламы. Но для чистки своих подписчиков не подойдёт.

Похожий сервис — trendHERO, стоит от 9,99 доллара в месяц.

InstaHero

InstaHero — целый набор инструментов: аналитика, чистка подписчиков, мониторинг.

Аналитика стоит от 99 рублей за одну проверку. Чистка, мониторинг — 99 рублей в месяц (за один аккаунт). Есть бесплатный тестовый период — два дня.

Сервис подходит и для контроля своих аккаунтов, и для анализа конкурентов/блогеров. Тарифы вполне доступные.

Getpapabot

Этот Telegram-бот собирает и выгружает полную статистику по подписчикам.

… но открывает её только после оплаты.

Отчёт включает множество данных: полный список с ID и именами, количество входящих и исходящих подписок, типы профилей и другие.

Стоимость проверки — от 200 рублей. Чем больше подписчиков, тем дороже.

Инструментарий Getpapabot позволяет решить множество задач: оценить качество аудитории блогера, заблокировать ботов и конкурентов, выгрузить список подписчиков на случай блокировки аккаунта.

SocialKit

SocialKit — десктопная программа для продвижения Instagram.

Порядок работы: собрать всю аудиторию, выявить некачественную (с помощью фильтров), сохранить ботов отдельным списком и удалить.

Сервис платный, лицензия стоит 1 110 рублей в месяц. Есть демоверсия, но в ней слишком мало функций.

Хороший инструмент для чистки своих подписчиков, так как может решить обе задачи: найти и удалить. Но для разовой работы обойдётся дорого, к тому же не очень удобно возиться с установкой ПО на компьютер.

Instaplus

Instaplus — онлайн-сервис для комплексной работы с аккаунтом в Instagram, где в том числе можно отписывать ботов. Важно: сервис не рекомендует убирать более 500 аккаунтов в сутки.

Подписка стоит до 399 рублей в месяц за один аккаунт. В течение пяти дней можно попробовать бесплатно.

Чтобы убрать ботов, нужно сначала собрать их список. То есть в Instaplus не получится найти и удалить подписчиков «под ключ». Это существенный минус.

Zeus, как и SocialKit или Instaplus, играет на обе стороны: позволяет и накручивать, и избавляться от ботов.

Можно настроить лимиты и фильтры — например, выбрать блокировку арабского языка. Тогда соответствующие аккаунты будут удалены из числа фолловеров.

Нужная функция доступна только на тарифе VIP, который стоит 1 390 рублей в месяц. Есть двухдневный тестовый период.

Если использовать Zeus только для чистки подписчиков от ботов, выйдет довольно дорого.

Источник

Один подход к обнаружению веб-ботов, или Как мы использовали машинное обучение для классификации ботов

Объем трафика в интернете растет (особенно в последние месяцы, когда мы все оказались на удаленке и многие перевели свои активности в онлайн). Увеличивается и число автоматических средств взаимодействия с контентом на веб-сайтах и, как следствие, все большую актуальность получает фильтрация нежелательной автоматизированной активности. Сегодня до 50% интернет-активности генерится автоматически с помощью так называемых веб-ботов (или просто ботов). И в данном случае речь о любой активной в сети программе, вне зависимости от целей ее использования. Обычно такие программы выполняют повторяющиеся, простые в автоматизации действия. Например, поисковые движки Google или Yandex используют краулеры для периодического сбора контента и индексации страниц в интернете.

Итак, есть два типа веб-ботов — легитимные и зловредные. К легитимным можно отнести поисковые движки, RSS-ридеры. Примеры зловредных веб-ботов ― сканеры уязвимостей, скрейперы, спамеры, боты для DDoS-атак, трояны для мошенничества с платежными картами. После определения типа веб-бота к нему могут быть применены различные политики. Если бот легитимный, можно уменьшить приоритет его запросов к серверу или снизить уровень доступа к определенным ресурсам. Если бот определен как зловредный, можно его заблокировать или отправить в песочницу для дальнейшего анализа. Обнаруживать, анализировать и классифицировать веб-боты важно, так как они могут нанести вред: например, вызвать утечку важных для бизнеса данных. А также это снизит нагрузку на сервер и сократит так называемый шум в трафике, ведь до 66% трафика веб-ботов — это именно зловредный трафик.

Существующие подходы

Есть разные техники обнаружения веб-ботов в сетевом трафике, начиная от лимитирования частоты запросов к узлу, черных списков IP-адресов, анализа значения HTTP-заголовка User-Agent, снятия отпечатков устройства — и заканчивая внедрением CAPTCHA, и поведенческим анализом сетевой активности с помощью машинного обучения.

Но сбор репутационной информации об узле и поддержка в актуальном состоянии черных списков с помощью различных баз знаний и threat intelligence — затратный, требующий больших усилий процесс, и при использовании прокси-серверов он не целесообразен.

Анализ поля User-Agent в первом приближении может показаться полезным, но ничто не мешает веб-боту или пользователю изменить значения этого поля на валидное, замаскировавшись под обычного пользователя и используя валидный User-Agent для браузера, или под легитимный бот. Назовем такие маскирующиеся веб-боты impersonators. Использование различных отпечатков устройства (отслеживание движения мыши или проверка возможности рендеринга HTML-страницы клиентом) позволяет выделять более сложные в обнаружении веб-боты, имитирующие поведение человека, например запрашивающие дополнительные страницы (файлы стилей, иконки и т. п.), парсящие JavaScript. Этот подход основан на внедрении кода на стороне клиента, что часто недопустимо, так как ошибка при вставке дополнительного скрипта может нарушить работу веб-приложения.

Следует отметить, что обнаруживать веб-боты можно и онлайн: оценка сессии будет производиться в режиме реального времени. Описание такой постановки задачи можно найти у Кабри и соавторов [1], а также в работах Зи Чу [2]. Другой подход — анализировать только после завершения сессии. Наиболее интересен, очевидно, первый вариант, который позволяет принимать решения быстрее.

Предлагаемый подход

Для выявления и классификации веб-ботов мы использовали техники машинного обучения и стек технологий ELK (Elasticsearch Logstash Kibana). Объектами исследования стали HTTP-сессии. Сессия — последовательность запросов от одного узла (уникальное значение IP-адреса и поля User-Agent в HTTP-запросе) в фиксированном временном интервале. Дерек и Гохале для определения границ сессий используют 30-минутный интервал [3]. Илиу и др. утверждают, что такой подход не гарантирует реальной уникальности сессии, но все же допустимо. В силу того, что поле User-Agent может быть изменяемым, могут появиться больше сессий, чем есть на самом деле. Поэтому Никифоракис и соавторы предлагают более тонкую настройку, основанную на том, поддерживается ли ActiveX, включен ли Flash, разрешение экрана, версия ОС.

Мы же будем считать допустимой погрешность в формировании отдельной сессии, если поле User-Agent меняется динамически. А для выявления сессий ботов построим четкую бинарную модель классификации и будем использовать:

Также будем решать задачу онлайн-обучения модели.

Концептуальная схема предлагаемого подхода

Данный подход имеет три этапа: обучение и тестирование, предсказание, анализ результатов. Рассмотрим первые два подробнее. Концептуально подход следует классической схеме обучения и применения моделей машинного обучения. Сначала определяют метрики качества и признаки для классификации. После формируют вектор признаков и проводят серии экспериментов (различные перекрестные проверки) для валидации модели и подбора гиперпараметров. На последнем этапе выбирают наилучшую модель и проверяют качество модели на отложенной выборке.

Обучение и тестирование модели

С помощью модуля packetbeat осуществляется парсинг трафика. Сырые HTTP-запросы отправляются в logstash, где с помощью Ruby-скрипта формируются задачи в терминах Celery. Каждая из них оперирует идентификатором сессии, временем запроса, телом и заголовками запроса. Идентификатор сессии (ключ) — значение хеш-функции от конкатенации IP-адреса и User-Agent. На этом этапе создаются два вида задач:

Так формируется матрица признаков и выставляется целевая метка класса для каждой сессии. На основе этой матрицы происходят периодическое обучение моделей и последующий подбор гиперпараметров. Для обучения использовали: логистическую регрессию, метод опорных векторов, деревья принятия решений, градиентный бустинг над деревьями принятия решений, алгоритм случайного леса. Наиболее релевантные результаты мы получили с помощью алгоритма случайного леса.

Предсказание

Во время парсинга трафика обновляется вектор признаков сессии в key-value storage: c появлением нового запроса в сессии пересчитываются признаки, ее описывающие. Например, признак среднее количество заголовков в сессии (mean_headers) вычисляется каждый раз, когда в сессию добавляется новый запрос. Predictor отправляет вектор признаков сессий в модель, а ответ от модели записывает в Elasticsearch для анализа.

Эксперимент

Свое решение мы проверяли на трафике портала SecurityLab.ru. Объем данных — более 15 ГБ, более 130 часов. Количество сессий — более 10 000. В силу того, что предлагаемая модель использует статистические признаки, сессии, содержащие менее 10 запросов, не участвовали в обучении и тестировании. В качестве метрик качества мы использовали классические метрики качества ― точность, полнота и F-мера для каждого класса.

Тестирование модели обнаружения веб-ботов

Рассмотрим пример сессии impersonators. Она содержит 12 похожих запросов. Один из запросов представлен на рисунке ниже.

Все последующие запросы в этой сессии имеют такую же структуру и отличаются только URI.

Отметим, что этот веб-бот использует валидный User-Agent, добавляет поле Referer, обычно использующееся неавтоматическими средствами, и количество заголовков в сессии невелико. Кроме того, временные характеристики запросов — время сессии, среднее время на запрос — позволяют говорить о том, что эта активность автоматическая и относится к классу RSS-ридеров. При этом сам бот маскируется под обычного пользователя.

Тестирование модели классификации веб-ботов

Качество для категории libs_tools низкое, но недостаточный объем примеров для оценки не позволяет говорить о корректности результатов. Следует провести повторную серию экспериментов по классификации веб-ботов на большем количестве данных. С уверенностью можно сказать, что текущая модель с довольно высокой точностью и полнотой умеет разделять классы RSS-ридеров, поисковых движков и ботов общей направленности.

Согласно этим экспериментам на рассматриваемых данных, более 22% сессий (при общем объеме более 15 ГБ) созданы автоматически, и среди них 87% относятся к активности ботов общей направленности, неизвестных ботов, RSS-ридеров, веб-ботов, использующих различные библиотеки и утилиты. Таким образом, если фильтровать сетевой трафик веб-ботов по типу активности, то предлагаемый подход позволит снизить нагрузку на используемые серверные ресурсы минимум на 9–10%.

Тестирование модели классификации веб-ботов онлайн

Суть этого эксперимента в следующем: в режиме реального времени после парсинга трафика выделяются признаки и формируются вектора признаков для каждой сессии. Периодически каждая сессия отправляется в модели для предсказания, результаты которого сохраняются.

F-мера модели во времени для каждого класса

Графики ниже иллюстрируют изменение значения метрик качества во времени для наиболее интересных классов. Размер точек на них связан с числом сессий в выборке в конкретный момент времени.

Точность, полнота, F-мера для класса search engines

Точность, полнота, F-мера для класса libs tools

Точность, полнота, F-мера для класса rss

Точность, полнота, F-мера для класса crawler

Точность, полнота, F-мера для класса human

Для ряда классов (human, rss, search_engines) на рассматриваемых данных качество работы модели является допустимым (точность и полнота более 80%). Для класса crawler с увеличением числа сессий и качественным изменением вектора признаков для этой выборки качество работы модели растет: полнота увеличилась с 33% до 80%. Для класса libs_tools невозможно сделать разумных выводов, так как количество примеров для этого класса невелико (менее 50); поэтому отрицательный результат (низкое качество) не может быть подтвержден.

Основные результаты и дальнейшее развитие

Мы описали один подход к обнаружению и классификации веб-ботов с помощью алгоритмов машинного обучения и использования статистических признаков. На рассматриваемых данных средняя точность и полнота предлагаемого решения для бинарной классификации — более 95%, что говорит о перспективности подхода. Для определенных классов веб-ботов средняя точность и полнота составляют около 80%.

Валидация построенных моделей требует реальной оценки сессии. Как было показано ранее, качество работы модели существенно возрастает при наличии корректной разметки для целевого класса. К сожалению, сейчас сложно автоматически построить такую разметку и приходится прибегать к экспертной, что усложняет построение моделей машинного обучения, но позволяет находить скрытые закономерности в данных.

Для дальнейшего развития задачи классификации и обнаружения веб-ботов целесообразно:

Источник