«Защита от парсинга» - это единый модуль для борьбы со скрейпингом, агрессивными ботами и автоматическим съёмом контента и цен с вашего сайта на 1С-Битрикс.
Парсеры воруют контент, нагружают сервер и сливают вашу базу товаров и цен конкурентам. Модуль выстраивает многоуровневую защиту на стороне PHP и объединяет в одном месте всё, что обычно приходится собирать из разрозненных решений: ограничение частоты запросов, поведенческий анализ, проверку браузера, гео- и IP-фильтрацию, защиту контента и API, интеграцию с Cloudflare и систему уведомлений.
Модуль рассчитан на боевое использование: безопасные значения по умолчанию, мягкие режимы для обкатки без риска заблокировать живых посетителей, корректная работа в кластере и за балансировщиком, минимальное влияние на кэширование и индексацию поисковиками.
Основные возможности
Ограничение запросов (Rate Limiting)
- Лимит запросов по IP за период, хранилище счётчиков - Redis / Memcache / файлы (атомарный подсчёт, корректно в кластере).
- При превышении порога - CAPTCHA: стандартная Bitrix, Google reCAPTCHA v3 или Yandex SmartCaptcha.
Обнаружение и блокировка ботов
- 40+ паттернов вредоносных User-Agent, обнаружение headless-браузеров.
- Threat-scoring 0-100: блокировка по совокупности признаков, а не по одному слабому индикатору (меньше ложных срабатываний).
- Проверка «хороших» ботов через forward-confirmed reverse DNS (Google, Bing, Yandex, Apple, Baidu, DuckDuckGo, Facebook) - подделку Googlebot не пропустит.
- Мягкий режим (только лог) для безопасной обкатки.
- Настраиваемые белые/чёрные списки User-Agent.
JS-проверка браузера и поведенческий анализ
- Фрикционная JS-проверка отсекает примитивных парсеров и автоматизированные браузеры, проверенные поисковики и API не затрагиваются.
- Поведенческий сигнал: реальное взаимодействие пользователя подтверждается подписанной cookie, снижая ложные срабатывания.
- Анализ «холодных» прямых заходов (режимы: выкл / мониторинг / блокировка).
IP-блокировка
- Белый и чёрный списки: отдельные IP, подсети CIDR, маски, IPv6.
- Автоматическая блокировка IP после N нарушений в час (кластер-консистентно).
Гео-блокировка
- Блокировка по странам (чёрный/белый список).
- Определение страны по цепочке источников: заголовок Cloudflare ? заголовки веб-сервера (nginx/apache GeoIP и GeoIP2) ? штатный GeoIP 1С-Битрикс (SypexGeo, MaxMind и др.) ? «Bitrix\Sale\Location\GeoIp» ? PHP-расширение geoip ? база MaxMind. Достаточно любого одного источника.
Защита контента
- 3 уровня защиты, блокировка копирования и контекстного меню, отключаемая плашка «Копирование запрещено».
- Honeypot-ловушки для форм, обфускация e-mail и телефонов.
Защита API
- Ограничение частоты, проверка токена («X-API-Token»), политика CORS, защита по путям.
Интеграция с WAF
- Синхронизация правил блокировки IP с Cloudflare.
Уведомления
- E-mail, Telegram, Webhook - с порогами, защитой от спама (cooldown) и повторными попытками.
Мониторинг и логи
- Дашборд с графиками по часам/дням, топ стран, IP и событий, фильтрами.
- Экспорт в CSV и Fail2Ban, логирование в файлы и/или БД, статистика «люди и боты».
Многосайтовость
- Настройки поведения задаются отдельно для каждого сайта с откатом на глобальные значения. Инфраструктура (ключи капчи, IP-списки, Redis/WAF/уведомления) - общая.
Преимущества
- Всё в одном модуле - не нужно собирать защиту из нескольких решений.
- Безопасные значения по умолчанию и мягкие режимы - можно внедрять без риска заблокировать живых клиентов.
- Не мешает SEO - проверенные поисковики проходят все проверки, индексация не страдает.
- Готов к нагрузке и кластеру - общие счётчики в Redis/Memcache, защита от спуфинга «X-Forwarded-For», «ленивые» сессии не ломают композитный кэш.
- Работает с тем, что уже настроено - подхватывает штатный GeoIP Битрикса, Cloudflare, существующую инфраструктуру.
Интерфейсы в админке
Раздел «Сервисы ? Защита от парсинга».
Раздел «Настройки ? Настройки продукта ? Настройки модулей ? Защита от парсинга».
Неправильная настройка может привести к потере доступа к сайту
Модуль предназначен для блокировки нежелательного трафика. Слишком агрессивные или ошибочные настройки могут заблокировать реальных посетителей, а в отдельных случаях - затруднить доступ к самому сайту. Примеры рискованных конфигураций:
- Слишком низкий лимит запросов (rate limit) - блокирует обычных пользователей и легитимные интеграции;
- Гео-блокировка в режиме «белый список» с не теми странами или с включённой блокировкой при неопределённой стране - может закрыть сайт для всех посетителей;
- Добавление в чёрный список IP/подсетей, через которые ходят ваши клиенты, CDN, платёжные шлюзы или интеграции;
- Включение жёстких режимов (блокировка ботов, блокировка прямых заходов) без предварительной обкатки;
- Ошибки в списке «доверенных прокси» за балансировщиком, из-за чего весь трафик считается идущим с одного IP.
Важно: по умолчанию запросы из CLI/cron и от авторизованных администраторов не проверяются - это снижает риск полной блокировки доступа к административной панели. Тем не менее публичная часть сайта при ошибочных правилах может стать недоступной для посетителей, а неверная серверная конфигурация (прокси, кэш, права доступа) - усугубить последствия.
Обязательно делайте резервные копии
Перед установкой модуля, а также перед любыми изменениями его настроек обязательно создавайте резервную копию сайта и базы данных.
Резервная копия должна позволять полностью восстановить:
- Файлы сайта (включая каталог модуля и настройки);
- Базу данных (таблицы настроек «b_option», журналы модуля и т.д.).
Убедитесь, что у вас есть проверенный способ восстановления и доступ к серверу/хостингу в обход сайта (SSH, файловый менеджер хостинга, панель управления) - на случай, если потребуется быстро отключить модуль или откатить изменения.
Рекомендации по безопасному внедрению
1. Сделайте резервную копию.
2. Включайте механизмы постепенно, начиная с мягких режимов: блокировку ботов - в режиме «только лог», анализ прямых заходов - в режиме «мониторинг».
3. Несколько дней наблюдайте за Дашбордом: оцените, кого модуль заблокировал бы, и нет ли ложных срабатываний.
4. Только убедившись в корректности, переключайте механизмы в режим блокировки.
5. Заранее внесите в белые списки доверенные IP (офис, мониторинг, интеграции, платёжные шлюзы) и нужные подсети.
6. За балансировщиком корректно заполните «Доверенные прокси».
7. Знайте, как быстро отключить модуль: глобальный выключатель в настройках или удаление/переименование каталога модуля на сервере.
Экстренное отключение
Если сайт стал недоступен из-за настроек модуля:
- Отключите модуль глобальным переключателем в настройках (если доступ в админку есть);
- Либо на сервере переименуйте/удалите каталог модуля и при необходимости снимите регистрацию модуля / восстановите сайт из резервной копии.
Приобретенные программные продукты поставляются в виде цифро-буквенного кода. Используя код, вы сможете установить продукт на хостинг. Код приходит на указанный в заказе адрес электронной почты.
Время от момента получения оплаты до момента отправки кода составляет несколько часов. В течение этого периода выполняет оформление приобретенной продукции.
Обращаем ваше внимание, что дополнительная задержка может быть вызвана некорректно указанным адресом почты. Просим вас внимательно проверять ваши персональные данные при оформлении заказа. Мы гарантируем, что конфиденциальность ваших данных будет соблюдена.
Что требуется для установки:
- CSM «1С-Битрикс».
- Домен.
- Хостинг.
Мы предлагаем приобрести все необходимое в готовом наборе на нашем сайте. Это позволит ускорить дальнейшую установку.
Бонус: бесплатная базовая установка!
Чтобы получить подробную информацию о сервисе, вы можете ознакомиться с официальными реестрами Visa International и MasterCard Worldwide. Заполнив и подтвердив заказ, вы будете переадресованы на сайт сервиса Яндекс.Деньги. Там вы сможете оплатить заказ, воспользовавшись картой Visa, Mastercard или Maestro или кошельком Яндекс.Деньги.
Подробнее
1. Установите модуль через стандартный менеджер модулей.
(Откройте «Маркетплейс» ? «Установленные решения», выберите «Защита от парсинга» и нажмите «Установить»)
2. После установки в разделе «Сервисы» появится страница «Защита от парсинга».
(Также доступен путь «Настройки ? Настройки продукта ? Настройки модулей ? Защита от парсинга»)
Первичная настройка
1. Откройте «Сервисы ? Защита от парсинга ? Настройки» (или «Marketplace ? Установленные решения ? Защита от парсинга ? Настройки»).
2. Включите нужные механизмы защиты. Рекомендуемый порядок внедрения:
- Сначала держите блокировку ботов в режиме «только лог», а анализ прямых заходов - в режиме «мониторинг»;
- Откройте Дашборд (Сервисы ? Защита от парсинга ? Панель мониторинга) и оцените, кого модуль поймал бы;
- Убедившись в отсутствии ложных срабатываний, переключите механизмы в режим блокировки.
3. За балансировщиком / reverse-proxy обязательно заполните поле «Доверенные прокси» (вкладка «Общие») - укажите IP или подсеть прокси (поддерживается CIDR/IPv6). Без этого заголовки «X Forwarded-For» игнорируются (защита от спуфинга), и все клиенты будут видны под одним IP прокси.
4. Для кластера / высокой нагрузки укажите параметры Redis или Memcache (вкладка «Хранилище») - счётчики и авто-блокировка станут общими для всех нод. Текущий тип хранилища показан там же.
5. Многосайтовость: настройки поведения задаются отдельно для каждого сайта через селектор сайта вверху страницы настроек, с откатом на значения «Все сайты». Общими остаются ключи капчи, IP списки и инфраструктура.
Проверка работоспособности
- В разделе Сервисы появился пункт «Защита от парсинга» с подпунктами «Настройки» и «Панель мониторинга».
- На странице Настройки вкладка «Хранилище» показывает активный тип хранилища (Redis / Memcache / File).
- При включённом логировании события начинают появляться на Дашборде (вкладка статистики и список последних событий).
- Кнопки «Проверить» на вкладке «Уведомления» отправляют тестовое сообщение выбранным способом (E-mail / Telegram / Webhook).
Kommutator.net
-
Запуск на хостинге
-
Индивидуальный дизайн
-
Наполнение контентом
-
Настройка
-
Адаптация под сферу деятельности
-
Поисковая оптимизация
Это заранее созданный сайт или интернет-магазин с демоконтентом, лид-формами и кнопками, который вы можете купить и использовать для своего проекта.
В будущем готовое решение можно доработать, обратившись к программистам.
В стоимость готового решения входят такие позиции:
- Шаблон дизайна.
- Набор цветовых схем.
- Запрограммированные веб-страницы.
- Демоконтент.
- Структура меню.
- Мастер установки.
Кроме приобретения решения для разработки сайта также понадобятся:
- Система управления контентом «Битрикс».
- Аренда домена и хостинга.
Список подходящих редакций указан на детальной странице каждого решения. Если рассматривать редакции с точки зрения функционала, то можно выделить две группы:
- Редакции для разработки лендингов и корпоративных сайтов.
- Редакции для создания интернет-магазинов.
Для разработки одностраничников и корпоративных сайтов подходят редакции «Старт» и «Стандарт». «Стандарт» отличается от «Старта» наличием модуля проактивной защиты. Что входит в модуль:
- Инструмент для проведения аудита.
- Панель безопасности с разными уровнями защищенности.
- Антивирус.
- Система одноразовых паролей.
- Защита от DDoS-атак.
- Журнал вторжений и др.
С помощью этих редакций можно создать интернет-магазин, но в этом случае вам понадобится модуль корзины, не входящий в комплектацию редакций. Такой модуль включен в состав некоторых готовых решений. Оптимальный вариант для разработки интернет-магазина - это редакции «Малый бизнес» и «Бизнес», поддерживающие интеграцию с 1С.
В каких случаях нужна редакция «Бизнес»:
- Если у вашего интернет-магазина несколько групп покупателей (например, оптовые и розничные), для которых должна быть разная цена на одинаковый товар.
- Для запуска программ лояльности, систем скидок и бонусов.
- Для магазинов, в которых продаются наборы (основной товар + аксессуары).
- Для магазинов, продающих комплекты из основной позиции и актуального (но не обязательного для использования товара).
- Для тех, кто распоряжается несколькими складами или оффлайн-магазинами (информация о наличии товара должна отображаться в интернет-магазине).
Если у вас нет необходимости в перечисленных возможностях, то вы можете выбрать редакцию «Малый бизнес». В будущем ее можно расширить до более полной редакции «Бизнес», внеся дополнительную плату.
Нет, для установки решения требуется активная лицензия, то есть с момента приобретения прошло менее 12 месяцев. После истечения этого срока лицензию необходимо продлить.
Вы можете продлить лицензию, воспользовавшись одним из двух тарифов - льготным или стандартным. Льготный тариф действует в течение 30 дней после окончания лицензии (его стоимость составляет 22% от ее цены). Стандартный тариф составляет 60% от базовой цены и действует, если после окончания прошло более 30 дней.
Да, мы можем установить решение на лицензию «Битрикс». Возможна бесплатная установка, начиная с лицензии «Малый Бизнес». Для этого вы предоставляете:
- Ссылки на хостинг, логин и пароль (это необходимо для авторизации).
- Доменное имя.
- Лицензионный ключ «Битрикс».
- Купон для установки.
- Зарегистрируйте лицензионный ключ на сайте Битрикс (придет вам по e-mail после покупки). Он состоит из 23 символов прописных (больших) букв латинского алфавита и цифр в формате: XXX-XX-XXXXXXXXXXXXXXXX.
- Скачайте установочный файл на свой компьютер.
- Зайдите на сайт хостинг-провайдера и авторизуйтесь.
- Войдите в файловый менеджер. Там вы сможете загрузить установочный файл в корневую папку хостинга.
- Сформируйте базу данных.
- Перейдите по адресу тестового домена, воспользовавшись ссылкой имя-сайта/bitrixsetup.php.
- Выберите редакцию, которая соответствует отправленному вам лицензионному ключу.
- Воспользуйтесь отправленным на вашу почту 23-значным кодом и вставьте его в поле «Лицензионный ключ». Нажмите на кнопку «Загрузить».
- После того, как появится экран «Начало установки», кликните кнопку «Далее».
- Выберите пункт «Я принимаю лицензионное соглашение», поставьте галочку и кликните кнопку «Далее».
- Выберите пункт «Я хочу зарегистрировать свою версию продукта» и поставьте галочку. Не забудьте о заполнении обязательных полей. При создании сайта на иностранном языке поставьте отметку в пункте «Установить в кодировке UTF-8» и кликните «Далее».
- Перед вами появится экран для предварительной проверки системы. На нем вы увидите показатели вашей редакции. Выделенные зеленым цветом показатели соответствуют требованиям, а красным - не соответствуют. Чтобы исправить несоответствующие значения обратитесь в техподдержку хостинговой компании.
- На появившемся экране «Создание базы данных» внесите необходимые данные (база создается на хостинге).
- После заполнения всех обязательных полей вы можете создать администратора сайта.
- Воспользуйтесь шаблоном для установки. Вы можете выбрать как бесплатный шаблон, так и готовое решение.
Следуйте инструкции:
- Установите на хостинг систему «Битрикс».
- Авторизуйтесь под данными администратора, выполнив переход по ссылке имя-сайта/bitrix.
- В разделе Marketplace вы увидите административную панель. Перейдите в нее и выберите подраздел «Обновление решений». После этого откройте вкладку «Активация купона».
- Купон - это 25 символов (цифры и заглавные буквы латинского алфавита). Введите купон для активации и кликните «Активировать купон».
- После того, как в «Списке обновлений» появится название решения, поставьте галочку и загрузите его.
- Откройте вкладку «Установка обновлений» и установите.
- Выберите название купленного решения и отметьте пункт «Загрузить».
- В разделе «Настройки» найдите подраздел «Список мастеров». Найдите название вашего решения и отметьте пункт «Установить».
- После того, как появится мастер установки, отметьте пункт «Существующий» и нажмите «Далее».
- На экране «Выбор шаблона» кликните «Далее».
- Выбрав цветовую схему, нажмите «Далее».
- Замените демоконтент и кликните «Установить».
- На появившемся экране «Завершение настройки» кликните «Перейти на сайт».
Стоимость не всегда зависит от наличия хостинга. По своему опыту можем сказать, что не все хостинги одинаковы. В некоторых ситуациях параметров хостинга недостаточно для корректной работы сайта и обеспечения рекламной кампании. Если вы пользуетесь услугами провайдеров Timeweb, Ru-Center или Rusonyx, то стоимость будет снижена на ту сумму, которая была потрачена на хостинг. В ином случае советуем обратиться к менеджеру для уточнения деталей.
Владельцам небольших проектов мы предлагаем простые тарифы хостинга для снижения расходов.
Общие для всех продуктов:
- Обновление продукта;
- Получение новых версий (можно посмотреть какие и как часто выходят обновления для Управления сайтом и для Битрикс24);
- Приоритетная техническая поддержка в первую очередь (срок ответа не превышает шести рабочих часов);
- Система резервного копирования в облако;
- Использование Маркетплейс
- Конструктор Сайты24
Уникальные для «1С-Битрикс: Управления сайтом»
- Обновление системы безопасности;
- Инспектор сайтов;
- Ускорение загрузки сайта CDN
- Мобильное приложение администратора магазина (для редакций «Малый бизнес» и «Бизнес»)
- Автобюджет контекста в Яндекс.Директ
- BigData: Персонализация
- Защита от DDoS
Уникальные для «1С-Битрикс24»
- Работа телефонии
- Автозаполнение реквизитов по ИНН
- Работа открытых линий:
- настраивать и создавать Открытые линии можно без ограничений;
- онлайн-чат работает без ограничений;
- каналы коммуникаций исчезают из виджета CRM;
- сообщения на портал из настроенных каналов продолжают приходить;
- настроить каналы нельзя - будет выдаваться ошибка (кроме Онлайн-чата);
- нельзя ответить на сообщения - они не доставляются.
Даже если вы не приобретете продление на следующий год, то по истечение года активности лицензии сайт не отключится и продолжит работать.
Теперь немного подробнее как происходит лицензирование с юридической точки зрения.
После оплаты права использования программы, вы одновременно получаете две лицензии:
1. Стандартную – она позволяет использовать продукт, получать обновления, устанавливать решения из Маркетплейс, приоритетную техническую поддержку и т.д. (то о чем говорилось вначале). Срок действия Стандартной лицензии – один год. После этого необходимо продление.
2. Ограниченную – которая дает право использовать продукт без доступа к обновлениям и решениям из Маркетплейс. Владелец Ограниченной лицензии, если срок его Стандартной лицензии истек, получает техническую поддержку менее оперативно (срок ответа – до трех рабочих дней).
Ограниченная лицензия предоставляется не по письменному договору, а по EULA (лицензионное соглашение с конечным пользователем) и не учитывается в бухгалтерском учете. Ее назначение – подтверждение правомерности использования программного продукта клиентом по истечению годичного периода.
Срок действия Ограниченной лицензии совпадает со сроком исключительных прав на программный продукт (по статье 1281 ГК РФ).
Как осуществляется поставка? Получу ли я коробку/диск?
Все продукты «1С-Битрикс» поставляются в электронном виде по электронной почте. После подтверждения факта оплаты на e-mail, указанный при оформлении заказа, будет отправлено письмо с лицензионным ключом, инструкцией по его активации и получению дистрибутива, или купоном и инструкцией по активации купона.
Поставка программных продуктов "1С-Битрикс" на физических носителях (коробки/диски) не осуществляется.
После оплаты лицензионного вознаграждения вам предоставляется право использования ПО (авторизационный код/ключ) - договор считается исполненным. Согласно п. 4 ст. 453 ГК РФ: "Стороны не вправе требовать возвращения того, что было исполнено ими по обязательству до момента изменения или расторжения договора, если иное не установлено законом или соглашением сторон."
Поставка программных продуктов "1С-Битрикс" на физических носителях (коробки/диски) не осуществляется.