«Дубовой: Искусственный интеллект - автоматический генератор товаров через нейросети» от разработчика «GuruBX - онлайн школа программирования»

Статьи:

• Обновление 2.0. Как быстро создать и заполнить свойства товаров в пару кликов через ИИ?Новая модель с возможностью поиска описания товаров и характеристик в Интернете.
  
• Сколько стоит заполнение характеристик товаров через нейросети?Новая версия модуля «Дубовой: Искусственный интеллект» с поддержкой GPT5.
  

Видео презентации:

• Общая презентация
  

• Как быстро найти и заполнить значения свойств товаров в пару кликов через ИИ? Заполняем тысячи товаров через модуль Intelgen

• Кейс - получили файл с товарами от поставщика. Быстро заполняем описание, свойства и картинки через модуль "Дубовой: Искусственный интеллект"

• Поиск картинок товара с автоматической генерацией альтернативных названий товара, расширяем зону поиска картинок

Для корректной работы всех функций модуля необходимо иметь актуальный SSL сертификат для вашего домена (в том числе бесплатный Let's Encrypt). Модуль работает только по HTTPS протоколу (работа на локальном сервере невозможна).

На стороне сервера необходимо включить PHP CUrl (обычно уже включено на большинстве серверов, в том числе на BitrixVM).

Для работы модуля необходимо получить API токены нейросетей, а также других сервисов:

• OpenAI (генерация текста)
  
• Google (поиск картинок)
  
• PhotoRoom (обработка картинок)
  
• Text.ru (проверка качества текста)
  

Обратите внимание, доступ к многим нейросетям невозможен с Российских IP адресов, необходимо приобрести прокси или иметь на сервере иностранный IP адрес. Для оплаты доступа к API необходимо использовать международные банковские карты VISA или MasterCard.


После установки модуля появится кнопка "Перейти к настройкам"

1) Проверка обязательных настроек
На первой вкладке "Генератор товаров" будет выполнена проверка обязательных настроек. Выполните настройку модуля в соответствии с указаниями - если есть какие-либо ошибки устраните.

Модуль проверяет следующие настройки:

• есть ли у вас на сервере CUrl
  
• включены ли в настройках модуля генерация текста и / или генерация картинок
  
• работает ли ваш сайт по https протоколу
  
• если включена генерация описания, должен быть задан API ключ OpenAI
  
• если включен поиск картинок, должны быть заданы API ключ Google и ID поисковой системы
  
• если включена модификация картинок, должен быть указан API ключ PhotoRoom
  

2) Получение API ключей
Перейдите на вкладку API ключи и введите соответствующие ключи нейросетей (инструкция по получению API ключей представлена на самой вкладке модуля).

Обратите внимание, для выполнения запросов к API OpenAI с Российских IP адресов необходим прокси-сервер (HTTPS, приватный, IPv4).

После ввода API ключа появится кнопка "Проверить ключ". Если IP адрес вашего сервера Российский или Белорусский помимо API ключа OpenAI введите данные прокси сервера, только после этого нажимайте на кнопку "Проверить ключ".

Если все прошло успешно, вы получите сообщение:
"Добавлен API ключ, проверка ключа пройдена успешно, сохраните изменения".

Если вы не укажете прокси сервер, вы увидите сообщение:
"API ключ некорректный либо запрос с IP адреса вашего сервера невозможен (укажите прокси ниже), полный текст ошибки: Country, region, or territory not supported".

Если ваш прокси-сервер некорректный, появится сообщение:
"Ошибка при проверке API ключа, запрос не проходит, проверьте ваши прокси".

При наличии ошибки проверки ключа убедитесь, что прокси IPv4, приватный, имеет тип HTTPS. Возможные пути решения рассмотрены в самом низу в блоке "Типичные проблемы".

3) Настройка модуля
Выполните настройку модуля на вкладке "Настройки"

Особое внимание обратите на поле "Домен вашего сайта", значение должно соответствовать вашему домену.

Включите все функции модуля, которые вам необходимы

По умолчанию опция "Включить ручную модерацию" активна. Это значит, что все сгенерированные данные (описание товара, характеристики и фотографии) не будут автоматически сохраняться в товарах. Это позволит не публиковать сразу непроверенные данные на рабочем проекте. После ручной проверки и сохранении изменений, информация обновится. Выключайте модерацию с осторожностью и пониманием дела.

В противном случае, при отключении модерации и включении опции модификации картинок, вы можете понести дополнительные затраты на API (поскольку модуль будет обрабатывать все найденные картинки без вашего участия).

4) Выбор инфоблока
На вкладке "Генератор товаров" выберите инфоблок, в котором планируется генерация товаров или изменение существующих товаров.

Идентификация товаров в инфоблоке выполняется по названию. Если товар найден в инфоблоке по названию информация будет обновляться в этом товаре. В противном случае будет создан новый товар в разделе "Генератор товаров" (раздел будет создан автоматически). Если в инфоблоке несколько товаров с одинаковым названием, то информация будет сохранена в последнем найденном товаре. По мере необходимости мы можем добавить отдельное поле для указания ID конкретного товара.

Обратите внимание, если вы используете генератор изображений, в настройках вы должны указать символьный код свойства инфоблока для хранения изображений (по умолчанию MORE_PHOTO, свойство типа "файл", множественное). Свойство должно быть создано в инфоблоке заранее. Модуль не проверяет наличие указанного свойства в инфоблоке и не выводит соответствующие ошибки.

5) Запуск генерации

ОБЩИЕ ДАННЫЕ И ГЕНЕРАЦИЯ ТЕКСТА

После выбора инфоблока появится зеленая кнопка "Новая генерация", при клике на которую появятся поля для ввода запроса:

- название товара
- ключевые слова
- особые указания

На странице модуля на этой же вкладке "Генератор товаров" описана максимально подробная инструкция по использованию всех данных.

Для того чтобы добавить поля для нового товара нужно нажать на кнопку "Добавить строку".

Для того чтобы получить желаемый результат через нейросети необходимомо максимально конкретизировать ваш запрос.

Ключевые слова
Параметр, который формирует основной смысл контента. Указывайте все ключевые особенности вашего товара, конкурентные преимущества, а также SEO слова для продвижения.

Например, для товара "Термос Арктика 101-1000 1 литр серебристый" укажем ключевые слова: арктика, термос, ситечко для заваривания, 2 кружки в комплекте, держит тепло и холод до 40 часов, яркий принт, металлическая ручка, купить в Москве, бесплатная доставка, скидка 50%

Результат:

Модуль умеет автоматически создавать свойства товара из характеристик, которые генерирует нейросеть, поэтому важно сразу в ключевых словах указать все технические параметры, по которым можно настроить, например, фильтрацию товаров в каталоге.

В настройках модуля вы также можете указать общие ключевые слова, которые будут добавляться в каждый запрос. На вкладке "Настройки" для этого есть поле "База стандартных запросов". Значения по умолчанию: купить в Москве, бесплатная доставка по Москве.

Также вы можете добавить общие особые указания, которые автоматически добавятся в каждый запрос. Значение по умолчанию - подготовь описание товара для наших покупателей в интернет-магазине

Особые указания
В этом поле укажите любые параметры или запросы (через запятую), которые помогут нейросети создать наилучший текст для вашей аудитории. Укажите стилистику текста, а также объясните, кто ваша целевая аудитория и какой цели вы хотите добиться. Чем больше контекста вы дадите, тем более актуальным и персонализированным будет ответ.

Например: Напиши будто ты автор детских сказок Используй узнаваемые примеры Объясни как фермеру Мы продаем термосы охотникам и рыбакам Подготовь описание товара для интернет-магазина термосов Напиши в разговорном стиле Напиши в деловом стиле

После первой генерации контента вы увидите дополнительные настройки, которые помогут скорректировать текст.

Уточнения по запросу
Этот параметр дает возможность попросить нейросеть скорректировать текущую версию текста. Поменяйте стилистику или добавьте новые данные.
Примеры запросов - измени текст будто это детская сказка, сделай текст продающим, убери из текста слово термос, добавь больше характеристик товара

Креативность
Высокое значение креативности делает текст более разнообразным, творческим и непредсказуемым. Но при этом текст может быть менее точным и последовательным.
При низком значении креативности нейросеть генерирует более уверенный, консервативный и предсказуемый текст.

Диапазон слов
Параметр регулирует словарный запас, который будет использоваться при генерации текста.


Вы можете регулировать параметры "Креативность" и "Диапазон слов" в настройках модуля для всех запросов сразу, а также после первого запроса. По умолчанию указано среднее значение - 0.5.

Меняйте эти параметры только в том случае, если изменение "ключевых слов" и "особых указаний" не приводят к желаемому результату, либо если вы просите нейросеть выполнить конкретные изменения в уже созданном текстe.

Обратите внимание, что на вкладке "Настройки" имеется также поле "Команды".


В итоге, формируется запрос к нейросети на основе базовых данных, которые мы заранее продумали, а также ваших данных, которые вы задали при генерации товаров и в настройках модуля.

На вкладке "История запросов" вы можете наблюдать все свои запросы к нейросети.

Например, на представленном выше примере, наш запрос будет выглядеть следующим образом:

В итоге мы получили товар с нужным описанием, а также с автоматическим созданием свойств и их значений в инфоблоке.

Если у вас в настройках включена ручная модерация, то для сохранения описания товара и генерации характеристик необходимо нажать на зеленую кнопку "ручная модерация", вы можете поправить текст при необходимости и сохранить результат. Только после этого описание товара и характеристики обновятся у элемента.

ГЕНЕРАЦИЯ ХАРАКТЕРИСТИК ТОВАРА

Если у вас включена функция генерации свойств инфоблока из характеристик, необходимо знать, что свойства создаются из последнего маркированного списка (тег "ul").

После создания свойств последний маркированный список удаляется из описания товара. Также удаляется последний заголовок в тегах "b" или "h2", в котором хранится текст "Технические характеристики". Описание анонса создается из первого абзаца в тегах "p".

Название свойства и его значение разделяются двоеточием ":". Если значение характеристики отсутствует, то автоматически подставляется значение "да".

Давайте рассмотрим пример, модуль сгенерировал следующее описание товара:

Таким образом, в детальном описании товара сохранится:

Получается из описания удалился заголовок "Технические характеристики" и все характеристики под этим заголовком. Соответственно, модуль создал из эти характеристик свойства в инфоблоке и автоматически заполнил их у созданного товара:

• Материал: нержавеющая сталь
  
• Объем: 500 мл
  
• Теплоизоляция: двойные стенки
  
• Цвет: черный
  
• Вес: 300 г
  
• Крышка: поворотная с блокировкой от протечек
  
• Подходит для мытья в посудомоечной машине: да
  

Это позволит вам вывести созданные свойства, например, в фильтре товаров.

В настройках модуля вы можете включить генерацию картинок, указать количество искомых картинок, а также выбрать только картинки с белым фоном.

Таким образом, генерация картинок товара выполняется в 2 шага:

1) Поиск картинок товаров в сети

2) Модификация картинок через нейросети

Обратите внимание, мы предоставляем лишь инструмент и не можем нести ответственность за нарушение авторских прав, найденных и используемых вами, изображений. Вы можете воспользоваться функцией модификации найденных изображений через нейросеть, обеспечивая уникальность картинкам. Однако, в любом случае, как разработчики и владельцы интеллектуальной собственности, советуем соблюдать авторские права. Функция будет полезна, например, для быстрого поиска и модификации изображений товара от производителя.

В настройка модуля вы можете включить опцию "Обработка картинок через нейросеть". Здесь доступно 2 опции:

• базовое удаление фона

• полная модификация

В первом случае у картинки удаляется фон и объект остается на прозрачном фоне. Таким образом, вы можете разместить картинки всех товаров на одном фоне.

Во втором случае выполняется более глубокая модификация:

• вырезание объекта из фона
  
• добавление тени у объекта
  
• замена фона на белый цвет
  
• квадратный формат изображения
  
• добавление отступов от объекта
  
• увеличение разрешения до 800х800px
  

На вкладке "Тарифы" вы можете ознакомиться со стоимостью использования API нейросетей.

При выполнении запроса на генерацию товара вы увидите найденные картинки. Вы можете удалить ненужные картинки или переместить их местами.

ТИПИЧНЫЕ ОШИБКИ

Не проходит проверку API ключ OpenAI через прокси-сервер

В первую очередь убедитесь, что прокси IPv4, приватный, имеет тип HTTPS.

Далее через SSH консоль сервера вы также можете убедиться, что прокси-сервер работает и доступен по указанному адресу и порту:


Если соединение выполняется вы увидите сообщение вида:
"Connection to 38.170.105.185 8000 port [tcp/*] succeeded!".

В противном случае будет сообщение вида:
"Connection refused".

Во втором случае необходимо обратиться в поддержку хостинг-провайдера или к вашему систему администратору. Также попробуйте использовать парочку других прокси-серверов.

Если с вашего сервера выполняется запрос к прокси серверу по SSH корректно, но при проверке ключа все еще отображается сообщение  "Ошибка при проверке API ключа, запрос не проходит, проверьте ваши прокси", необходимо продолжать решение вопроса на уровне вашего сервера. Причин может быть множество.

В первую очередь необходимо проверить выполняются ли вообще на вашем сервере запросы через PHP CUrl с указанием прокси сервера. Для этого создайте любую PHP страницу на вашем сайте и вставьте скрипт, который должен вернуть IP адрес:


Замените значения $proxy_ip и $proxy_pass на ваши данные прокси-сервера

Скрипт должен вернуть ваш IP адрес или ошибку CUrl.

При наличии ошибки CUrl предоставьте эту информацию вашему хостинг-провайдеру или системному администратору.

Альтернативным решением может быть использование иностранного IP адреса на вашем сервере, в данном случае использовать прокси для запросов к OpenAI вообще не требуется. Просто укажите API ключ.

Улучшения в работе модуля Добавлена постоянная кнопка проверка API ключа и прокси-сервера. В последнее время участились случаи блокировки прокси со стороны интернет-провайдеров. Обязательно проверяйте прокси перед работой. Улучшена обработка ошибок в модулеДобавлен новый вариант идентификации товара: Название + Бренд Используется когда на сайте дубли товаров по названию, но разного бренда. В данном случае поиск и идентификация товара будут выполняться по связке название товара + бренд. Если бренд не заполнен у товара, генерация не будет выполнена. Допустимый тип свойства - строка, список не множественный, справочник, привязка к элементам другого инфоблока. Если вы загружаете товары из EXСEL, то бренд нужно заполнять в 7 колонке (G). В EXCEL файле теперь первая строка может содержать заголовки для удобства В настройках модуля появилась опция "Не обрабатывать первую строку при загрузке EXCEL" Пример актуального EXCEL файла для загрузки https://sandbox.bitrix.ru.net/upload/dubovoi.intelgen/products.xlsxУлучшена массовая обработка товаров в модуле. Улучшена обработка ошибок. Оптимизирована работа модуля для улучшения выполнения запросов на виртуальном хостинге. В настройках модуля появился новый режим работы - поочередное выполнение запросов. Теперь каждый последующий запрос запускается только после завершения предыдущего. Это позволяет более эффективно обрабатывать запросы без необходимости ручного управления таймаутом. При возникновении какой-либо ошибки автоматически выполняется повторный запрос, при повторении ошибки генерация останавливается для корректировки настроек модуля. Если от нейросети пришел пустой ответ, модуль автоматически увеличивает в настройках максимальное количество токенов на 1000 и повторяет запрос. Для переключения модуля на новый режим работы необходимо выбрать в настройках модуля в параметре "Режим работы массовой генерации" значение "Последовательно". Доработано поведение модуля, если от нейросети приходит не валидная HTML верстка с открытыми тегами и / или "оборванным" текстом. Это связано с нехваткой токенов при выполнении запросов. При появлении такого кейса модуль автоматически увеличит токены на 1000 и повторит запрос. В логах теперь фиксируется затрачиваемый бюджет на нейросеть при каждом запросе. Оптимизирована работа команд при использовании профилей Реализовано расширенное логирование работы модуля для быстрой диагностики возникающих проблемУлучшена работа с профилями Добавлена возможность менять заданные команды модуляОбновление обязательно для установки - обновлены языковые файлы модуля, которые используются в командахНебольшие улучшения в работе модуляПоиск картинок через нейросеть с максимальной релевантностью (Beta)

В модуле доступен новый способ поиска изображений товаров — через нейросеть с интеллектуальным анализом страниц.

Функция OpenAI + парсинг страниц работает в бета-режиме. Мы продолжаем улучшать алгоритмы и качество результатов.

Как работает поиск

• Формирование запросов
  Модуль генерирует набор ключевых слов на основе названия товара, учитывая возможные вариации на разных сайтах.
• Поиск релевантных страниц
  Через нейросеть подбираются наиболее подходящие страницы с товаром.
• Парсинг и извлечение изображений
  После нахождения кандидатов модуль анализирует страницы и извлекает изображения товара.

Приоритет поиска по сайтам-источникам

Если в настройках модуля указаны источники для поиска (например, домены сайтов производителей или официальных дистрибьюторов), модуль в первую очередь ищет товар через sitemap.xml указанных сайтов.

В этом сценарии нейросеть используется для получения ключевых слов, так как названия товаров на сайте и в каталоге могут отличаться.

Если страница товара не найдена на указанном сайте или изображения не удалось извлечь, запускается поиск альтернативных источников через нейросеть (опцию можно отключить).

Стоимость и особенности использования

Это самый дорогой, но наиболее релевантный способ поиска изображений.

Фактическая стоимость использования API зависит от того, насколько легко найти товар из вашего каталога в сети. Если вы используете общедоступные названия товаров, которые часто встречаются в сети, затраты на API будут меньше.

Цена зависит от максимального количества вызовов поиска нейросети, которое задается в настройках модуля. При отсутствии результатов поиска рекомендуется увеличивать этот параметр, чтобы найти больше сайтов и, соответственно, изображения нужного товара.

На вкладке Логирование можно увидеть фактическую стоимость выполненного запроса, например запись вида: Success OpenAI+Parser API cost: $0.0690.

Как снизить расходы на API

Для минимизации расходов рекомендуем указывать в настройках модуля сайты производителей.

Укажите один или несколько доменов, на которых с высокой вероятностью размещен искомый товар (например, товары одного бренда).

На момент тестирования первой версии функции средняя стоимость запроса изображений:

• с указанием домена производителя: 0.01$
• без указания домена производителя: 0.07$

Стоимость может меняться в зависимости от настроек модуля и сложности поиска.Оптимизирована работа JS скриптов в модуле Исправлена ошибка с вырезанием маркированных списков из описания если их несколько на странице (при идентификации блока со свойствами) Улучшена функция сохранения характеристик товара в HTML свойство каталога единым блоком. В модуле есть возможность сохранять сразу все характеристики товара в свойство каталога с типом HTML. При этом если отключена функция парсинга и сохранения отдельных характеристик в свойства, то можно указывать css класс произвольного блока, который содержит характеристики товара. Раньше модуль умел работать только с маркированным списком ul. Например, вы хотите чтобы характеристики товара сохранялись в отдельное HTML свойство по заданной html структуре (где не содержится ul список), можно в командах задать произвольную html структуру такого блока и сохранять в отдельное HTML свойство. Таким образом, характеристики удалятся из описания товара (при необходимости) и сохранятся в отдельное свойство с произвольной структурой.Добавлено исключение для ссылок в тексте, теперь разрешаются ссылки микроразметки (schema.org)Внимание! После установки версии модуля 8.2.0 нужно будет пересохранить все созданные профили Проработана UI часть модуля. Работа с модулем теперь более понятна и логична. Многие параметры в модуле автоматизированы. Реализована возможность запуска отдельных функций модуля, а именно генерация характеристик, поиск средней рыночной цены товара, генерация описания товара, генерация картинок товара. В новой версии модуля все эти функции независимы и могут работать отдельно. Например, можно запустить функцию поиска и заполнения характеристик товара без заполнения описания. Улучшена функция поиска средней рыночной цены товара: - можно указывать источники для поиска цен - можно автоматически искать сайты с ценами - добавлен способ расчета средней цены (среднее арифметическое, медиана, усеченное среднее) - реализована возможность добавлять наценку к средней цене - реализована возможность округления цены Поддерживаемые способы расчета цены: Среднее арифметическое — складываем все цены и делим на их количество. Если есть очень дорогая или очень дешёвая цена, это сильно испортит результат. Когда подходит? Когда цены примерно одинаковые и нет резких выбросов. Или нужно учесть все возможные цены на рынке. Медиана — цена «посередине рынка». Как считается? Сортируем цены от меньшей к большей. Берём цену из середины списка. Если цен чётное количество — берём среднее из двух центральных. При таком варианте расчета дорогие и дешёвые выбросы почти не влияют. Для понимания реальной рыночной цены, как «за сколько в среднем продают». Усечённое среднее — это среднее значение без крайностей. Как считается? Убираем явно выбивающиеся цены (слишком дорогие или слишком дешёвые). Считаем среднее от оставшихся. Комбинирует логику среднего и медианы — результат стабильный и реалистичный. Для аналитики, ценообразования, маркетплейсов, автоматических расчётов. Теперь функция поиска средней цены запускается только отдельно и не может работать одновременно с другими функциями для улучшения качества поиска цен Реализован поиск картинок через SerpAPI (с движком "Bing") в качестве альтернативы Google поиску. В данный момент функция неактивна, ожидается запуск в следующих обновлениях.Улучшен поиск картинок Реализован многопоточный поиск картинок товара с разными названиями. Теперь можно сразу запускать несколько одновременных запросов на поиск картинок, при этом каждый запрос будет выполняться с разным названием товара (модуль найдет названия через нейросеть в сети). Таким образом, за раз можно получить более релевантную и объемную выдачу картинок. Реализована функция изменения названия товара при подгрузке очередной порции картинок по кнопке "Показать еще". Таким образом, если вас не устроила исходная поисковая выдача картинок, при выполнении новых запросов модуль будет искать картинки с новым названием товара. Это позволяет максимально разнообразить поисковую выдачу и найти подходящие картинки товара. При этом реаолизован новый режим работы с модулем, который позволяет быстро выбирать нужные картинки без необходимости удаления лишних. Новые опции в настройках модуля: - При клике на "Показать еще" искать картинки с альтернативным названием товара - Выполнять несколько одновременных запросов поиска картинок с разным названием товара - Количество одновременных запросов поиска картинок Например, в настройках модуля включена многопоточность и выбрано 3 одновременных запроса. Таким образом, модуль будет искать картинки по оригинальному названию товара и с двумя его вариациями (которые найдены через нейросеть). Улучшен механизм работы с картинками Реализован дополнительный вариант работы с картинками. Теперь можно выбирать конкретные картинки, которые нужно сохранить, кликом по картинкам. Ранее нужно было удалять на странице все лишние картинки, чтобы остались только нужные. Модуль поддерживает оба режима работы с картинками. В настройках модуля добавлена опция "Режим сохранения картинок" с двумя режимами: - Сохранять все картинки, которые отображаются на странице - Сохранять только выбранные картинки Улучшена работа с настройками модуля Теперь во всех полях с командами и промтами можно использовать любые символы, в том числе двойные ковычки, запятые, html теги, что существенно упрощает работу по настройке модуля под конкретные задачиУлучшен поиск картинок В случае отсутствия результата поиска картинок модуль теперь умеет автоматически через нейросеть подбирать альтернативное название товара и запускать повторный поиск картинок (до 3 возможных итераций поиска). Альтернативное название товара может сохраняться в свойстве инфоблока. В настройках модуля добавлены новые настройски: - Если картинки не найдены — искать альтернативное название через нейросеть - Искать альтернативное название пока не найдется заданное количество картинок - Минимальное количество картинок для альтернативного названия Видео презентация возможностей новой функции https://rutube.ru/video/dab039ae37ac7dc5d87228c4ddbdfa24/ Добавлена возможность выбора модели OpenAI: GPT-5, gpt-4o-search-preview, GPT-4o-mini, GPT-5-mini, GPT-5-nanoДобавлена возможность сохранять описание товара в произвольное HTML свойство Добавлена возможность сохранять свойства товара в виде маркированного списка в произвольное HTML свойство В настройках модуля можно выбирать где сохранять описание товара, а также можно поставить галочку для сохранения характеристик товара в свойствоРеализован механизм автоматических повторов запроса при временных сбоях (30 секунд, до 3 попыток на товар) без зависания очереди. Улучшена устойчивость массовой генерации: очередь не блокируется при временных ошибках Улучшена обработка серверных ошибок Адаптирована работа модуля под виртуальный хостинг (shared) Улучшена обработка свойств, устранены ошибки в неверной идентификации числовых свойств Реализовано автоматическое преобразование буквы “ё” в “е” в названиях и значениях свойств чтобы избежать потенциальных дублей Реализованы дополнительные опции в настройках модуля: - Показывать сгенерированные свойства в умном фильтре - Показывать сгенерированные свойства в карточке товара Реализована нормализация дефиса в названиях и значениях свойств Реализована возможность сохранять пустой текст в описании товара (при сохранении товара с пустым текстом удаляется описание товара) Реализован запрет сохранения описания товара, если в нем содержится уточнение нейросети (при отсутствии результатов генерации)Добавлена возможность поиска картинок по значению свойства (по умолчанию запрос на поиск картинок выполняется по названию товара или артикулу, в новой функции можно брать промт из свойства и расширить запрос на поиск картинок).Добавлена возможность настраивать доступ к модулю для разных групп пользователей. Обратите внимание! Помимо настроек доступа к модулю, необходимо выдать права группе пользователей на редактирование инфоблока с товарами, а также выдать доступ в директорию /bitrix/admin/ - настраивается вне модуля Улучшена обработка числовых свойств Добавлена возможность при массовой генрации сразу открывать результат по всем блокам (новый параметр в настройках "Раскрывать все блоки с результатами генерации") В настройках модуля добавлена возможность включать / выключать функцию "обратного вхождения" свойств при идентификации. В модуле есть функция "Включить строгий поиск свойств по названию". При включении опции модуль будет искать свойства по точному совпадению названия. При отключении опции модуль будет искать похожие свойства, если не найдено свойство по точному совпадению. Идентификация свойств по вхождению Например, нейросетью сгенерировано свойство “Мощность лампы”, а в инфоблоке задано свойство “Мощность лампы, W”. При отключении опции модуль идентифицирует это свойство и заполнит, поскольку в инфоблоке нет свойства “Мощность лампы”, но есть свойство “Мощность лампы, W”, в название которого входит сгенерированное название свойства. Идентификация свойство по обратному вхождению Функция обратного вхождения работает противоположно. Если модуль сгенерировал свойство “Мощность лампы, W”, а в каталоге есть только свойство "Мощность", то модуль заполнит это свойство, поскольку слово "Мощность" есть в названии, которое сгенерировал модуль. Функция полезна во многих каталогах, однако при определенной структуре данных логика заполнения может нарушаться, использовать опцию аккуратно и с обязательной проверкой данных. Полная схема нахождения свойств на сайте: 1) Поиск полного совпадения названия свойства, например, модуль сгенерировал свойство "Мощность лампы, W", в первую очередь выполняется поиск свойства с таким же названием. 2) Поиск совпадения по очищенному ключу, модуль будет искать свойство "Мощность лампы" вместо "Мощность лампы, W". 3) Поиск названия по прямому вхождению 4) Поиска совпадения по обратному вхождению (при включении опции)Улучшена обработка числовых свойств, внедрен фильтр "склеенных чисел" Модуль умеет идентифицировать числовые свойства даже если в начале значения нет числа. Например, свойство "Мощность: до 50 кВт" идентифицируется как числовое и сохранит значение 50. Свойство вида "Лицевые слои: 16K" не сохранит значение "16" даже если в каталоге найдено числовое свойство с таким же названием. В модуле есть фильтр склеенных чисел: если после цифр прилеплены буквы, не являющиеся единицей измерения из белого списка, то свойство не является числовым. Добавлена обработка числовых свойств с диапазонами. Новый параметр в настройках модуля "Обработка числовых свойств с диапазонами". Возможен выбор двух вариантов: - Сохранять верхний предел диапазона - Сохранять нижний предел диапазона Например, модуль сгенерировал свойство "Отапливаемая площадь помещения: 50-70 кв.м.". Если в каталоге у вас уже задано числовое свойство с таким названием, то модуль сохранит значение либо 50 либо 70 в зависимости от того, какой предел диапазона выбран в настройках модуля. Если свойство в каталоге задано в типом "Строка", то модуль сохранит весь диапазон. Если свойство не задано с таким именем, то модуль создаст свойство с типом "Строка" и заполнит весь диапазон. Обратите внимание! Вы можете регулировать формат генерируемых значений свойств через промты в настройках модуля. Например, можно запретить генерацию значений с диапазонами для всех свойств или только конкретных свойств Улучшена идентификация существующих свойств "по вхождению". В модуле доработан механизм идентификации существующих свойств каталога по вхождению, что повышает точность сопоставления даже при несовпадении полных названий. Если опция строгого поиска выключена, модуль выполняет интеллектуальный подбор свойств по частичному совпадению ключевых слов. Примеры работы обновлённого алгоритма: Сгенерировано: «Мощность лампы» В инфоблоке есть свойство «Мощность лампы, W» — корректное совпадение после удаления единицы измерения. Сгенерировано: «Материал корпуса» В инфоблоке: «Материал» — найдено по обратному вхождению ключевого слова. Сгенерировано: «Высота, мм» В инфоблоке: «Высота» — совпадение после обрезки единиц измерения. Сгенерировано: «Объем бака» В инфоблоке: «Объем» — найдено по частичному совпадению базового термина. В первую очередь модуль ищет свойство в каталоге по точному совпадению названия. Если свойство не найдено, то будет выполняться поиск по вхождению (если в настройках модуля не включена опция "Строгий поиск свойств по названию"). Полный алгоритм поиска свойств в каталоге: 1) Поиск полного совпадения названия свойства, например, модуль сгенерировал свойство "Мощность лампы, W", в первую очередь выполняется поиск свойства с таким же названием. 2) Поиск совпадения по очищенному ключу, модуль будет искать свойство "Мощность лампы" вместо "Мощность лампы, W". 3) Поиск названия по вхождению (прямому или обратному).Улучшен пользовательский интерфейс - добавлена кнопка для быстрого сохранения результата генерацииМасштабное улучшение обработки характеристик товара Добавлены новые опции и возможности: - Теперь можно ограничить генерацию значений характеристик только в рамках тех значений, которые уже заданы в свойствах с типами список / справочник. Перед генерацией модуль собирает в инфоблоке все возможные значения свойств и добавляет в промт. Таким образом модуль выберет нужное значение из уже заданного списка, решается проблема создания дублей значений. При этом можно указать свойства, которые не нужно добавлять в промт (например системные свойства) - Реализована возможность запретить заполнять свойство, если значение уже задано, при включении опции свойство перезаписываться не будет - Создание числовых свойств с единицами измерения. Например, строка "Длина: 38 мм" при сохранении автоматически преобразуется в свойство "Длина, мм" и заполнится число 38. Если свойство с названием "Длина" уже задано в инфоблоке, то название не поменяется - Улучшена идентификация множественных свойств по различным разделителям (запятая, точка с запятой, слэш) - Улучшена обработка и идентификация различных свойств в разных форматах - Модуль теперь всегда проверяет тип существующих свойств и подстраивает значения под этот типУлучшена обработка картинок. Добавлена возможность сохранять картинку анонса и детальную картинку в отдельные свойства (в том числе в формате WEBP). Реализована возможность выбора формата изображений (WEBP, PNG, JPG). При этом при попытке сохранения WEBP картинок в стандартные поля (картинка анонса и детальная картинка) найденное изображение автоматически сконвертируется в поддерживаемый формат на сайте. Таким образом исключаются возможные ошибки при сохранении. Реализована автоматическое изменение размера изображения возможностями самого модуля (в настройка можно выбрать максимальную ширину и высоту картинки). Опция в настройках - "Пропорционально обрезать найденные картинки". Реализовано изменение названий файлов, автоматически убираются из названия кириллические символы, пробелы и другие запрещеныне символы, из-за которых картинка может не сохраниться на сайте. Реализована автоматическое удаление битых картинок Реализовано принудительное удаление явных дубликатов-картинокРеализована возможность запуска генерации сразу на всех страницах по всем выбранным товарам. Добавлена новая опция в настройках "Автоматический переход к следующей странице" (Продолжать массовую генерацию на следующей странице без перезагрузки, пока товары не закончатся). Без включения этой опции по умолчанию модуль обрабатыват товары только в рамках 1 страницы. Рекомендуем за 1 раз запускать генерацию не более, чем по 200-300 товарам (по всем страницам), иначе есть риск потери сгенерированных данных, если закончится память в браузере или произойдет ошибка на странице. Для обработки большого количества товаров за 1 раз необходимо использовать серверное хранение результатов генерации (функция выйдет в следующих обновлениях). Исправлены мелкие консольные ошибки в модулеОптимизирован поиск картинок, реализовано автоматическое удаление битых картинок Обновлен функционал по новому API Photoroom Исправлена ошибка с индикатором загрузки прогресса Исправлена ошибка с лишним выводом кнопки "Показать следующие товары..." при отсутствии постраничной навигацииИсправления ошибка затирания текста анонса нулем при отключении функции генерации описания анонса в товарахУлучшена работа профилей с настройками модуляНезначительные улучшения работы модуляНебольшие доработки и улучшенияИсправлена ошибка заполнения артикула из EXCEL файла при генерации названия товара по артикулу для новых товаров Доработали генерацию названия товара по артикулу, теперь название не переводится в нижний регистрИсправлена ошибка зависания обработки товаров при отсутствии поисковой выдачи картинок, добавлены соответствующие инструкции при отсутствии результатов поиска Исправлено дефолтное значение максимального использования токенов по умолчанию до 3000Реализовано автоматическое продление сессии при запуске модуля Реализовано отключение блокировки сессии при работе модуля, что позволяет параллельно работать в административной панели сайта на других страницахРеализована возможность идентификации товара по паре артикул + поставщик Реализована возможность загрузки артикула и поставщика из EXCEL Улучшена обработка свойствРеализована возможность идентификации товара по артикулу Реализована генерация названия товара по артикулуУлучшен поиск картинок через GoogleРеализована поддержка идентификации свойств с типом "Привязка к элементам инфоблока" по названию значения Реализована возможность сохранять в строковые не множественные свойства значения через запятую Адаптирован модуль под последнюю версию 1С Битрикс Улучшена функция сохранения описания товараРеализована поддержка профилей модуля для быстрой смены настроек под различные задачиРеализована генерация описания товара на основе уже заполенных характеристик товара в инфоблокеУлучшен поиск картинок, теперь используется CURL Реализована возможность выполнять рерайт текущего описания товара (без поиска описания в интернете)Улучшения в работе модуляДобавили поддержку предыдущей модели gpt-4o-search-preview Убрали стандартные ключевые слова из модуляНовая версия модуля с поддержкой GPT5 Внимание! После установки обновлений увеличьте в настройках максимальное количество токенов минимум до 3000 и сохраните изменения. * В 2 раза дешевле API - средняя стоимость 1 генерации 0.03$, возможность управления бюджетом * Более управляемая модель, прислушивается ко всем командам и задачам, не игнорируются команды * Возможность указать источники (сайты) для поиска информации в интернете * Возможность указания количества источников для поиска * Более умная модель, которая умеет сопоставлять информацию из нескольких источников * Строгое соблюдение заданной HTML разметки * Возможность генерации большого количества характеристик в одном запросе * Более гибкие настройки, которые позволяют задавать сколько думать нейросети, насколько развернуто составлять текст, а также насколько глубоко искать данные * Улучшенная обработка характеристик, в том числе определение числовых или строковых свойств * Добавлена поддержка сохранения рыночной цены в свойстве и / или торговом каталоге (при включении поиска цены активируется предыдущая модель gpt4-search-preview в связи с тем, что новая модель при поиске подобных данных потребляет большое количество поисковых запросов, что сильно увеличивает затраты). Бюджет на использование API в новой версии складывается из множества факторов: 1. Фиксированная стоимость за поиск данных - 0,01$ за поисковый запрос (при этом в рамках одного запроса к нейросети может быть несколько поисковых запросов, например, при указании нескольких источников, на которых нужно собрать и сопоставить информацию). 2. Объем текста в исходящем запросе - чем больше инструкций и указаний, тем больше затрачиваемых токенов (стоимость исходящих токенов 1,25$ за 1 миллион) 3. В исходящий запрос также добавляется весь текст, который найден в различных источниках в интернете, соответственно, чем больше источников вы просите обработать нейросеть, тем больше затрачиваемых токенов 4. Повторные запросы с одним и тем же промтом кэшируются, стоимость кэшированных токенов в 10 раз меньше 5. Во входящий текст также добавляются “рассуждения” нейросети, которые позволяют логично обработать найденные данные, сопоставить между собой и выдать результат. Увеличение времени такого рассуждения, а также размер найденных данных напрямую увеличивает входящие токены (стоимость входящих токенов 10$ за 1 миллион) Формирование цены токенов в новой модели GPT5 кардинально отличается от предыдущих моделей и имеет более гибкий формат, поэтому меняйте базовые настройки модуля по необходимости и под конкретную задачу. Приведем пример формирования бюджета на генерацию описания и характеристик товара. Кейс 1: - Просим использовать не менее 6 различных источников для поиска, указываем конкретные ссылки для получения максимально точных и желаемых параметров - Просим найти не менее 20 характеристик товара по максимуму - Для выполнения данного запроса нейросети придется выполнить несколько поисковых запросов (каждый по цене 0,01$) Общая сумма затраченных токенов 50 000 Затрачено: 0,1$ на 1 товар Кейс 2: - Задача сэкономить бюджет, но при этом получить достоверные сведения - Убираем требование для поиска 6 источников - Добавляем требование поиска данных на конкретном сайте производителя или любом другом сайте - Просим найти только конкретные характеристики товара (10 штук в списке) Общая сумма затраченных токенов 17 000 Затрачено на первый товар: 0,04$ Однотипные запросы кэшируются от 5-10 минут до 1 часа, значит чтобы сэкономить бюджет (порядка 20%) в течение этого времени надо обработать как можно больше товаров. У нас в запросах меняются только названия товаров в рамках одного раздела каталога, поэтому большая часть исходящего запроса будет кэшироваться. Затраты на последующие запросы с учетом кэша: 0,03$ Таким образом, чтобы минимизировать затраты на API необходимо ограничить поиск конкретным сайтом, а также указать искомые характеристики товара.Оптимизировано выполнение запросов через OpenAI, что позволит в 2 раза сэкономить бюджет на API Добавлена возможность удалять точки в конце значения свойства. Иногда нейросеть генерирует значения с точкой в конце, игнорируя заданные команды не ставить точку. Модуль автоматически удалит точку в конце значения свойства. Исправлена ошибка при удалении фона картинок (переведен функционал на новое API) Добавлена возможность поиска средней рыночной цены товара (сохраняется в свойстве либо в выбранном типе цен)Улучшения и оптимизация текущего кода Добавлено удаление лишних символов в генерируемом описании товара через нейросети Убрали ограничение на размер исходящих запросовДобавлена возможность затирать существующие значения множественных свойств перед сохранением сгенерированных значений модулем (опция позволит избежать путаницы в значениях).Масштабное обновление по части генерации характеристик Реализована автоматическая идентификация существующих свойств в инфоблоке с типом Справочник (highload блоки). Модуль найдет уже созданное значение справочника или создаст новое значение при его отсутствии в справочнике. Реализован умный поиск характеристик в инфоблоке. Если свойство не найдено по названию, модуль будет искать похожие свойства, например, нейросетью сгененировано свойство "Мощность", а в инфоблоке задано свойство "Мощность, W", модуль автоматически идентифицирует это свойство (по вхождению названия) и заполнит соответствующее значение. Таким образом решается проблема создания дублей свойств в инфоблоке. Опцию можно отключать в настройках модуля. Реализована поддержка множественных свойств. Модуль теперь умеет генерировать сразу несколько значений свойств (через запятую), а также умеет добавлять значения к существующим в свойстве. Реализована проверка типов существующих свойств, например, если свойство в инфоблоке имеет тип "число", модуль автоматически идентифицирует данный тип и приведет к числу сгенерированное значение нейросетью (например, значение 50 Вт. автоматически преобразуется в число 50). Реализована автоматическая идентификация числовых свойств, если в инфоблоке нет заданного свойства, но значение содержит число, модуль автоматически создаст новое свойство с типом "число". Реализована функция создания свойств в инфоблоке, если существующие свойства имеют недопустимый тип (модуль поддерживает существующие свойства в инфоблоке с типами - строка, число, список, справочник). Реализована функция принудительного удаления ссылок из сгенерированного текста. Иногда нейросеть добавляет ссылки на ресурсы, которые использовались в исходном формировании текста, эта проблема решена программным путем. Исправлена ошибка генерации характеристик при отключении режима модерации. Исправлена проблема с необходимостью перезагружать страницу после сохранения настроек модуля. Добавлена возможность отключения создания новых свойств в инфоблоке (в данном случае модуль будет только искать и заполнять существующие свойства) Добавления возможность создания новых значений свойств с большой буквы (функция активируется в настройках)Реализована функция создания свойств в инфоблоке, если существующие свойства имеют недопустимый тип (модуль поддерживает существующие свойства в инфоблоке с типами - строка, число и список). Реализована функция принудительного удаления ссылок из сгенерированного текста. Иногда нейросеть добавляет ссылки на ресурсы, которые использовались в исходном формировании текста, эта проблема решена программным путем. Исправлена ошибка генерации характеристик при отключении режима модерации. Исправлена проблема с необходимостью перезагружать страницу после сохранения настроек модуля.Улучшена логика подгрузки внешних скриптов для работы модуля. Выпущена новая версия центра управления модулем.Улучшена обработка характеристик товара, теперь свойства идентифицируются по названию без учета регистра, расширена идентификация свойств по типу. Исправлена ошибка с затиранием значений существующих свойств при добавлении новых. Добавлена возможность удаления текста анонса из детального описания.Добавлена возможность выбора модели OpenAI, теперь поддерживаются модели для поиска характеристик и описания товара в Интернете. Отличная замена парсерам. Добавлные новые настройки и возможности при генерации картинок: 1. указать разрешение картинок 2. выбрать цвет фона 3. указать размер отступов от края до объекта 4. включить / выключить тень объектаМасштабное обновление модуля 2.0.0 (инструкция по обновлению в конце):

Реализована возможность работы с существующими товарами в инфоблоках. Теперь можно не только загружать файл с товарами, но и выбирать товары из инфоблока по фильтру (название товара, дата создания или дата изменения, выбор раздела каталога, любые свойства товара, наличие картинок и описания товара). После применения фильтра выбранные товары сохраняются в файл для последующей обработки. Поддерживается постраничная навигация по файлу.

Реализована загрузка XLSX, TXT файлов со списком товаров на сервер с поддержкой порционной обработки данных. Реализована постраничная навигация с сохранением текущей страницы. При перезагрузке страницы с модулем открывается последний загруженный файл на сервере, а также восстанавливается последняя просмотренная страница, что позволяет обрабатывать тысячи товаров порционно, вы всегда увидите на каком месте остановилась работа. По такой же аналогии работает работа с существующими товарами в инфоблоке.

Реализована возможность поиска существующих свойств реальных товаров и их значений, а также возможность указания конкретных свойств для поиска и заполнения. Таким образом, полностью автоматизируется заполнение информации о товарах

Реализована возможность заполнения списка свойств для поиска в разделах каталога, а также в свойствах инфоблока. Если у товара отсутствует список свойств для поиска, модуль будет искать список свойств в разделах каталога, в которых размещен товар. Поиск выполняется рекурсивно, возможно указание списка свойств как в подразделах, так и в родительских разделах. Например, у товара можно заполнить свойство "INTELGEN - список свойств для поиска", в котором хранится список свойств для поиска - цвет, мощность, вес, объем двигателя. Либо указать этот же список в настройках конкретного раздела, в котором размещен товар. Модуль через нейросети найдет значения этих свойств у товара и заполнит на сайте, не меняя названия указанных свойств и не добавляя новые. Таким образом, решается проблема возможного дублирования свойств с разными названиями.

Улучшен механизм поиска существующих свойств в инфоблоке по названию. При наличии свойства модуль заполнит значение в существующем свойстве. Поддерживаются свойства с типом строка и список. В случае совпадения значения свойства с типом "список" модуль автоматически заполнит значение, а также создаст новое значение свойства при отсутствии в инфоблоке.

Добавлена новая версия раздела "Центр управления Дубовой"

Для обновления после инсталляции:
1) Перейдите в раздел "Центр управления Дубовой" для автоматического запуска скрипта
2) Перейдите в раздел "Генератор товаров" и заново выберите каталог (инфоблок), это действие автоматически создаст в выбранном инфоблоке все необходимые свойства
3) Перейдите в раздел "Настройки" и кликните на ссылку "Заполнить промты по умолчанию"Обновлены подсказки по использованию модуляАдаптирован модуль под последнюю версию 1С Битрикс, улучшена работа модуля в Сафари, изменена модель OpenAI по умолчанию gpt-4o для лучшей обработки данных