Настройка и запуск Visiology Cortex

Visiology Cortex – это сервис искусственного интеллекта, предназначенный для расширения возможностей пользователей платформы. Сервис объединяет в себе специализированных ИИ-агентов, которые автоматизируют сложные задачи, ускоряют анализ данных, снижают нагрузку на аналитиков и позволяют бизнес-пользователям быстро получать точные ответы на интересующие бизнес-вопросы.

Сервис глубоко интегрирован в платформу Visiology, все действия выполняются от имени пользователя с учетом его прав доступа, что гарантирует прозрачность и безопасность работы.

Активация модуля

Для активации модуля необходимо сделать следующее:

1. Остановите платформу, выполнив команду:
    /var/lib/visiology/scripts/run.sh --stop

2. Выполните поочередно следующие команды:
   /var/lib/visiology/scripts/v3/prepare-config.sh --with-ai-agent true

3. Запустите платформу:
   /var/lib/visiology/scripts/run.sh --restart

Настройка модуля для использования локальных моделей

Чтобы настроить модуль для работы с другими LLM-моделями, выполните следующие действия:

1. Опционально. Вернуть настройки по-умолчанию

   /var/lib/visiology/scripts/v3/prepare-config.sh \ --set-default-ai-settings

2. Выбор/изменение локальной модели и размера максимальной длины генерации:

   /var/lib/visiology/scripts/v3/prepare-config.sh \ --ai-model <model> --ai-default-max-tokens <number>

   где <model> может принимать значения VisiologyGpt-Pro-V1 и VisiologyGpt-Max-V1. Рекомендуемые значения <number> для VisiologyGpt-Pro-V1 и VisiologyGpt-Max-V1 - 100000.
   Перезапустить платформу:

   /var/lib/visiology/scripts/run.sh --restart

3. Если требуется использование нескольких видеокарт, отредактируйте поле AI_VLLM_COMMAND в файле /var/lib/visiology/scripts/v3/env-files/ai.env и добавьте ключ --tensor-parallel-size XXX, где XXX - количество ваших видеокарт. Например:

   AI_VLLM_COMMAND="--model /models/VisiologyGpt-Max-V1 --enable-auto-tool-choice --tool-call-parser hermes --tensor-parallel-size 4"

   Работает только для модели VisiologyGpt-Max-V1

4. Перезапустите платформу
   /var/lib/visiology/scripts/run.sh --restart

Настройка модуля для использования внешних моделей

1. Откройте файл /var/lib/visiology/scripts/v3/env-files/ai.env и задайте переменным требуемые значения. Доступны следующие переменные:

   • AI_SERVER_URL – базовый URL-адрес, по которому отправляются запросы к модели.

   • AI_DEFAULT_MODEL – название модели, используемой по умолчанию.

   • AI_DEFAULT_MAX_TOKENS – размер максимальной длины генерации.

   • AI_SERVICE_TYPE – тип сервиса ИИ. Поддерживаются openai, gigachat и local.

   • AI_AUTH_SCOPE – область доступа OAuth-токена, определяющая разрешения для работы с API.

   • AI_NEED_VERIFY – флаг, указывающий, нужно ли проверять SSL-сертификат при запросах к API (если false, проверка отключена, что может быть полезно в тестовых средах).

   • AI_VLLM_COMMAND - команда для тонкой настройки запуска модели

Вы также можете задать дополнительные настройки через переменные окружения в файле /var/lib/visiology/scripts/v3/env-files/ai.env:

• Настройки аутентификации пользователей через OpenID Connect.
  Ключевые параметры:

  • AUTHORIZATION__USE_AUTHORIZATION – включает (true) или отключает (false) проверку авторизации.

  • AUTHORIZATION__OPENID_CONFIGURATION – URL конфигурации OpenID (например, https://keycloak.example.com/.well-known/openid-configuration).

  • AUTHORIZATION__REQUIRE_HTTPS_METADATA – если true, требует использования HTTPS для загрузки метаданных OpenID.

  • AUTHORIZATION__COOKIE_SAME_SITE – определяет политику SameSite для сессионных cookie (Lax, Strict, None).

  • AUTHORIZATION__COOKIE_SECURE_POLICY – если true, cookie будут передаваться только по защищенному соединению (HTTPS).

• Параметры для работы с языковыми моделями. Поддерживаются только OpenAI-совместимые сервисы.
  Ключевые параметры:

  • OPENAI__BASE_URL – базовый адрес API LLM-провайдера.

  • OPENAI__DEFAULT_SERVICE_TYPE – тип сервиса (openai, gigachat, local). Влияет на логику работы.

  • OPENAI__DEFAULT_MODEL – модель по умолчанию.

  • OPENAI__DEFAULT_TEMPERATURE, OPENAI__DEFAULT_MAX_TOKENS – параметры генерации текста.

  • OPENAI__TIMEOUT – максимальное время ожидания ответа (в секундах).

• Настройки, касающиеся авторизации в LLM.
  Ключевые параметры:

  • OPENAI__AUTHORIZATION__SCOPE – область доступа OAuth (если требуется).

  • OPENAI__AUTHORIZATION__VERIFY – указывает проверять ли SSL-сертификат (true/false).

  • OPENAI__AUTHORIZATION__API_KEY – ключ доступа к API (если используется).

2. Перезапустите платформу:
   /var/lib/visiology/scripts/run.sh --restart

Смотрите также

Создание мер с помощью ИИ

На этой странице

Нужна дополнительная помощь?

Свяжитесь с технической поддержкой.