Инструкция по настройке модели в Ollama
1. Подготовка файла конфигурации (Modelfile)
Создайте текстовый файл без расширения и назовите его Modelfile.
В этот файл необходимо внести следующее содержимое:
FROM <название-модели>
PARAMETER num_ctx 50000где
<название-модели>– имя используемой модели, например,qwen3:30b. Убедитесь, что указанная модель доступна в вашем окружении.num_ctx 5000– параметр, задающий максимальный размер контекста (в токенах).
Рекомендуемое значение – не менее 10000. Чем больше значение, тем больше контекст может обрабатывать модель, однако это требует большего объёма оперативной памяти и вычислительных ресурсов. Установите значение, соответствующее возможностям вашего оборудования.
Размер контекста влияет на производительность и качество обработки длинных текстов. Увеличивайте его с учётом доступных ресурсов.
2. Создание пользовательской модели
Выберите имя для новой модели. Например:
my-model.Выполните команду создания модели:
Откройте терминал и запустите:
ollama create my-model -f ./ModelfileУбедитесь, что путь к файлу Modelfile указан корректно. Если файл находится в другой директории, укажите полный или относительный путь.
Запустите созданную модель, выполнив следующую команду:
ollama run my-model
Это запустит интерактивный режим работы с вашей кастомной моделью.
3. Настройка интеграции с платформой
Для использования созданной модели в вашем приложении или платформе, необходимо настроить переменные окружения. Для этого сделайте следующее:
Измените имя модели через переменную окружения. Для этого в файле
/var/lib/visiology/scripts/v3/env-files/ai.env
задайте переменную:AI_DEFAULT_MODEL=my-modelПерезапустите платформу, выполнив следующую команду:
/var/lib/visiology/scripts/run.sh --restart
Смотрите также
Нужна дополнительная помощь?