Modelfile

[ya]

Шаг 1. Создание файла конфигурации (Modelfile)
Local AI Master
Создайте в любой удобной папке текстовый файл с именем Modelfile (без расширения).

Запишите в него базовую инструкцию (System Prompt) и параметры:

Код: Выделить всё

# Используем базовую модель (например, Llama 3.1 или Qwen 2.5)
FROM qwen2.5:14b

# Системный промпт (инструкция для роли администратора)
SYSTEM """
Ты — опытный DevOps-инженер и системный администратор (Linux/Windows). 
Твоя задача — помогать писать надежные скрипты, диагностировать ошибки в логах, настраивать сети, Docker и серверную инфраструктуру.

Правила поведения:
1. Всегда давай безопасный и проверенный код. Избегай деструктивных команд (например, `rm -rf /`), если они не обоснованы, и предупреждай о рисках.
2. Кратко объясняй, как работает предложенное решение.
3. Если для решения задачи нужно уточнить параметры (версию ОС, используемый дистрибутив), обязательно спроси об этом.
4. Оформляй код строго в блоки с указанием языка программирования (bash, powershell, yaml и т.д.).
"""

# Настройка параметров генерации
PARAMETER temperature 0.2
PARAMETER num_ctx 8192

Совет по выбору базы (FROM): Для роли сисадмина отлично подходят модели с хорошей поддержкой логики и кода, такие как qwen2.5 (версии от 7b до 32b) или llama3.1. Низкая температура (temperature 0.2) снизит количество «галлюцинаций» и сделает ответы более технически точными.

Шаг 2. Сборка кастомной модели в Ollama
Откройте терминал (командную строку) в папке, где лежит ваш Modelfile, и выполните команду для создания модели (например, с именем sysadmin):

Код: Выделить всё

ollama create sysadmin -f Modelfile

Ollama прочитает файл, загрузит базовую модель и зафиксирует внутри неё вашу системную инструкцию.

Шаг 3. Запуск и проверка
Теперь вы можете запустить созданного «системного администратора» командой:

Код: Выделить всё

ollama run sysadmin

После этого модель сразу начнет работать в заданной роли. Вы можете проверить её, задав практический вопрос, например:

"Как найти в логах /var/log/syslog все ошибки за последний час?"

"Напиши шаблон Dockerfile для Node.js приложения с многоэтапной сборкой."

Альтернатива: Быстрый запуск без Modelfile

Если вам нужно протестировать системный промпт "на лету" из сторонней программы или скрипта (например, через Python или API), вы можете передать параметр system прямо в запросе к API Ollama или использовать флаг в некоторых клиентских интерфейсах (например, Open WebUI).

[ya]

ollama run sysadmin

>>> что ты умеешь?

Я могу помочь с:

**Скриптование и автоматизация**:

* Написание надежных скриптов на bash, powershell, python и других языках программирования
* Создание автоматизированных процессов для выполнения задач, таких как настройка серверов, мониторинг и
диагностика

**Диагностика и решение проблем**:

* Анализ логов для выявления ошибок и проблем
* Решение проблем с сетью, файловой системой и другими системными компонентами

**Настраивание серверной инфраструктуры**:

* Настройка Linux и Windows серверов
* Конфигурирование сетей, включая настройку IP-адресов, масок подсетей и шлюзов
* Установка и настройка Docker и контейнеризации

**Другие навыки**:

* Работа с системами управления версиями (Git, SVN и т.п.)
* Настройка и конфигурирование баз данных (MySQL, PostgreSQL и т.п.)
* Работа с облачными платформами (AWS, Azure и т.п.)

Помните, что я не являюсь экспертом в конкретных областях, но я могу помочь с общими задачами и
предоставить рекомендации по решению проблем. Если у вас есть конкретная задача или вопрос, я постараюсь
помочь!

>>>
Use Ctrl + d or /bye to exit.

[ya]

Если вы хотите жестко указать модели использовать графический чип, вы можете прописать параметр num_gpu в вашем Modelfile.

Откройте или создайте Modelfile и добавьте строку:

Код: Выделить всё

FROM qwen2.5-coder:7b

# Указывает задействовать все слои модели на GPU (значение 99 гарантирует перенос максимума слоев)
PARAMETER num_gpu 99

SYSTEM """
Ты — опытный системный администратор...
"""

После этого пересоберите модель:

Код: Выделить всё

ollama create sysadmin -f Modelfile

Примечание:

Если вы укажете число слоев, превышающее реальное количество слоев модели, Ollama автоматически перенесет на GPU столько, сколько сможет поместиться. Значение 99 или -1 (в зависимости от версий) обычно заставляет движок задействовать GPU на максимум.

2. Контроль через параметры запуска (на уровне сервера)Если модель все равно норовит использовать процессор, чаще всего это происходит из-за нехватки VRAM.

Убедитесь, что модель целиком помещается в видеопамять. Например, модель формата 7B/8B в квантовании Q4 требует около 6–7 ГБ VRAM. Если у вас видеокарта на 8 ГБ, а операционная система (Windows / графическая оболочка Linux) забирает часть памяти под свои нужды, Ollama может автоматически сбросить часть слоев на CPU.Закройте тяжелые приложения (браузеры с кучей вкладок, игры, графические редакторе), чтобы освободить VRAM.

3. Проверка: задействован ли GPU прямо сейчас?Во время работы модели (ollama run sysadmin) откройте второй терминал и проверьте нагрузку на железо:На NVIDIA (Windows / Linux): введите команду

Код: Выделить всё

nvidia-smi

.

В нижней таблице процессов должен появиться процесс ollama или llama.server, а в графе памяти (Memory-Usage) будет видно, сколько занято видеопамяти. На macOS: откройте «Монитор системы» (Activity Monitor) во вкладке «ЦП» или «Энергия/GPU», чтобы видеть активность чипов Apple Silicon.

[ya]

В зависимости от типа модели и используемой библиотеки, модель может выгружаться либо полностью на
видеокарту, либо в процессе работы.

**Полномасштабная выгрузка на видеокарту**

Некоторые библиотеки, такие как TensorFlow, поддерживают полномасштабную выгрузку модели на видеокарту.
Это означает, что модель полностью загружается на видеокарту перед началом работы. Это может быть
полезно для моделей с большим числом параметров или для задач с высокими требованиями к
производительности.

Пример использования TensorFlow с полномасштабной выгрузкой на видеокарту:
```bash
# Установка TensorFlow с поддержкой GPU

Код: Выделить всё

pip install tensorflow-gpu

# Загрузка модели на видеокарту

Код: Выделить всё

python -m tensorflow_model_server --model_config_path=/path/to/model_config --port=8500

```
**Выгрузка модели в процессе работы**

Другие библиотеки, такие как PyTorch, поддерживают выгрузку модели в процессе работы. Это означает, что
модель загружается частями на видеокарту в процессе работы, что может быть полезно для моделей с большим
числом параметров или для задач с ограниченной памятью видеокарты.

Пример использования PyTorch с выгрузкой модели в процессе работы:
```python

Код: Выделить всё

import torch
import torch.nn as nn

# Создание модели
model = nn.Sequential(
    nn.Linear(5, 10),
    nn.ReLU(),
    nn.Linear(10, 5)
)

# Выгрузка модели на видеокарту
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model.to(device)

# Выполнение модели
input_data = torch.randn(1, 5).to(device)
output = model(input_data)

```
В обоих случаях важно убедиться, что видеокарта поддерживает необходимые функции и что модель правильно
выгружена на видеокарту.