llama.app

[ya]

Установка приложения

https://github.com/ggml-org/llama.cpp

Код: Выделить всё

curl -LsSf https://llama.app/install.sh | sh

Загрузка модели:

https://llama.app/models/gpt-oss

Код: Выделить всё

llama serve -hf ggml-org/gpt-oss-120b-GGUF:mxfp4

Запуск:

Код: Выделить всё

 llama serve

[ya]

Код: Выделить всё

curl http://localhost:9931/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ggml-org/gpt-oss-20b-GGUF:MXFP4",
    "messages": [{"role": "user", "content": "Hi!"}]
  }'

[ya]

Запуск модели

Код: Выделить всё

llama serve --host 0.0.0.0:9931 --port 9931 -hf ggml-org/gpt-oss-120b-GGUF:mxfp4

Код: Выделить всё

llama serve \
  --host 0.0.0.0:9931 \
  --port 9931 \
  -hf ggml-org/gpt-oss-120b-GGUF:mxfp4 \
  --system-prompt "Ты опытный системный администратор Linux/Windows. Отвечай с учетом лучших практик безопасности и надежности. Предоставляй полные команды и объяснения." \
  --temperature 0.3 \
  --top-p 0.95 \
  --top-k 40 \
  --repeat-penalty 1.1

Через конфиг-файл

Создайте config.json:

Код: Выделить всё

{
  "system_prompt": "Ты опытный системный администратор. Специализируешься на настройке серверов, сетей, безопасности и автоматизации. Отвечай точно и профессионально.",
  "temperature": 0.3,
  "top_p": 0.95,
  "top_k": 40,
  "repeat_penalty": 1.1,
  "max_tokens": 2048,
  "context_length": 4096
}

Запуск:

Код: Выделить всё

llama serve \
  --host 0.0.0.0:9931 \
  --port 9931 \
  -hf ggml-org/gpt-oss-120b-GGUF:mxfp4 \
  --config config.json

Если используется API (например, OpenAI-совместимый)

При отправке запроса передавайте систему промпт:

Код: Выделить всё

import requests

response = requests.post(
  "http://localhost:9931/v1/chat/completions",
  json={
    "model": "gpt-oss-120b",
    "messages": [
      {
        "role": "system",
        "content": "Ты опытный системный администратор Linux. Помогай с конфигурацией, мониторингом и оптимизацией систем."
      },
      {
        "role": "user",
        "content": "Как настроить SSL сертификат на nginx?"
      }
    ],
    "temperature": 0.3,
    "max_tokens": 2048
  }
)
print(response.json())

Рекомендуемые параметры для "режима администратора"
Параметр Значение Назначение
temperature 0.2–0.4 Более детерминированные, точные ответы
top-p 0.9–0.95 Баланс между разнообразием и согласованностью
top-k 30–50 Ограничение выбора токенов
repeat-penalty 1.1–1.3 Избегаем повторений
max-tokens 2048–4096 Достаточно для длинных объяснений

[ya]

Код: Выделить всё

llama serve \
  --host 0.0.0.0 \
  --port 9931 \
  -hf ggml-org/gpt-oss-120b-GGUF:mxfp4 \
  -c 4096 \
  -n 2048 \
  -t 8 \
  -b 2048 \
  -ngl 99

-ngl 99 - количество слоёв на GPU, если при запуске выдаёт ошибку, нужно уменьшить