Ollama
Добавлено: 22 сен 2026, 21:34
Вот пошаговое руководство для установки AI сервера на Debian:
## Способ 1: Установка Ollama (рекомендуется для новичков)
**Установка:**
1. Загрузите и установите Ollama:
```bash
curl -fsSL https://ollama.ai/install.sh | sh
```
2. Запустите сервис:
```bash
ollama serve
```
3. В отдельном терминале загрузите модель (например, Mistral или Llama 2):
```bash
ollama pull mistral
```
4. Используйте API (по умолчанию на `http://localhost:11434`):
```bash
curl http://localhost:11434/api/generate -d '{"model":"mistral","prompt":"Hello"}'
```
---
## Способ 2: LLaMA с вебинтерфейсом (text-generation-webui)
**Предварительные требования:**
```bash
sudo apt update
sudo apt install git python3-pip python3-venv nvidia-cuda-toolkit
```
**Установка:**
```bash
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
python server.py
```
Откройте браузер на `http://localhost:7860`
---
## Способ 3: FastAPI + Hugging Face (для кастомных решений)
**Установка зависимостей:**
```bash
sudo apt install python3-pip python3-venv
python3 -m venv venv
source venv/bin/activate
pip install fastapi uvicorn transformers torch
```
**Создайте файл `server.py`:**
```python
from fastapi import FastAPI
from transformers import pipeline
app = FastAPI()
nlp = pipeline("text-generation", model="gpt2")
@app.post("/generate")
def generate_text(prompt: str):
return nlp(prompt, max_length=100)
```
**Запуск:**
```bash
uvicorn server.py:app --host 0.0.0.0 --port 8000
```
---
## Способ 4: Docker контейнер
```bash
sudo apt install docker.io docker-compose
docker pull ollama/ollama
docker run -d -p 11434:11434 ollama/ollama
```
---
## Рекомендации
- **Ollama** — самый простой способ для начинающих
- Убедитесь, что у вас достаточно **ОЗУ** (минимум 4 ГБ, лучше 8+)
- Для **GPU ускорения** установите поддержку CUDA или ROCm
- Используйте **smaller модели** (Mistral, Neural Chat) для слабого железа
Какой способ вас интересует больше всего? Я могу дать более подробные инструкции по конкретному подходу.
## Способ 1: Установка Ollama (рекомендуется для новичков)
**Установка:**
1. Загрузите и установите Ollama:
```bash
curl -fsSL https://ollama.ai/install.sh | sh
```
2. Запустите сервис:
```bash
ollama serve
```
3. В отдельном терминале загрузите модель (например, Mistral или Llama 2):
```bash
ollama pull mistral
```
4. Используйте API (по умолчанию на `http://localhost:11434`):
```bash
curl http://localhost:11434/api/generate -d '{"model":"mistral","prompt":"Hello"}'
```
---
## Способ 2: LLaMA с вебинтерфейсом (text-generation-webui)
**Предварительные требования:**
```bash
sudo apt update
sudo apt install git python3-pip python3-venv nvidia-cuda-toolkit
```
**Установка:**
```bash
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
python server.py
```
Откройте браузер на `http://localhost:7860`
---
## Способ 3: FastAPI + Hugging Face (для кастомных решений)
**Установка зависимостей:**
```bash
sudo apt install python3-pip python3-venv
python3 -m venv venv
source venv/bin/activate
pip install fastapi uvicorn transformers torch
```
**Создайте файл `server.py`:**
```python
from fastapi import FastAPI
from transformers import pipeline
app = FastAPI()
nlp = pipeline("text-generation", model="gpt2")
@app.post("/generate")
def generate_text(prompt: str):
return nlp(prompt, max_length=100)
```
**Запуск:**
```bash
uvicorn server.py:app --host 0.0.0.0 --port 8000
```
---
## Способ 4: Docker контейнер
```bash
sudo apt install docker.io docker-compose
docker pull ollama/ollama
docker run -d -p 11434:11434 ollama/ollama
```
---
## Рекомендации
- **Ollama** — самый простой способ для начинающих
- Убедитесь, что у вас достаточно **ОЗУ** (минимум 4 ГБ, лучше 8+)
- Для **GPU ускорения** установите поддержку CUDA или ROCm
- Используйте **smaller модели** (Mistral, Neural Chat) для слабого железа
Какой способ вас интересует больше всего? Я могу дать более подробные инструкции по конкретному подходу.