LocalAI

[ya]

https://github.com/mudler/LocalAI

sudo apt install jq

LocalAI - это бесплатная альтернатива OpenAI с открытым исходным кодом. LocalAI выступает в качестве замены REST API, совместимого со спецификациями API OpenAI (Elevenlabs, Anthropic...) для локального ИИ-инференции. Он позволяет запускать LLM, генерировать изображения, аудио (и не только) локально или на месте с помощью оборудования потребительского класса, поддерживая множество семейств моделей. Не требует GPU. Создан и поддерживается Этторе Ди Джачинто.

Генерация API-ключа:

Код: Выделить всё

openssl rand -base64 42

затем перед выданным значением по вышеуказанной команде добавить sk-

Код: Выделить всё

sudo curl -X GET "https://localai.io/install.sh" -H "Authorization: Bearer sk-сгенерированный_ключ"|sh

https://localai.io/basics/getting_started/index.html

Код: Выделить всё

curl https://localai.io/install.sh | sh

Код: Выделить всё

curl https://localai.io/install.sh | VAR=value sh

Переменная окружения Описание

DOCKER_INSTALL Установите значение «true», чтобы включить установку образов Docker.
USE_AIO Установите значение «true», чтобы использовать Docker-образ LocalAI «все в одном».
API_KEY Укажите API-ключ для доступа к LocalAI, если требуется.
CORE_IMAGES Установите значение «true» для загрузки основных образов LocalAI.
PORT Укажите порт, на котором будет работать LocalAI (по умолчанию 8080)
THREADS Количество потоков процессора, которые должно использовать приложение. По умолчанию равно количеству логических ядер минус один.
VERSION Указывает версию LocalAI для установки. По умолчанию - последняя доступная версия.
MODELS_PATH Путь к каталогу, где хранятся модели LocalAI (по умолчанию /usr/share/local-ai/models).
P2P_TOKEN Токен для использования в федерации или для запуска рабочих см. документацию.
WORKER Установите значение «true», чтобы сделать экземпляр рабочим (требуется токен p2p, см. документацию).
FEDERATED Установите значение «true» для совместного использования экземпляра с федерацией (требуется p2p-токен, см. документацию)
FEDERATED_SERVER Установите значение «true», чтобы запустить экземпляр в качестве сервера федерации, который перенаправляет запросы в федерацию (требуется токен p2p, см. документацию)

[ya]

I use Docker Compose
in my .env I added the variable

LOCALAI_API_KEY="GENERATED KEY"

I generated my key with: openssl rand -base64 42
and added sk- in front just to make it looks like OpenAI.
So it looks like this in my .env file:
image

then after restarting my localai docker container

curl -X GET "https://localai/v1/models" -H "Authorization: Bearer sk-9f73s3ljTXVcMT3Blb3ljTqtsKiGHXVcMT3BlbkFJLK7U"|jq

[ya]

Примечание: этот репозиторий устарел. Галерея моделей теперь находится по адресу https://github.com/mudler/LocalAI/tree/master/gallery и по умолчанию настроена в LocalAI.

Галерея моделей:
https://github.com/go-skynet/model-gallery

Скачать:

Код: Выделить всё

git clone https://github.com/go-skynet/model-gallery

Установить:

Код: Выделить всё

bash ./load.sh wizard

[ya]

удаление

Код: Выделить всё

pip uninstall pydantic fastapi langchain-community pydantic-settings chromadb localai pautobot 

обновление

Код: Выделить всё

pip install --upgrade pydantic fastapi langchain-community pydantic-settings chromadb localai pautobot 

установка

Код: Выделить всё

pip install pydantic fastapi langchain-community pydantic-settings chromadb localai pautobot 

установка конкретной версии

Код: Выделить всё

pip install fastapi==0.96.0

[ya]

https://localai.io

Код: Выделить всё

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu

[ya]

Репозиторий тэгов:
https://quay.io/repository/go-skynet/local-ai?tab=tags&tag=latest

[ya]

Код: Выделить всё

pip install --upgrade --force-reinstall langchain langchain-core langchain-community langchain-text-splitters fastapi==0.96.0 langchain-core==0.2.9 pydantic==1.9 pydantic-settings==0.2.5 langserve==0.2.3 typing-extensions==3.10 SQLAlchemy==1.4.54

[ya]

GPT4All запускает большие языковые модели (LLM) в частном порядке на обычных настольных компьютерах и ноутбуках.
Не требуется никаких вызовов API или графических процессоров — вы можете просто скачать приложение и приступить к работе.

https://docs.gpt4all.io/gpt4all_desktop/quickstart.html
https://github.com/nomic-ai/gpt4all

Код: Выделить всё

$ pip install gpt4all
Collecting gpt4all
  Downloading gpt4all-2.8.2-py3-none-manylinux1_x86_64.whl (121.6 MB)
     |████████████████████████████████| 121.6 MB 428 kB/s 
Requirement already satisfied: requests in /usr/lib/python3/dist-packages (from gpt4all) (2.25.1)
Collecting tqdm
  Downloading tqdm-4.67.1-py3-none-any.whl (78 kB)
     |████████████████████████████████| 78 kB 1.1 MB/s 
Requirement already satisfied: typing-extensions>=4.3.0 in ./.local/lib/python3.9/site-packages (from gpt4all) (4.12.2)
Installing collected packages: tqdm, gpt4all
Successfully installed gpt4all-2.8.2 tqdm-4.67.1