Автор: kra Открыта для предложений Шагов: 5

Локальный LLM: Ollama + Open WebUI

К списку Предложить шаг

🎯 Применение в проектах

0
участников
0
проектов
5
шагов

Кратко

Нельзя отправлять данные в облако по NDA.

Контекст

Нельзя отправлять данные в облако по NDA.

Результат

LLM локально, 15 ток/сек, полная приватность.

Шаги

1

Ollama

Автор: kra
curl -fsSL https://ollama.com/install.sh | sh. Сервис стартует автоматически на порту 11434.
2

Модель

Автор: kra
ollama pull llama3.1:8b — 4.7 ГБ, работает на 8 ГБ RAM. Для RTX-карт: llama3.1:70b-q4 — 40 ГБ VRAM.
3

Open WebUI

Автор: kra
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
4

Интерфейс

Автор: kra
Открыть http://localhost:3000, создать аккаунт. Чат как в ChatGPT, но работает локально, 15 ток/сек.
5

Приватность

Автор: kra
Никакие данные не уходят в облако. Полная совместимость с NDA и корпоративными требованиями.

Предложить шаг

Ваше улучшение будет отправлено владельцу инструкции на одобрение.

Совет: если инструкция получается очень большой — более 10–15 шагов, имеет смысл собрать ее в полноценный курс на online.tfeya.ru. Там можно разбить материал по модулям, добавить тесты и отслеживать прогресс участников.