Open WebUI & Ollama AI Studio

Geïntegreerd soeverein AI-platform dat Open WebUI combineert met de lokale Ollama LLM-engine en LiteLLM uniforme API-gateway zonder externe abonnementskosten of data-exfiltratie.

3 Geteste Services

100% Proxmox Getest (Docker & Podman)

Geïsoleerd Subnet (Nul Conflict)

Lokale Dataopslag

Belangrijkste Eigenschappen

Lokale AI inferentie via Ollama (Llama, Mistral, Qwen, DeepSeek)
Open WebUI interface met ondersteuning voor documenten en multi-modal invoer
LiteLLM OpenAI-compatibele API proxy
Geschikt voor GPU passthrough of CPU execution
Volledig on-premise zonder API-kosten of externe datalekken

Inbegrepen Services

Alle containers in deze suite zijn geconfigureerd met onderlinge netwerken, omgevingsvariabelen en persistente data-opslag.

Ollama LLM Engine

ollama

Open-source framework voor het lokaal uitvoeren van geavanceerde LLM's zoals Llama 3, Mistral, Qwen en DeepSeek op eigen hardware.

Open WebUI

open-webui

Functierijke, intuïtieve web-interface voor interactie met lokale en externe taalmodellen inclusief document-RAG en spraak.

LiteLLM AI Gateway

litellm

Uniforme OpenAI-compatibele API-proxy en gateway voor meer dan 100 grote taalmodellen en lokale LLM's.

Uitrol via NjordDeploy

NjordDeploy verzorgt de uitrol van deze multi-container suite via SSH. Compose templates worden automatisch gerenderd en gestart op Docker of Rootless Podman.

Download NjordDeploy Suite Bekijk Proxmox Testrapport Bekijk Compose Sjablonen