Services

Open-Source-LLMs lokal mit einfacher API betreiben

KILLM
Deployen

Was ist Ollama?

Ollama lädt große Sprachmodelle herunter und betreibt sie auf lokaler oder Server-Hardware. Es stellt REST-API und CLI bereit für Modelle wie Llama und Mistral ohne Cloud-Abhängigkeit.

Deployment auf Kubeara

  1. Melden Sie sich in Ihrem Kubeara-Dashboard an und verbinden Sie einen Server, falls noch nicht geschehen.

  2. Öffnen Sie den Service-Katalog und wählen Sie Ollama.

    Ollama auf Kubeara
    Ollama auf Kubeara
  3. Prüfen Sie die vorkonfigurierten Einstellungen und klicken Sie auf Deployen.

    Ollama auf Kubeara bereitgestellt
    Ollama auf Kubeara bereitgestellt
  4. Ollama läuft jetzt auf Ihrem Kubeara-Server. Öffnen Sie die Service-URL in Ihrem Dashboard, um loszulegen.