Was ist LiteLLM?
LiteLLM stellt eine einheitliche OpenAI-kompatible API bereit, die Anfragen an Azure, Anthropic, Bedrock und Dutzende weitere Anbieter leitet. Teams wechseln Modelle, setzen Budgets und zentralisieren LLM-Zugriff.
LiteLLM stellt eine einheitliche OpenAI-kompatible API bereit, die Anfragen an Azure, Anthropic, Bedrock und Dutzende weitere Anbieter leitet. Teams wechseln Modelle, setzen Budgets und zentralisieren LLM-Zugriff.
Melden Sie sich in Ihrem Kubeara-Dashboard an und verbinden Sie einen Server, falls noch nicht geschehen.
Öffnen Sie den Service-Katalog und wählen Sie LiteLLM.

Prüfen Sie die vorkonfigurierten Einstellungen und klicken Sie auf Deployen.

LiteLLM läuft jetzt auf Ihrem Kubeara-Server. Öffnen Sie die Service-URL in Ihrem Dashboard, um loszulegen.