nkt

Русский

English

Русский

English

Тема

Плагин: LiteLLM ​

LiteLLM — один OpenAI-совместимый адрес перед любыми моделями (llama.cpp, Ollama, vLLM, OpenAI, Anthropic) с виртуальными ключами: у каждого — модели, бюджет, лимиты, срок и расход. Плагин ведёт ключи и модели из хаба. Общий принцип плагинов — Плагины.

Поставить ​

  1. «Конвейеры» → «Примеры» → LiteLLM → хост и домен API. Мастер-ключ, ключ шифрования и пароль базы хаб создаст сам (generate:). Ключ шифрования LITELLM_SALT_KEY после первой выкладки не меняйте.
  2. «О системе» → «Плагины» → «Установить на хост» → LiteLLM → тот же хост → мастер-ключ из .env конвейера (sk- плагин добавит сам). Служба nkt-plugin-litellm, 127.0.0.1:9210, без Docker.

Своя админка LiteLLM (/ui) в примере выключена — всё через плагин.

Что умеет ​

Ключи LiteLLM в хабе

  • Модели — добавить (имя для клиентов, провайдер/модель, адрес API, ключ провайдера скрытым полем) и удалить. openai/… с адресом — любой OpenAI-совместимый сервер.

  • Ключи — создать (имя, модели, бюджет и его обнуление, лимиты запросов и токенов, срок), заблокировать, разблокировать, удалить. Новый ключ:

    • в окне — показывается один раз с «Скопировать»;
    • сразу в .env конвейера (поля «Сразу в .env конвейера» и «Имя переменной») — не показывается: хаб записывает его в .env конвейера приложения с историей версий, в стек он придёт со следующей выкладкой.

    Новый ключ — один раз

  • Расход — по ключам и всего.

  • Сценарии: llm keys, llm key block|unblock|rm ИМЯ, llm key add ИМЯ [models a,b] [budget 20] [budget-reset 30d] [rpm 60] [tpm 100000] [expires 30d] to-pipeline КОНВЕЙЕР env ПЕРЕМЕННАЯ — новый ключ из сценария только сразу в .env, в журнал задания он не попадает.

  • MCP: litellm_keys, litellm_models, litellm_spend, litellm_key_generate (только с to_pipeline и env — агент значения не видит), litellm_key_block, litellm_key_unblock, litellm_key_delete, litellm_model_add, litellm_model_delete.

Права ​

Смотреть — всем; менять — администратору или токену с действием «плагин litellm». Положить ключ в .env конвейера — ещё и право править этот конвейер: администратор или токен с «pipeline.create» в своих пределах (свой конвейер или из списка токена). Права проверяются до вызова плагина — ключ, который некуда положить, не создаётся.

Приложение ​

OPENAI_BASE_URL=https://llm.example.com/v1
OPENAI_API_KEY=${LLM_API_KEY}