BASHCAT_
--:--:-- TPEEN
自架 · 公測 · v0.8.3

LLM Cluster

分散式 GPU 算力共享

把閒置 GPU 串成你自己的算力池。團隊共享排程、優先佇列、成本透明 — 像 Slurm，但為 LLM 時代而生。

▸ 申請使用GitHub →
beta · v0.8.3
bashcat@studio:~/products $ ./llm-cluster
› $ cluster status
› nodes: 4 online · 12× A6000 · 8× 4090
› 佇列：3 pending · 2 running · 18 done
› $ cluster submit train.yml
› job-471 → node-2 (RTX A6000)
› ETA 1h 24m · 成本估 $1.18
$
部署自架 (k8s)
GPUNVIDIA · CUDA 12+
排程priority + fair-share
授權open core
§ 01運作方式

閒置 GPU → 共享算力池。

§ 01

註冊節點

任何 GPU 機器（桌機、伺服器、雲端）裝 agent，自動加入叢集。

§ 02

送出任務

YAML 設定或一行 CLI，指定 GPU 等級、截止時間、優先級。

§ 03

監控與計費

即時儀表板、按用戶計費、可匯出使用報告。

§ 02功能

為團隊而設計，不是單機工具。

§ 01

GPU 排程

priority + fair-share

優先佇列（即時推論）+ 公平排程（訓練任務）並行。

§ 02

任務佇列

durable

Crash-safe 佇列、節點故障自動重排，每個任務可設重試策略。

§ 03

即時儀表板

metrics

GPU 使用率、VRAM、佇列深度、任務時序圖整合在一個畫面。

§ 04

成本追蹤

per-user / per-team

依用戶 / 團隊 / 專案計算 GPU 時數，可匯出 CSV。

§ 05

多租戶

isolation

Namespace 隔離、RBAC 權限、每團隊資源配額。

§ 06

開源核心

self-host

核心 Apache 2.0 開源。企業加值（SSO、稽核、SLA）另計。

$ ./contact

有想做的東西？
我們聊聊。

第一次免費 30 分鐘技術諮詢。我們不簽 NDA 就能聊大方向，認真要做了再簽。