AI Gateway

即使底層模型改變,學校仍應掌握自己的政策層。

規劃中的ZYK AI Gateway / Model Router,目標是讓機構透過一條受治理路徑使用獲批准模型,而不是每當模型質素、硬件、成本或政策改變時,都要重建使用者工作流程。

為何可遷移性重要

領先模型會更替,機構架構應該更持久。

降低單一模型依賴

學校應能評估及採用更合適的獲批准模型,而毋須更換身份、知識、治理及應用工作流程。

按任務配對模型

不同模型可能更適合中文、英文、編程、推理、媒體創作或需要較低延遲的工作。

更有效使用容量

未來路由可考慮可用GPU容量、延遲、工作優先次序,以及任務應位於正式環境還是實驗沙盒。

政策保持中央管理

更換模型不應在沒有明確決策的情況下改變誰可以使用、可以接收哪些數據,或適用哪些治理控制。

路由維度

按機構規則選擇模型,而不是依賴使用者猜測。

任務

把寫作、翻譯、編程、評估支援或媒體生成路由至已獲機構批准作相關用途的模型。

數據分類

較敏感的工作負載可按機構政策限制於指定本地模型或部署區域。

效能

模型評估可按學校實際任務比較質素、延遲、語言能力及硬件效率。

生命周期

模型可透過受控流程,由評估階段進入沙盒,再成為獲批准的正式模型。

相關服務

模型選擇是一項持續的營運工作。

模型評估服務

規劃中的服務可在採用前,按教育準確度、中英文表現、延遲、安全行為及基礎設施成本測試候選模型。

AI採購顧問

由學校需求出發,為模型、GPU、伺服器及部署方式提供可比較的規格與建議,而不是由供應商宣傳倒推需求。

私有AI遷移

規劃中的遷移路徑,把適合的工作流程由缺乏統一管理的公共AI帳戶或API逐步移入受治理的機構環境。

AI Gateway / Model Router是content-v2策略架構概念。路由規則、支援模型及實際營運行為,只有在完成技術驗證後才應被表述為已實施功能。