100超のAIモデルを1つのAPIで利用へ

言語モデルで構築するチームは、プロバイダーごとに別々のアカウント、APIキー、請求ダッシュボード、統合コードを維持することになりがちだ。モデルゲートウェイは、多数のプロバイダーの前に単一のOpenAI互換エンドポイントを置くことでこれに対処し、チームは1つのキー、1つのベースURL、1つの請求を保てる。

中国のラボのモデルでは摩擦がより大きい。登録には通常、中国の電話番号、AlipayやWeChat Payなどの国内支払い方法、中国語しか使えないコンソールが必要で、AICraftによると多くのチームはキーを取得する前に諦めてしまう。AICraftは、こうした手順をクリティカルパスから取り除くことで、西洋のモデルに使うのと同じエンドポイントから全カタログに英語でアクセスできるとしている。

ゲートウェイを標準にする前に、既存のクライアントライブラリや可観測性に対するOpenAI互換性、カタログの規模と新モデルの登場速度、プロバイダー劣化時のフェイルオーバー動作、プロバイダーごとのチャージではなく統合請求、そしてゲートウェイとそのモデルのホスティング場所（適用されるデータ保護規則を決める）も確認すべきだ。AICraftは、複数のモデルファミリーが必要な場合、統合を再構築せずにモデルをA/Bテストしたい場合、チームの所在地から実質的にアクセスできないカタログが必要な場合に、このゲートウェイは元が取れるとしている。