TongFlow がクラウドへ — v0.1.8 以降のすべて

前回のまとめは v0.1.8 で終わっていました。 そこからの一番大きな変化はモデルではなく、TongFlow の動かし方そのものです。デスクトップアプリは薄いシェルになり、キャンバスはクラウドへ移りました。その下ではカタログも育ち続けています——Meta の SAM と Sapiens2、音楽まわりの一式、そして API キー 1 本を数十のモデルに広げるモデル選択です。

TongFlow をはじめてお使いですか？ オープンソースのマルチモーダル GenAI ワークフロースタジオで、あらゆる AI モデルが無限キャンバス上のノードになります。全体像は紹介記事からどうぞ。

キャンバスはクラウドで動きます

v0.2.0 で、デスクトップアプリはクラウドスタジオに置き換わりました。 app.tongflow.com に Google または WeChat でサインインすれば、そこにキャンバスがあります。プラグインも実行もクラウド側で管理されるので、手元に Python ランタイムを用意する必要も、重みをダウンロードする必要もありません。

インストーラーは今も Releases ページにありますが、中身は別物です。約 10 MB の Pake（Tauri）シェルがクラウドスタジオを読み込む形で、成果物は TongFlow-mac-universal.dmg（Apple Silicon と Intel をひとつに）と TongFlow-win-x64.msi の 2 種類。Next.js サーバー、SQLite、Python プラグインランタイムを同梱して約 200 MB あった従来の Electron 版は、もう配布していません。すでに入れている方はそのまま使えます（アップデートは配信されません）。

完全ローカルでアカウント不要の TongFlow がなくなったわけではありません。それがセルフホストです。 コアは引き続き GitHub 上の AGPL-3.0 で、pnpm start:prod でも Docker でも動き、費用はかかりません。

クラウド版は月 $2.99 です。新規アカウントはカード登録なしで 7 日間フル機能を使えます。その後カードを登録すると 7 日間のトライアルが始まり、以降は月 $2.99、いつでも解約できます。私たちは計算リソースもクレジットも売っていません。モデル提供元のキーはご自身のものを使い、料金は提供元の価格でそのまま提供元へ支払う形です。Modal の無料枠には毎月の実 GPU 時間が含まれるので、計算コストは $0 から始まることもよくあります。

Meta SAM シリーズ

Meta の Segment Anything ファミリーを土台にした公式 Modal プラグインが 4 つ加わりました。いずれも重みがゲート付きのため、Hugging Face トークンが必要です。

• SAM 3（tongflow-modal-sam3）——テキストで切り抜き。概念を言葉で指定すると、画像内のその概念すべてを切り出し、動画では追跡します。
• SAM Audio（tongflow-modal-sam-audio）——テキストで音を分離。ノイズ除去、ボーカル分離、自由記述によるステム抽出。ノイズ除去とトラック分離ノードの初の公式実装です。
• SAM 3D Objects（tongflow-modal-sam-3d-objects）——1 枚の画像から 3D ガウシアンスプラットへ。
• SAM 3D Body（tongflow-modal-sam-3d-body）——1 枚の画像から全身の人体メッシュへ。

Meta Sapiens2 と、動画モーションキャプチャ

v0.2.1 では、Sapiens2-1B の重みを使う 5 つのノードが増えました。すべて 1 枚の Modal L40S で動きます。

• 姿勢検出——全身 308 キーポイント（体・手・顔）を黒背景に描画。
• 人体パーツ分割——29 クラスの人体パースを、クラス色そのままのマップとして出力。
• サーフェスノーマル——ピクセルごとの法線マップ（背景はマスク）。
• 人物マッティング——ストレートアルファの透過 PNG。
• 画像 → 3D に Sapiens2 の pointmap 実装が追加。色付きの人体点群を GLB で返します。

目玉は動画モーションキャプチャです。単眼の動画を入れると、Meta の MHR リグ（Momentum Human Rig、Apache-2.0）に載ったアニメーション付き 3D 人体 GLB が返ってきます。モデルノード上でそのまま再生でき、Blender にはスキン付きアーマチュアとして読み込めます。同じノードを、方向性の異なる 2 つのプラグインが実装しています。sam-3d-body は学習済みの事前知識でフレームごとに MHR を回帰（体と手、顔チャンネルは実験的）、sapiens2 は幾何的なパイプライン（308 キーポイント姿勢 + pointmap による 3D リフト、One-Euro スムージング、画面外に出た部位はレストポーズを保持）。同じノードで 2 つのエンジン、素材に合わせて選べます。

アニメーションが増えれば、見る側も要ります。モデルノードはアニメーションクリップを自動再生するようになり（30 fps 上限、ビューポート外とバックグラウンドタブでは一時停止）、再生/一時停止も操作できます。初期カメラもモデルの正面に回り込み、フレームいっぱいに収める挙動になりました。

音楽は「作業台」になりました

作り直した tongflow-modal-ace-step プラグイン（ACE-Step 1.5）で、音楽は生成ボタン 1 つから 6 つのノードに広がりました。

• 部分再生成（リペイント）——指定した時間範囲だけ作り直す。
• カバー——説明文や参考曲を使って、曲のスタイルを変える。
• ステム抽出——12 種類のステム（ボーカル、ドラム、ベース、ギター……）から 1 つを取り出す。
• トラック追加——既存のミックスに重ねる形で新しいステムを生成する。
• 編曲の補完——足りないパートを埋める。
• 楽曲ブリーフ——一言のアイデアから、歌詞・スタイルタグ・BPM・キー・尺まで。

既定モデルは公式の最高品質版 xl-sft に変更。ノードごとにモデルのドロップダウンがあるので、xl-base や xl-turbo に切り替えることもできます。音楽ノードには v0.1.13 の時点で任意の参照音声入力も追加済みです。音声ノードをつなぐと、ACE-Step はスタイル条件づけに、LeVo はメロディプロンプトとして使います。

関連する機能も 2 つ着地しました。音声理解（audio-describe）——クリップを選んで「説明」を押すと、ジャンル・雰囲気・楽器・ボーカル・イベントを自然な言葉で返します（Gemini、OpenAI、Agnes、Gemma 4 が実装）。そしてオープン語彙の音分離——探したい音を自由記述で指定すると、1 回の推論で対象音と残りの音の両方が返ってくる新ノードです（SAM Audio が担当）。

キー 1 本で、たくさんのモデル

• APIMart（tongflow-api-apimart）——キー 1 本で 7 ノード・46 モデルへ。画像生成と編集（Z-Image-Turbo、Seedream、Nano Banana Pro、GPT-Image、Imagen 4.0、Qwen Image 2.0、Grok Imagine）、テキスト/画像 → 動画（Kling v3、VEO3.1、Sora 2、Seedance 2.0）、テキスト生成、Whisper 文字起こし、TTS。
• Agnes AI（tongflow-api-agnes）——キー 1 本で 12 ノード。テキスト生成・分割・結合、画像理解、画像生成と編集、複数画像の融合、非同期のテキスト/画像/先頭末尾フレーム → 動画。
• SenseNova-Vision（tongflow-modal-sensenova-vision）——5 ノードにまたがる統合ビジョンモデル。サーフェスノーマルとマッティングを人物以外へ広げた初の実装でもあります（シーン全体の法線、顕著物体のマッティング）。
• LeVo と Boogu-Image も公式カタログに加わりました。

これを成立させるために、契約側にも 1 つ手を入れています。ノードごとのモデル選択です。ルーター型のプラグインが自分のモデル一覧を宣言すると、ノードにはプラグイン選択の隣にモデルドロップダウンが出ます。選択は pluginId と同じくトップレベルの値として、タスク作成・データベース・プラグインエンベロープ・ワークフローのエクスポートまで一貫して運ばれます。モデルを宣言しないプラグインは従来どおりです。

細かいけれど効く変更

• 50 MB のアップロード上限を撤廃——大きなメディアもそのままキャンバスへ。
• アップロード失敗が黙って消えない——ファイルごとのエラーを表示します。
• プラグインカードに本来の名前・説明・アイコンが出るようになりました（以前は ID だけ）。
• 韓国語 UI が加わり、英語・中国語・日本語と合わせて 4 言語に。
• ノードのプロンプト欄は一定の高さでスクロールするようになり、ノード全体が伸び続けることはなくなりました。
• 実行中のノードをキャンセルでき、プラグインのアンインストールもできます。
• 社内プロキシやプライベート CA 環境でもプラグインを導入可能に——OS の信頼ストアを参照するので、unable to verify the first certificate は出ません。
• Gemini プラグインが再び初期設定のまま動作——Google が gemini-2.0-flash を終了したため、既定モデルを更新しました。
• 複数画像 → 動画は画像 1 枚でも実行可能に。ワークフロー読み込み後はビューが再フィットします。

現在地

公式プラグイン 37 個、契約上の能力ノード 61 個——テキスト、画像、動画、音声、音楽、3D、ドキュメント、ウェブ。そのすべてが、キャンバスに置いて次へつなげるノードです。

何もインストールせずに試すなら app.tongflow.com へ。すべて手元に置きたいなら GitHub からセルフホストしてください。スターは他の人がこのプロジェクトを見つける助けになりますし、バグ報告もアイデアも作品も Discord に集まっています。

より多くのモデル、より多くのモダリティ、より多くの組み合わせを——つくり続けましょう。