「Qwen3.8-Flash-Next」無償公開、Opus 4.6匹敵でQwen3.8-27B超え ~51B分はVRAMではなくRAMに置いて先読みする“Qwen4先取りの設計”
🤖 AI Summary
「Qwen3.8-Flash-Next」は、次期「Qwen4」の設計を先取りしたモデルで、2026年8月26日にAlibabaのモデル開発チームQwenが無償公開しました。このモデルは125Bパラメータを持ち、さらに51B分のN-gram埋め込みを備えています。ライセンスは「Qwen Community License 1.0」で商用利用も原則無償ですが、事業内容によっては別途契約が必要です。
このモデルはOpus 4.6とQwen3.8-27Bを上回る性能を持つと報告されています。「SWE-bench Pro」や「CoWorkBench」、「JobBench」などのベンチマークで高い得点を得ており、多くの項目で自社の3,970億パラメータモデル「Qwen3.7-Plus」と比較しても上回る結果が出ています。
性能を高めるための4つの新設計は:
1. アテンション: Gated DeltaNet (GDN)とQwen Sparse Attention (QSA)を組み合わせたアーキテクチャ
2. Gated Residual (GR): 入力を深い層まで素通しで届ける経路を増やす
3. N-gram埋め込み: RAMに先読みして使用する大規模な参照表
4. Muon: 学習時のパラメータ更新を効率化
また、このモデルはRAMに置いて先読みするN-gram埋め込みを使用しており、通常のVRAMへの転送が必要ないため高速です。
このモデルはOpus 4.6とQwen3.8-27Bを上回る性能を持つと報告されています。「SWE-bench Pro」や「CoWorkBench」、「JobBench」などのベンチマークで高い得点を得ており、多くの項目で自社の3,970億パラメータモデル「Qwen3.7-Plus」と比較しても上回る結果が出ています。
性能を高めるための4つの新設計は:
1. アテンション: Gated DeltaNet (GDN)とQwen Sparse Attention (QSA)を組み合わせたアーキテクチャ
2. Gated Residual (GR): 入力を深い層まで素通しで届ける経路を増やす
3. N-gram埋め込み: RAMに先読みして使用する大規模な参照表
4. Muon: 学習時のパラメータ更新を効率化
また、このモデルはRAMに置いて先読みするN-gram埋め込みを使用しており、通常のVRAMへの転送が必要ないため高速です。