❌

リーディングビュー

AIが最大3.2倍高速に、LFM2.5用ドラフトモデル無償公開

🤖 AI Summary

ノートPC向けAIエージェント特化モデル「LFM2.5」が大幅に高速化されました。Liquid AIは8月20日に、推論速度を最大3.2倍高速化する「DSparkドラフトモデル」をHugging Faceで無償公開しました。これは、出力品質を維持しながら投機的デコーディング速度を向上させる最初のLFMモデルです。

DSparkは小さなモデル(ドラフトモデル)を使ってトークンを予測し、大きなモデルがこれを検証することで、推論速度を高速化します。テスト結果では、NVIDIA H100とM4 Maxでのスループットが大幅に向上しました。

DRsparkドラフトモデルはSafetensorsおよびGGUF形式でHugging Faceからダウンロードできます。
 ノートPCなどの上で動くAIエージェント特化モデル「LFM2.5」がさらなる高速化を果たした。Liquid AIは8月20日、LFM2.5ファミリーの推論速度を大幅に引き上げる「DSparkドラフトモデル」をHugging Faceで公開した。LFM(Liquid Foundation Model)初の投機的デコーディングモデルで、出力品質を維持しつつ、デコーディング速度を最大3.2倍高速化できるとする。
  •  
❌