スマホでも213tok/sの爆速推論を実現するモデル「LFM2.5-230M」無料公開
🤖 AI Summary
### スマホでも爆速推論実現のAIモデル「LFM2.5-230M」無料公開
#### 要点:
1. **モデル名と特徴**:Liquid AIは6月25日、「LFM2.5-230M」という最小エージェントAIモデルをオープンソースで公開した。これはツール呼び出しやデータ抽出に特化。
2. **パラメータ数**: モデルのパラメータ数は230M(約0.2B)で、Hugging Faceからダウンロード可能。
3. **CPUでの推論速度**:4bit量子化モデルを用いることで、スマートフォン「Galaxy S25 Ultra」では213tok/s、シングルボードコンピュータ「Raspberry Pi 5」でも42tok/sの高速応答が実現。
4. **作成過程**:LFM2.5-230MはLFM2.5-350Mからの蒸留による教師あり微調整、直接的な選好最適化、マルチドメイン強化学習を経て作られた。性能は大規模モデルと競合できると主張されているが、高度な数学やコード生成など推論負荷が高いタスクには向かない。
5. **公開目的**: スマートフォンやシングルボードコンピュータといったリソース制約のあるデバイスでも高速推論が可能になるようにすることを目指している。
#### 参照リンク:
- [ニュース詳細](https://pc.watch.impress.co.jp/docs/news/2120513.html)
#### 要点:
1. **モデル名と特徴**:Liquid AIは6月25日、「LFM2.5-230M」という最小エージェントAIモデルをオープンソースで公開した。これはツール呼び出しやデータ抽出に特化。
2. **パラメータ数**: モデルのパラメータ数は230M(約0.2B)で、Hugging Faceからダウンロード可能。
3. **CPUでの推論速度**:4bit量子化モデルを用いることで、スマートフォン「Galaxy S25 Ultra」では213tok/s、シングルボードコンピュータ「Raspberry Pi 5」でも42tok/sの高速応答が実現。
4. **作成過程**:LFM2.5-230MはLFM2.5-350Mからの蒸留による教師あり微調整、直接的な選好最適化、マルチドメイン強化学習を経て作られた。性能は大規模モデルと競合できると主張されているが、高度な数学やコード生成など推論負荷が高いタスクには向かない。
5. **公開目的**: スマートフォンやシングルボードコンピュータといったリソース制約のあるデバイスでも高速推論が可能になるようにすることを目指している。
#### 参照リンク:
- [ニュース詳細](https://pc.watch.impress.co.jp/docs/news/2120513.html)