iPhoneで動作しBonsai 27Bと同等性能で13倍高速なAI「Maple-Preview」が登場、ローカルAIがまた1歩前進
🤖 AI Summary
AI研究企業のDeepGroveがiPhoneでも動作する小型モデル「Maple-Preview」を開発しました。同モデルは総パラメーター数202億、アクティブパラメーター数14億9000万のMoEモデルで、Bonsai 27Bと比べて13倍高速です。Maple-Previewは設計段階で3値で処理を実行しており、小型かつ高性能な特徴があります。
評価結果によると、Maple-PreviewはTernary Bonsai 27BやGemma 4 E4Bといったモデルと比べて高速かつ高性能です。また、コンテキスト長が増えてもメモリ使用量を抑えられるため、iPhoneなどメモリ制約のあるデバイスでも実用的な速度で動作します。
Maple-Previewはオープンモデルとして提供されており、MIT Licenseの下で公開されています。現在はプレビュー段階ですが、将来的には個人最適化のために会話内容に基づいたAIモデルのチューニングも行われる予定です。
評価結果によると、Maple-PreviewはTernary Bonsai 27BやGemma 4 E4Bといったモデルと比べて高速かつ高性能です。また、コンテキスト長が増えてもメモリ使用量を抑えられるため、iPhoneなどメモリ制約のあるデバイスでも実用的な速度で動作します。
Maple-Previewはオープンモデルとして提供されており、MIT Licenseの下で公開されています。現在はプレビュー段階ですが、将来的には個人最適化のために会話内容に基づいたAIモデルのチューニングも行われる予定です。