Liquid AIのLFM2.5にDSpark適用で2倍以上高速化

Liquid AIは、小型モデル「LFM2.5」シリーズに投機的デコーディング技術「DSpark」を適用したバージョンを発表しました。性能を維持したまま、最大3倍以上の推論速度向上を実現しています。

DSparkは小型のドラフトモデルを使って将来のトークンを予測し、メインのLFM2.5で並列検証する仕組みです。llama.cppやMLXなどのフレームワークですぐに利用可能で、オンデバイスAIエージェントの高速化に役立ちます。

個人開発者やローカル環境でAIを活用する場面で、応答速度の改善が期待できます。特にエッジデバイスやプライバシーを重視した用途に適しています。

出典: GIGAZINE記事

コメント

コメントを投稿

このブログの人気の投稿

Claudeの電子透かし、仕組みと限界をAnthropicが公表

Anthropicが8月14日、Claudeの生成テキストに埋め込む電子透かしの仕組みを公表しました。Google DeepMindのSynthID-Textを基に、単語を選ぶ際の乱数の生成源を秘密鍵と直前の文脈に置き換え、鍵を持つ側だけが検出できる統計的なパターンを残す方式です。テキストに文字を足さないため、品質や速度、料金には影響しないとしています。 EU AI Actの透明性義務に関する行動規範へ署名したことに伴う対応ですが、適用範囲はEU域内にとどまりません。地域ごとに限定する確実な方法がまだないとして、日本を含む全世界のモデルとプロダクトに及びます。検出には近く提供予定のAPIを使います。 実務で効くのは、透かしが入る場所と入らない場所が明確な点です。単語選択の自由度が低い文章、たとえば数式や答えが一つしかない事実記述には入りません。コードも、別の語を選ぶと動かなくなる箇所には適用せず、コメントのような任意の選択ができる部分に限られます。句読点だけの校正は検出に足りない可能性がある一方、全ての単語をClaudeが選ぶ翻訳には入ります。 限界も明示されています。示せるのはClaudeが関与した可能性までで、書いたのか大幅に編集したのかは区別できません。人間が書いた証明にもならず、短文では精度が落ちます。AI利用の開示が求められる場面では、この範囲を踏まえた運用が要りそうです。 出典: 「Claude」の“見えない透かし”、Anthropicが仕組みを説明 「完全な書き直しなら消える」
続きを読む

Faber：コードグラフ活用のコスト効率良いオープンソースAIコーディングエージェント

Show HNで紹介された「Faber」は、コードグラフを活用したコスト効率の高いオープンソースのコーディングエージェントです。リポジトリの構造をグラフとして扱うことで、エージェントの動作を効率化し、トークン消費やツール呼び出しを削減することを目指しています。 このようなツールは、個人開発者や小規模チームがAIエージェントを日常の開発ワークフローに取り入れる際に役立ちます。コードベースの理解を助け、 hallucinations を減らす効果が期待できます。 実務では、大規模なコードベースでのエージェント利用時に特に有用で、開発コストの低減につながる可能性があります。 出典: Show HN: Faber, cost-efficient open-source coding agent that uses code graph
続きを読む

全agent CLIを1端末で操作するGlider

複数のAIエージェントCLIを1つの端末から操作できるツール「Glider」が紹介されました。 異なるagentツールを統一的に扱え、ワークフローの効率化が期待できます。 個人開発者やチームでAIツールを多用する場面で便利そうです。 出典: Glider: Drive all your agent CLIs from one terminal
続きを読む