ローカルAI・エージェント

ローカルLLMを1問ずつ試すだけでは、失敗が見えない：64GBのMacで測ったこと

64GBのMacで2つのローカルモデルを試すと、1問ずつなら両方とも6/6。同じ問題を1つの文脈にまとめると、9/18と17/18に分かれました。

• 9/18 対 17/18

  同じ問題をまとめると：MoE対dense

• 0/3 対 2/3

  まとめた実行で全問正解だった回

• ≈2.1倍

  デコード速度。それでも実時間は同程度