งานวิจัยล่าสุดมีข้อมูลวัดจริง
ทดสอบ LLM ในเครื่องทีละคำถามจะมองไม่เห็นความล้มเหลว: สิ่งที่เราวัดบน Mac 64 GB
บน Mac 64 GB โมเดลในเครื่องสองตัวตอบถูกครบ 6/6 เมื่อถามทีละข้อ แต่พอรวมคำถามเดิมไว้ในบริบทเดียว ผลแยกเป็น 9/18 กับ 17/18
9/18 เทียบ 17/18
รวมคำถามเดิมไว้ด้วยกัน: MoE เทียบ dense
0/3 เทียบ 2/3
รอบที่ถูกครบทุกข้อเมื่อรวมคำถาม
≈2.1 เท่า
ความเร็ว decode แต่เวลาจริงใกล้เคียงกัน
