LLM agents على الـ cloud ولا محلية، لعمل slides المحاضرات بـ Agent Skill

دراسة مبدئية. كل model اشتغل مرة واحدة بس في كل مهمة، فدي مؤشرات أولية، مش نتايج نهائية. لسه محتاجين tests أكتر.

الدراسة باختصار

كل model خد module واحد من كورس وprompt ثابت: يحوّله لعرض من 20 لـ 30 slide لمحاضرة 50 دقيقة، فيه speaker notes على كل slide وquiz في الآخر. كان فيه موضوعين، Wireless 101 وSTATS 101. الـ checker بتاع الـ skill وLLM judge مايعرفش مين عمل إيه (blind) قيّموا كل عرض خلص.

العروض اللي اتعملت: المقارنة الأساسية

run واحد لكل model في كل موضوع. كل عرض ملف HTML واحد، وبيفتح في tab جديدة.

Wireless 101

• Opus 5.530 slide · التقييم 9/10 · 11 دقيقة و44 ثانية · 2.88 دولار
• Sonnet 5.530 slide · التقييم 9/10 · 5 دقايق و27 ثانية · 0.90 دولار
• Haiku 5.529 slide · التقييم 7/10 · 7 دقايق و5 ثواني · 0.24 دولار

qwen3.8 27B، الـ model المحلي، وصل لحد الـ 120 دقيقة في Wireless 101 من غير ما يكتب ولا slide، فمافيش عرض.

STATS 101

• Opus 5.530 slide · التقييم 9/10 · 11 دقيقة و14 ثانية · 2.79 دولار
• Sonnet 5.529 slide · التقييم 9/10 · 5 دقايق و24 ثانية · 0.70 دولار
• Haiku 5.529 slide · التقييم 7/10 · 8 دقايق و44 ثانية · 0.32 دولار
• اتجمّع بعدينqwen3.8 27B، محليالوقت خلص عند 120 دقيقة. فيه 20 slide من الـ run اللي ماخلصش. ماتقيّمش.

العروض اللي اتعملت: تجربة الخطة

تجربة منفصلة، ومش بتتقارن بالـ runs اللي فوق. Opus كتب خطة واحدة لـ STATS 101، وتلات models محلية بنوا منها عرض.

• qwen3.6 35B-A3B، MoE محلي30 slide · التقييم 9/10 · 20 دقيقة
• اتجمّع بعدينqwen3.8 27B، محليوقف بسبب API error. فيه 10 slides من الـ run اللي ماخلصش. ماتقيّمش.
• اتجمّع بعدينgemma4 26B، محليوقف بدري. فيه 10 slides من الـ run اللي ماخلصش. ماتقيّمش.

العروض اللي عليها «اتجمّع بعدين» مش الـ models اللي عملتها. أنا جمّعتها بعد الـ runs من ملفات الـ slides اللي سابتها الـ runs المحلية اللي ماخلصتش، عشان تقدر تشوف الـ slides بتاعتها. ماعدّتش على الـ checker ولا اتقيّمت، ومش محسوبة في أي نتيجة.

الـ source والـ data والـ scripts

الـ prompts والـ harness والـ judge والـ scripts موجودين على GitHub: ⁦present‑in‑html⁩/evals/model-comparison. والأرقام اللي ورا الرسومات موجودة هنا كمان: study-data.json وtables.md.