Sohbet botları matematik testi

Euronews, basit aritmetik sorularından oluşan bir testte Gemini, ChatGPT ve Grok sohbet botlarının hangi koşullarda daha doğru yanıt verdiğini ve hangi modelin temel hesaplama görevlerinde daha başarılı olduğunu karşılaştırmalı olarak inceledi.

• Testte toplama, çıkarma, çarpma ve bölme gibi temel işlemler ile birkaç adımlı basit problem türleri kullanıldı.
• Modeller, aynı sorulara art arda yöneltilerek hem tek seferlik yanıt doğruluğu hem de tutarlılık açısından değerlendirildi.
• Karşılaştırmada, bazı botların uzun sayı dizilerinde hata yapmaya daha yatkın olduğu, bazılarının ise adım adım açıklama istenince daha doğru sonuçlar ürettiği gözlendi.
• İncelemede, modellerin yanıt hızları ile kullanıcıya sundukları ara adım açıklamalarının anlaşılırlığı da performans değerlendirmesine dahil edildi.