Algoritma vs Öğrenciler

Birleşik Krallık’ta yer alan okulların öğrencileri için tasarlanan ve girilemeyen sınavların notlarını tahmin eden yapay zekâ sistemi ciddi protestolara sebebiyet verdi. 

• Neler oldu? Salgın döneminde öğrencilere sınav yapamayan okullar, online sınavlar yerine öğretmenlerinin öğrencilerin durumlarına dair yaptığı tahminlerden çıkarım yapabilen bir algoritma geliştirdi. Böylelikle öğrencilerin notlarının tahmin edildiği varsayılırken, öğrencilerin aldıkları notlardan sonra eyleme geçmesi sistemi gündeme taşıdı. Aslında sistem iki ana bileşeni kullanıyordu; öğretmenlerin öğrencileri yerleştirdiği bir sıralama ve okulların form durumu.
   
• Birleşik Krallık Yeterlilik Ölçme ve Sınav Kurulu ‘Ofqual’ (Office of Qualifications and Examinations Regulation) sadece öğrencilerin sıralamasından ve okullarının geçmişteki performanslarından geliştirdiği sistemin yeterli duyarlılık hesabı olmaması bir yana, düşük profile sahip okullardaki öğrencilere önyargı uyguladığı iddiasıyla da eleştirildi. Zira modele göre; eğer siz A sınıfında yer alan ve geçmişte iyi performans göstermiş okullardan birindeyseniz ve öğretmeninizin sizi yerleştirdiği sıralama düşük de olsa okul başarısından dolayı kötü performansa sahip okuldaki öğrencilere karşı avantaj elde ediyorsunuz. Birleşik Krallık’ta bulunan aynı seviyedeki okulların kötü performans gösterenlerinin ise ortak bir paydası var; gelir durumu düşük olan bölgelerde yer almaları. Yani bilgisayar dolaylı yoldan da olsa öğrencilerin sosyo-ekonomik durumuyla bağlantılı bir sonuç vermiş oluyor.
   
• Diğer yandan sistemle ilgili bir başka detay daha ortaya çıktı, modelin temel taşlarından olan öğretmen tahminlerinin çoğu okulda kendi öğrencileri için fazla cömert olduğunu fark eden analistler, bu etkiyi kısıtladı. Öğretmenlerin sıralamalarını hesaba katarken, notları hakkında yaptıkları tahminleri elediler. BBC’ye göre eğer öğretmen notları elenmesiydi son 70 yılın en yüksek not ortalaması ortaya çıkacaktı. Fakat tahminler yerine geçmiş verilerin ağırlığı artırılınca notların %40’ı düşüş gösterdi. Sonuç olarak, Ofqual’ın kullandığı algoritma ortalama öğrencileri ve okulları kurtarırken, sürüden ayrı diyebileceğimiz kötü şartlarda başarı elde edebilen öğrencilerin önünü kesti. Bununla beraber genel anlamda da düşük gelire sahip bölgelerdeki okullara karşı uyguladığı dezavantaj durumu, en çok bu okulların olumsuz yönde etkilenmesine sebep oldu.
   
• Son durum nedir? Birleşik Krallık’ta farklı bölgelerde düzenlenen öğrenci protestoları sonuç verdi ve Ofqual uygulanan sistemin hatalı olduğunu, modele bağlı değerlendirmelerin iptal edileceğini açıkladı. Yanlış yolu seçtiklerini söyleyen Ofqual yöneticisi Roger Taylor, öğretmenlerin verdiği ödevler üzerinden bir notlama uygulayacaklarını söyledi. Teknolojik bağlamda bakıldığında bir ilk olan ve başarısızlıkla sonuçlanan bu girişimin arkasında algoritmanın kullandığı parametrelerin sığlığı kadar, insan davranışı ve olasılıklarının kişi bazında detaylı veri toplanmadığı sürece ortalamadan başka sonuç vermeyeceği de kanıtlanmış oldu.