George Mason Üniversitesi (GMU) ekonomi profesörü Bryan Caplan, ChatGPT’nin ekonomi testindeki puanını sadece üç ayda D’den A’ya yükseltmesinin onu hayrete düşürdüğünü söyledi.
Caplan, chatbot’un Ocak ayında ekonomi sınavından D aldığını, geçen hafta GPT-4 güncellemesiyle sınavı tekrar deneyen ChatGPT’nin puanını A’ya yükselttiğini ifade etti.
Ocak ayında Substack “Bet On It”te bir blog gönderisinde yazan Caplan, sonbahar ara sınavından ChatGPT’nin 100 üzerinden 31 aldığını, bunun da harf notu olarak D’ye eşdeğer olduğunu belirtti. Caplan, Insider’a botun karşılaştırmalı ve mutlak üstünlükler ilkesi gibi temel kavramları anlamadığını, yanıtlarının da ekonomik olmaktan çok politik olduğunu söyledi. ChatGPT daha önce Wharton Business School’da da sınava girmişti. Profesör Christian Terwiesch chatbot’un basit hesaplamalarda şaşırtıcı hatalar yaptığını söylemişti.
Ancak ChatGPT’ye gelen GPT-4 güncellemesi ile birlikte chatbot’un kaydettiği ilerleme Caplan’ı hayrete düşürdü. ChatGPT aynı ara sınavda 100 üzerinden 73 aldı ve bu harf notu olarak sınıfın en yüksek notu A’ya eşdeğerdi. Caplan chatbot’un, daha önce zorlandığı konular hakkındaki sorulara net cevaplar verdiğini belirtti.
Yorumlar