TIMSS 2023: Bu sonuçları nasıl yorumlamak gerekiyor?

Uluslararası Eğitim Başarılarını Değerlendirme Kuruluşu (IEA) tarafından 4 yılda bir düzenlenen TIMSS (Uluslararası Matematik ve Fen Eğilimleri Araştırması), 4. ve 8. sınıf öğrencilerinin matematik ve fen bilimleri alanlarındaki başarılarını değerlendiriyor. Son olarak geçtiğimiz günlerde 2023 raporu yayımlandı. Buna göre Türkiye, inanılmaz bir başarı örneği gösterdi. 4. sınıf düzeyindeki fen bilimleri başarısında, Singapur, Çin ve Güney Kore’nin ardından dördüncü sıraya yerleşti. OECD ülkeleri arasında 2'nci, ortalama puanıyla Avrupa ülkeleri arasında birinci oldu.

Peki bu sonuçlar bize ne anlatıyor? Ulusal sınavlarla hatta 4 ve 8’lerin yeterliliklerini değerlendiren ABİDE sonuçlarıyla da uyuşmuyor. İşte TIMSS 2023 değerlendirmesini pervinkaplancom için Hacettepe Üniversitesi Eğitim Fakültesi öğretim üyesi Prof. Dr. Selahattin Gelbal yaptı. Gelbal’ın değerlendirmesi şöyle:

RUTİN OLARAK KATILIYORUZ

Ülkemiz uluslararası yapılan başarı izleme değerlendirme çalışmalarına ilk birkaçı dışındakiler hariç sonrakilere rutin olarak katılmaktadır. Üçer yıllık aralarlar yapılmakta olan PISA projesinde 15 yaş grubu öğrencilerinin matematik, fen ve okuduğunu anlama becerileri yoklanmaya başlanmıştır.  İlki 2000 yılında olan PISA projesine ülkemiz 2003 yılından itibaren katılmaya başlamıştır.

TIMSS 4. ve 8. sınıf öğrencilerinin dörder yıllık periyotlardaki fen ve matematik becerilerinin izlenmesine yönelik olarak 1995 yılında uygulanmaya başlanmıştır. Ülkemiz bu uygulamaya ilk 1999 yılında sekizinci sınıf düzeyinde katılmıştır. Düzenli olarak 2011 yılından itibaren her iki sınıf düzeyinde katılmaya başlamıştır.

Uygulamalardan elde edilen sonuçlar ülkelerin eğitim politikalarının gözden geçirilmesine yönelik ipuçları vermesi açısından oldukça önemlilik arz etmektedir. Katılımcı ülkeler ilk başlarda sadece OECD ülkeleri kapsamında olmakla birlikte son uygulamalara OECD dışındaki ülkelerin de katılımıyla katılımcı ülke sayısı artmıştır. Katılan ülkelerin ortalama yeterlilik puanlarına göre sıralanarak verilmesi, ülkelerin yeterliliği ve yetersizliği hakkında bilgiler vermekle birlikte esas amaç ülkeleri birbirleri ile karşılaştırmak değildir. Önemli olan ölçülen alanlarla ilgili olarak öğrenci yeterliliklerinin ne düzeyde olduğuna yönelik bilgilerdir.

ÇARPICI SONUÇLAR VAR

TIMSS’in açıklanan 2023 raporu doğrultusunda çok çarpıcı sonuçlar olduğu görülmektedir. Özellikle 2011 yılından itibaren ülkemizin rutin olarak katıldığı TIMSS sınavı sonuçlarının karşılaştırılması önemli bilgiler vermektedir. 2011 yılında gerek sıralama ve gerekse yeterlilik düzeylerindeki öğrenci oranları açısından pek iç açıcı sonuçlar vermediği, 2019 ve 2023 uygulamalarına doğru gelindikçe sıralamada ve yeterlilik düzeylerindeki öğrenci oranlarında adeta bir sıçrama olduğu görülmektedir. Bu durum ülke eğitimi açısından oldukça olumlu sonuçlar yansıttığı anlamına gelebilir.

BAŞARININ NEDENLERİNE ODAKLANMA

Genellikle bir rapor açıklandığında önemli görülen başarısızlık oranlarının nedenlerinin ne olacağı üzerinde çokça yorumlar yapılırken son TIMSS uygulamalarında başarının nedenleri üzerine bir odaklanma olduğu görülmektedir. Bu ise insanları “2019 yılından itibaren ne oldu da başarı beklenmedik şekilde artışa neden oldu?” sorusunun cevabını aramaya yönlendirmektedir. Bunun en önemli nedenlerinden birinin uluslararası yapılan sınavlara eskiden yeterince önem verilmiyordu. Son yıllarda Ölçme Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğünün kurulmasıyla (2014) birlikte alan uzmanlarının bu sınavların uygulamasında ve sürecin yönetilmesinde iş başına geçmeleri verilen önemi göstermektedir. Sınava dahil edilen öğrencilerin kendileri için önemli olmayan bu sınavlara gerekli özeni göstermemeleri de geçmişte yaşanan sorunlar arasında gösterilebilir. Sınav örneklemine dahil edilen öğrencilerin ön hazırlık anlamında sınav güdülenmelerinin sağlanmış olması önemli kazançlar sağlamıştır.

PISA İLE BENZERLİK GÖSTERMİYOR

Ülkemiz uluslararası sınavlara farklı projelerde de katılmaktadır. Bunlardan PISA 15 yaş grubunu kapsamaktadır. Bu sınavlara da son yıllarda ülkemiz hep katılmaktadır. Bu sınavdaki gerek sıralama ve gerekse yeterlilik düzeylerindeki öğrenci oranları son iki uygulamadaki TIMSS ile hiç benzerlik göstermemektedir.

ABİDE İLE DE UYUŞMUYOR

Yerelde yapılan ABİDE raporu da dördüncü ve sekizinci sınıfların öğrenme düzeylerini izleye yöneliktir. Bu sınavlardaki yeterlilik düzeylerinin de TIMSS uygulaması ile paralel sonuçları vermediği görülmektedir. Ulusal düzeyde yapılan liselere ve üniversitelere giriş sınavları her ne kadar bir seçme sınavı da olsa, fen ve matematik testlerindeki ortalama doğru cevap sayıları TIMSS uygulamasındaki sonuçlar ile benzerlik göstermemektedir.

Yakın tarihe baktığımızda ne değişiklikler olduğuna bakalım. 2019 uygulamasının bir yıl sonrasında yaşanan COVID-19 salgını oldu. Bu salgın sanırım ülkelerin performansına önemli katkı getirmeyeceğini herkes bilir. Eğitim öğretime ara verildi. Uzaktan eğitim ile sürdürülen süreçlerde yüz yüze eğitimi çok arar olduk. Eğitim olanakları açısından dezavantajlı bölgelerdeki çocukların eğitime erişimleri de yoktu. Öğrencilerin eğitime aktif katılımları oldukça düştü. Sayılabilecek bir sürü eğitim engeli gösterilebilir. Bu engellerin hiç birinin eğitime olumlu katkı getirmesi beklenemez, hatta çok fazla olumsuz katkısı olabilmektedir. Salgın dönemindeki eğitim süreçleri olumlu bir etki yapmadığı kabul edildiğinde başka bir şeyler olmalı.

OLUMLU NE OLDU?

Acaba matematik ve fendeki başarıyı artırmada başka ne gibi bir değişiklik etkili olmuş olabilir? Ülke bütçesinde eskiye göre eğitime daha fazla oranda bir artış mı yapıldı? Okul sayıları artırılarak sınıflardaki öğrenci sayıları mı düşürülürdü? Ücret politikalarında artış yapıldı da öğretmenler eskiye göre daha mı çok çaba sarf etti? Öğrencilerin eğitime ilgisi mi arttı? Yeni bir müfredat uygulanıyor da bunun bir etkisi mi oldu? Bu gibi sorular sorulabilir. Sorulan her bir soru için cevabın olumlu olmadığı bilinen bir gerçektir.

5’LER KATILMAYA BAŞLADI

Başka ne gibi değişiklikler olduğunu incelemeye devam edelim. Tüm katılımcı ülkelerden birkaçında 2019 TIMSS uygulamasına dördüncü sınıf yerine beşinci sınıf öğrencileri alınmıştır. Gerekçesi de yaş ortalamasının diğer katılımcı ülkeler açısından daha düşük olması gösterilmiş ve uygulamayı yapan eğitim derneğinin onayıyla kabul edilmiştir. TIMSS yaş grubuna ait bir değerlendirme değiş dördüncü ve sekizinci sınıflar düzeyinde bir değerlendirme yapmaktadır. Bu durumun sıralamada ve yeterlilik düzeylerinde özellikle dördüncü sınıflarda bir fark yarattığı görülmektedir. Dördüncü sınıflarda görülen farkın nedeni diyelim beşinci sınıfların alınmasından kaynaklandığı şeklinde yapılan açıklamalara cevap olarak sekizinci sınıflarda da önemli artışların olduğu şeklinde verilebilir.

DEPREMDEN ETKİLENEN İLLER YOK

Bu durumda başka ne gibi bir değişiklik olduğu sorusu akla geliyor. TIMSS 2023 uygulaması yapılmadan önce ülkemizde yaşanan 6 Şubat 2023 sabahı yaşanan felaket nedeniyle ülkemizin güney, güney doğu ve doğu bölgelerindeki dokuz (sonradan Elazığ da bu illere katılmıştır) ilde eğitim öğretime ara verilmek zorunda kalındı. Bu illerdeki öğrencilere TIMSS uygulaması yapmak mümkün değildi; doğru da olmayacaktı. Türkiye örnekleminden depremde etkilenen illerin çıkartılması 2019 yılı uygulamasına göre görülen farklılığın bir nedeni olarak gösterilebilir. Ancak 2019 TIMSS uygulamasından itibaren görülen artışların nedeni bu saydıklarımızın dışında başka bir şeyler olmalıdır.

ÖRNEKLEM NASIL ALINDI?

TIMSS-2023 raporu incelendiğinde örneklemin nasıl alındığı sorusuna cevap aradım. Raporda iki aşamalı tabakalı örnekleme yöntemi kullanıldığı belirtilmektedir. Tabakalı örnekleme evrendeki her tabakanın örneklemde temsil yeterliliği açısından önemli bir yöntemdir. Tabakalı örneklemenin ilk aşaması rapordan çok iyi anlaşılmamakla birlikte NUT’ın gelişmişlik düzeylerine göre belirlediği 12 bölge olduğu ikinci tabakanın da özel-devlet okulları olduğu anlaşılmaktadır. Ayrıca örneklem seçiminde eleman değil küme örnekleminin seçildiği de rapor edilmiştir. PISA uygulamasında bir sınıftaki hangi öğrencilerin örnekleme dahil olduğu belirtilirken TIMSS uygulamasında örnekleme giren okullardaki dört ve sekizinci sınıflardaki sınıfın tamamı alınmaktadır. Seçkisiz örneklemede evrendeki tüm objelerin örnekleme girme olasılıklarının eşit olması gerekir. Küme örneklemede okuldaki hangi şubelere uygulama yapılacağının tamamen seçkisiz olması gerekir. Bu seçkisizliğe yönelik ne bir bilgi ne bir örnekleme yöntemi açıklanmamaktadır. Uygulama yapılan şubelerin örnekleme seçim ölçütlerinin yerele bırakılmış olma olasılığı en büyük neden olarak gösterilebilir. Örneklem seçimin yansız bir şekilde yapılması gerçeği yansıtması açısından önemli bir göstergedir.

Prof. Dr. Selahattin Gelbal