Bölüm 3
Eşitleme Desenleri
Test eşitleme sürecinde veri toplamak için çeşitli veri toplama desenleri kullanılır. Veri toplama desenleri verilerin toplandığı gruba bağlı olarak değişkenlik gösterirken, eşitleme süreçleri de veri toplama desenlerine göre farklılaşır.
Eşitleme desenleri başlıca beş grupta toplanır (Kolen, 1990; Livingston, Dorans & Wright, 1990; Kolen & Brennan, 2014).
- Random gruplar deseni
- Tek grup deseni
- Dengelenmiş tek grup deseni
- Denk olmayan gruplarda ortak madde deseni
- Denk olmayan gruplarda ortak değişken deseni
Random Gruplar Deseni
Bu desende aynı evrenden geldiği kabul edilen bir grup random olarak ikiye ayrılır. Gruplardan birine X formu, diğerine Y formu uygulanır.
Bu desende öğrenciler gruplara random olarak atanır ve X ve Y formları aynı anda uygulanır. Random gruplar, testlerin sarmal bir şekilde uygulanmasıyla da oluşturulabilir. Formlar, birinci öğrenciye X formu, ikinci öğrenciye Y formu, üçüncü öğrenciye X formu… şeklinde dağıtılır. Bu uygulama grupların random olarak oluşturulmasını ve formlardan alınan puanların karşılaştırılabilmesini sağlar. Örneğin, X ve Y formlarının sarmal olarak uygulanması sonucunda X formundan alınan puanların ortalaması 55, Y formundan alınan puanların ortalaması 50 olsun. Bu durumda X formunun ortalaması Y formundan 5 puan daha fazla olduğundan X formu Y’den daha kolaydır.
Random grup uygulamasının avantajı, sınava giren her öğrencinin sadece bir formu alması ve bir gruba birden fazla formun uygulandığı desenlere göre daha az süre gerektirmesidir. Ayrıca sarmal grup uygulaması ile ikiden fazla test de uygulanabilir. Böylece birden fazla testin aynı anda eşitlenmesi sağlanabilir. Random grup deseninin varsayımları diğer desenlere göre daha az katı ve karşılanması kolay varsayımlardır. Bu nedenle, bu desenle yapılan eşitlemelerde sistematik hata daha az görülür. Random grup uygulamasında her gruba tek bir form uygulandığı için, bu desen büyük örneklem sayıları gerektirir. Uygulama sırasında eşitlenecek formların aynı anda bulunması gereklidir. Bu nedenle random grup deseni, her formun uygulamanın hemen öncesinde hazırlandığı sınavlar için uygun olmaz (Kolen & Brennan, 2014). Bu desen farklı zamanlarda uygulanan sınavlardan çok, bir sınavın farklı formlarının aynı oturumda uygulandığı sınavlar için daha uygun olabilir.
Random grup uygulamasında formların dağıtımı sırasında yanlılık oluşmamasına dikkat edilmelidir. Örneğin, sınav salonunda öğrencilerin oturma düzeni kız-erkek-kız-erkek şeklinde ise erkeklerin hepsine X, kızların hepsine Y formu verilebilir. Bu da eşitleme sonuçlarında yanlılığa yol açabilir.
Tek Grup Deseni
Tek grup deseninde bir gruba hem X hem de Y formu uygulanır.
Bu desende tek gruba X ve Y formu arka arkaya uygulandığından grup etkisi eşitleme sonuçlarını etkilemez. Ancak formların arka arkaya uygulanması yorgunluk etkisine yol açabilir. Gruba önce X formu sonra Y formu uygulandığında, Y formunda grupta yorgunluk etkisi görülebilir. Ayrıca formların uygulama sırası da sonuçları etkileyen bir faktördür. Bunun yanı sıra, formlar eşdeğer olduğundan ikinci sırada uygulanan formda aşinalık etkisi ortaya çıkabilir.
Dengelenmiş Tek Grup Deseni
Tek grup desenindeki sıra etkisini ortadan kaldırmak için dengelenmiş tek grup deseni geliştirilmiştir. Testin uygulanacağı grup random olarak ikiye bölünür ve formlar her gruba farklı sırada uygulanır. Bu desende de X ve Y formları aynı anda uygulanmaktadır.
Bu uygulamada X formu ve Y formunu içeren test kitapçıkları oluşturulur. Kitapçıkların yarısında X formu önce, Y formu sonra yer alırken, diğer yarısında Y formu önce X formu sonra yer alır (Kolen & Brennan, 2014). Kitapçıklar, oturma sırasına göre birinci öğrenciye X formunun önce yer aldığı kitapçık, ikinci öğrenciye Y formunun önce yer aldığı kitapçık, üçüncü öğrenciye X formunun önce yer aldığı kitapçık… olacak şekilde dağıtılır. Bu şekilde yapılan sarmal uygulama, formları farklı sırada alan iki grubun karşılaştırılabilir olmasını sağlar.
Dengelenmiş tek grup deseni ile sıra etkisini kontrol etmek için formların birinci uygulama ve ikinci uygulama sonuçları karşılaştırılır. Formlardan elde edilen ortalamalar uygulama sırasına göre değişmiyorsa sıra etkisi yoktur. Uygulama sırasına göre formlardan elde edilen ortalamaların değişmesi ise sıra etkisi olduğunu gösterir ve eşitleme denklemleri farklılaşır. Bu durumda eşitleme denklemi birinci sırada uygulanan formlardan elde edilebilir. Ancak bu durum da eşitlemede kararsızlığa neden olur ve sınava girenler için zaman kaybına yol açar (Kolen & Brennan, 2014).
Dengelenmiş tek grup deseni, random gruplar desenine göre daha az örneklem büyüklüğü gerektirir. Ancak iki formun aynı anda uygulanması test süresini iki katına çıkartmakta ve cevaplayıcılarda yorgunluk etkisine yol açmaktadır. Eğer sıra ve yorgunluk etkisi kontrol edilebilirse, daha az örneklem büyüklüğü gerektirdiği için dengelenmiş tek grup deseni, random gruplar ve tek grup desenine tercih edilebilir.
Denk Olmayan Gruplarda Ortak Madde Deseni
Test uygulamalarında genellikle testlerin farklı formları aynı anda uygulanmaz. Formlar, farklı zamanlarda farklı öğrencilere uygulanır. Böyle durumlarda teşt eşitleme random grup, tek grup ve dengelenmiş tek grup deseni ile yapılamaz.
Denk olmayan gruplarda ortak madde deseninde, X ve Y formları her gruba farklı zamanlarda uygulanır. X ve Y formlarını alan gruplar denk olmadığı için formlardan alınan puanlar doğrudan karşılaştırılamazlar. Bu nedenle X ve Y formlarında ortak maddeler bulunur.
Bu desen X ve Y formlarının aynı anda uygulanamadığı durumlarda kullanılır. X ve Y formlarını alan gruplar farklıdır, gruplar arası farklılıklar ortak maddeler ile kontrol edilir. Ortak maddelerden alınan puanlar toplam puana dahil edildiğinde iç ortak test olarak adlandırılır. İç ortak test uygulamasında ortak maddeler X ve Y testlerinin içinde yer alır. Ortak maddelerin X ve Y testlerini içerik ve istatistiksel özellikler bakımından temsil etmesi gerekir. Ortak maddeler X ve Y testlerinde aynı sırada yer almalıdır.
Ortak maddelerden alınan puanlar toplam puana dahil edilmediğinde dış ortak test adı verilir. Dış ortak testler genellikle ayrı bir oturumda gruplara uygulanır. Dış ortak testlerin de içerik ve istatistiksel özellikler bakımından X ve Y testlerini temsil etmesi gerekir.
Ortak maddeler grupların karşılaştırılabilmesinde önemli rol oynar. X ve Y formlarındaki ortak maddeler sayı, içerik ve istatistiksel özellikler bakımından benzer olmalıdır. Ortak maddelerin bağlamı eski form ve yeni formda farklılık gösterirse bu durum eşitlemede sorunlara yol açar. Ortak maddelerin her iki formda da aynı işlevi görebilmesi için maddeler formlarda aynı sırada yer almalı, maddelerin seçenek sıralamaları da aynı olmalıdır.
Ortak maddelerin, ana testteki madde sayısının en az %20’si kadar olması ve 20’den az olmaması gerektiği belirtilmektedir (Angoff, 1971). Ortak madde sayısının artması eşitleme hatasını da azaltmaktadır (Yıldırım Seheryeli vd., 2021; Albano & Viber, 2019; Linden & Wiberg, 2010; Fitzpatrick, 2008; Holland, Paul & Dorans, 2006; Kolen & Brennan, 2014). Ortak maddelerin sayısına karar verirken test içeriği de dikkate alınmalıdır. Çok boyutlu bir testteki ortak madde sayısı tek boyutlu bir teste oranla daha fazla olmalıdır. Çünkü ortak testte her boyutu yeterince temsil eden maddeler bulunmalıdır.
Ortak maddelerden alınan puanlar, gruplar arasında rastgele oluşabilen yetenek farklılıklarını ve test formları arasındaki zorluk farklılıklarını ayarlamak için kullanılır. Eski formun, yeni formun ve ortak maddelerin içeriği ve zorluk derecesi hedef kitleye uygun olmalıdır. Ortak test, eski ve yeni test formlarının mini versiyonu olmalıdır (Holland vd., 2006). Yani ortak maddeler eşitlenen testlerle zorluk açısından benzer olmalı ve eşitlenen testlerin içeriğini temsil etmelidir.
Ortak testlerin etkileri kontrol edildikten sonra bile gruplar arasında farklılık gösterebilir. Eğitim programındaki değişiklikler, bir grubun sınava farklı biçimde hazırlanması, soruların açığa çıkması gibi etkiler ortak maddelerin gruplar arasında farklı işlemesine neden olabilir. Bu durumu ortaya çıkarmak için maddelerin güçlükleri karşılaştırılabilir. Klasik madde güçlüğü (\(p_j\)), 0.1’den farklılık gösteren maddeler incelenip farklılıkların nedenleri değerlendirilebilir. Ayrıca ortak maddelerin değişen madde fonksiyonu (DMF) gösterip göstermediği incelenebilir. DMF gösteren maddeler incelenip testte kalmasına ya da testten çıkarılmasına karar verilebilir. Testten çıkarılan maddeler içerik dengesini bozacağından ortak maddelerin sayısı fazla olmalıdır.
Denk olmayan gruplarda ortak madde deseni eşitlemede diğer yöntemlere göre daha fazla tercih edilmektedir. Eşitleme ihtiyacı duyulan testler genellikle farklı zamanlarda yapılmakta ve her oturumda farklı formlar uygulanmaktadır. Tek grup ve dengelenmiş tek grup desenlerinde, iki formun aynı gruba uygulanmasının getirdiği zorluklar bu yöntemde yaşanmamaktadır. Ayrıca grupların denkliği ortak maddelerle sağlandığından, denk gruplar oluşturmaya gerek kalmamaktadır. Ancak yine de gruplar arası farklılıklar arttıkça eşitleme hatası artmaktadır. Denk olmayan gruplarda ortak madde deseni ile eşitlemeyi sağlayan pek çok yöntem olsa da gruplar arası farklılıkların çok büyük olduğu durumlar için eşitleme hatasını azaltan bir yöntem henüz bulunmamaktadır (Kolen & Brennan, 2014).
Denk Olmayan Gruplarda Ortak Değişken Deseni
Denk olmayan gruplar için kullanılan ortak maddeler deseninde bazı problemler ortaya çıkmaktadır. Bunlardan en önemlisi ortak maddelerin her test uygulamasında yer alamamasıdır. Test maddelerinin sınavdan sonra açıklanması veya maddelerin bir sonraki uygulamada ifşa olması bu problemlerin başında gelmektedir. Ortak maddelerin ana testleri temsil etmemesi, çeşitli nedenlerle ortak maddelerde DMF ortaya çıkması da eşitleme sonuçlarında hataya neden olmaktadır. Tek grup ve denk grup desenlerinin uygulamalarında karşılaşılan problemler de eşitleme desenlerinde yeni arayışlara yol açmıştır.
Ortak testlerde görülebilen problemlere alternatif olarak, denk olmayan gruplar için ortak maddeler yerine veya ortak maddelerle birlikte grupları ilişkilendirmek için ortak değişkenlerin kullanılması önerilmiştir (Kolen, 1990; Livingston, Dorans & Wright, 1990).
Ortak değişkenler cinsiyet, sosyo-ekonomik düzey gibi değişkenler olabileceği gibi, okul başarı puanı, derse ilişkin tutum, ilgi vb puanı gibi X ve Y testlerindeki başarı ile ilişkisi olduğu düşünülen değişkenler de olabilir. Ortak değişkenler eğilim puanları (propensity score), vekil değişkenler (surrogate variables) olarak da adlandırılmaktadır.
Ortak değişken deseni ile eşitleme, ortak testlerin olmaması, ortak testlerin eşitlenecek testleri yeterince temsil etmemesi ve gruplar arasındaki farkların büyük olması durumunda kullanılması önerilmektedir. Bu konuda yapılan karşılaştırmalı çalışmalarda ortak değişkenle yapılan eşitlemelerin ortak madde ile yapılanlara benzer ya da biraz daha düşük eşitleme hatasının olduğu gösterilmiştir (Yurtçu vd., 2021; Albano & Wiberg, 2019).