Bölüm 8

Eşitleme Hatası

Eşitleme denklemleri ile elde edilen eşitlenmiş puanlar genellikle bir miktar hata içerir. Eşitleme sonuçlarında yer alan hatalar rastgele hata ve sistematik hatadır. Bu hatalar eşitleme sürecinde en aza indirilmeye çalışılır.

0.0.2 Eşitlemenin Standart Hatası

Rastgele eşitleme hatası, eşitleme ilişkisinde yer alan parametrelerin (örneğin ortalama, standart sapma, yüzdelik sıralar) örneklem üzerinden tahmin edilmesi sonucunda ortaya çıkar. Rastgele hatalar eşitlemenin standart hatası olarak da adlandırılır (Kolen and Brennan 2014).

Eşitlemenin standart hatası, eşitleme sonucunda elde edilen puan eş değerlerinin yani eşitlenmiş puanların standart hatasıdır. Örneklemdeki eşitleme ilişkisi rastgele eşitleme hatasından dolayı evrendeki ilişkilerden farklıdır. Eğer evrendeki verilerin tamamıyla çalışılabilseydi, eşitleme sonuçlarında rastgele hatalar ortaya çıkmazdı. Bu nedenle yeterince büyük örneklemde çalışıldığında rastgele hatalar ihmal edilecek kadar küçük olabilir. Örneklem sayısı küçük olduğunda ise eşitlemenin standart hatası artar.

Eşitlemenin standart hatası, kavramsal olarak eşitlenmiş puanın standart sapmasıdır. Bir puan için eşitlemenin standart hatası, evrenden çok sayıda örneklem seçilerek yapılan eşitlemeler sonucunda elde edilen eşitlenmiş puanların standart sapması hesaplanarak elde edilir. Örneğin geniş ölçekli bir sınavın X ve Y formunun her biri 5000 öğrenciye uygulanmış olsun. X formundaki 60 puan için eşitlemenin standart hatası aşağıdaki adımlar izlenerek hesaplanır:

  1. X ve Y formunu alan 5000 öğrenciden 1000’er kişilik bir örneklem seçilir.
  2. Seçilen eşitleme yöntemine ve eşitleme desenine göre X formundaki 60 puanın Y’deki eş değer puanı bulunur.
  3. 1. ve 2. adımdaki işlemler çok sayıda tekrarlanır. Böylece X’deki 60 puanın çok sayıda Y’ye eş değer puanı elde edilir. 1. ve 2. adımdaki işlemler 50 kez tekrarlanırsa, 60 puanın 50 tane Y’ye eş değer puanı tahmin edilmiş olur.
  4. X formundaki 60 puanın Y’ye eş değeri olarak tahmin edilen 50 tane puanın standart sapması, 60 puan için eşitlemenin standart hatasıdır.
  5. X formundaki her puan için 1-4. adımdaki işlemler yapılır.

Eşitlemenin standart hatası, hipotetik bir evrenden ya da sınava girenlerin evreni üzerinden yapılan eşitlemelerin standart hatası olarak düşünülür. Bir evrenden çekilen çok sayıda örneklem üzerinde yapılan eşitleme sonucu elde edilen eşitlenmiş puanların standart sapmasıdır. X formundaki bir puanın Y’deki eş değerinin eşitlenme hatası, eşitleme sonucu elde edilen eş değer puan ile beklenen eşdeğer arasındaki fark olarak tanımlanmıştır. Bir \(x_i\) puanı için eşitlemenin standart hatası Eşitlik (8.1) deki gibi tanımlanır.

\[\widehat{{eq}}_y(x_i) - E\left[\widehat{{eq}}_y(x_i)\right]\quad (8.1) \] \(\widehat{{eq}}_y (x_i )\): X formundaki xi puanının Y formundaki eş değeri

\(E[\widehat{{eq}}_y (x_i )]\): Evrenden alınan rastgele örneklemler üzerinden hesaplanan eş değer puanların ortalaması

Eşitleme çok sayıda tekrarlandığında \(\widehat{{eq}}_y (x_i )\)’nin standart sapması, eşitlemenin standart hatasıdır (Kolen & Brennan, 2014).

\[se[\widehat{{eq}}_y (x_i )] =\sqrt(E[\widehat{{(eq)}}_y (x_i )]-E[\widehat{{(eq)}}_y (x_i )])^2 \quad (8.2) \]

Kavramsal olarak eşitlemenin standart hatasını kestirmek için, X formu ve Y formu evrenden rastgele seçilen bir örnekleme uygulanır ve eşitleme yapılır. Evrenden örneklem seçme ve eşitleme süreci çok sayıda tekrarlanır. Her tekrarda eşitleme yapılır ve tekrarlar sonucu elde edilen eş değer puanın standart sapması, eşitlemenin standart hatasını verir.

Eşitlemenin çok sayıda tekrarlanması pratikte mümkün olmadığından eşitlemenin standart hatasını kestirmek için yaygın olarak kullanılan iki yöntem vardır. Yeniden örneklemeye dayanan bootstrap yöntemi ve örneklem istatistikleri ile standart hataların tahmin edildiği denklemlere dayanan analitik yöntemdir. Bu bölümde bootstrap örneklemeye dayanan yöntem açıklanmıştır.

Bootstrap ile Eşitlemenin Standart Hatası

Bootstrap, çeşitli istatistiklerin standart hatalarını tahmin etmek için kullanılan veriye dayalı bir simülasyon yöntemidir (Efron Band Tibshirani 1993). Bootstrap tahmini için mevcut veriden çok sayıda (R tane) rastgele örneklemler yerine koyma yöntemiyle seçilir. Seçilen her bir bootstrap örneklemi için ilgilenilen istatistik hesaplanır. Bootstrap örneklemlerinden hesaplanan R tane istatistiğin standart hatası kestirilir. Standart hatanın kestirimi için bootstrap örneklemenin 25 ila 200 arasında yapılmasının yeterli olduğu önerilmekle birlikte, uygulamada yaygın olarak 1000’e kadar örnekleme seçimi yapılmaktadır (Kolen and Brennan 2014). X ve Y formlarının random grup deseninde sarmal olarak uygulandığını ve eşit yüzdelikli eşitleme ile puanların eşitlendiğini düşünelim. X formunun uygulandığı NX grubu ve Y formunun uygulandığı NY grubu bootstrap örneklemlerinin seçileceği gruplardır. Bir \(x_i\) puanının Form Y için elde edilen eş değeri \(e ̂_Y (x_i)\)’nin standart hatası bootstrap ile aşağıdaki adımlar izlenerek kestirilir:

  1. NX grubundan yerine koyma ile bir bootstrap örneklemi seçilir.

  2. NY grubundan yerine koyma ile bir bootstrap örneklemi seçilir.

  3. Seçilen örneklemlerden Form X, Form Y’ye eşitlenerek \(e ̂_Y (x_i)r\) elde edilir.

  4. 1’den 3’e kadar olan aşamalar R kere tekrar edilir. Böylece xi puanı R tane Y eş değeri, yani \(e ̂_Y (x_i )\) elde edilir.

  5. R tane \(e_y(xi)\) puanının bootstrap standart hatası Eşitlik (8.3) ile kestirilir (Kolen & Brennan, 2014).

\[\widehat{{se}}{\text{boot}}\left[\widehat{{e}}{Y}(x_i)\right] = \sqrt{\frac{\sum_{r}\left[\widehat{{e}}{Y_r}(x_i) - \widehat{{e}}{Y.}(x_i)\right]^2}{(R-1)}} \quad (8.3)\]

\(\widehat{{e}}{_Y.}(x_i) = \frac{\sum{r}\widehat{{e}}_{Y_r}(x_i)}{R}\)

Bu işlem X formundaki tüm puanlara uygulanır. Aynı bootstrap örneklemlerinde X formunun puanları Y’ye eşitlenerek tüm puanlar için eşitlemenin standart hatası elde edilmiş olur.

Eşitlemenin standart hatası için toplam bir değer elde edebilmek amacıyla her puanın hata varyansı, frekans ile çarpılıp toplanır (Kolen & Brennan, 2014).

\[\sqrt{\sum_i f(x_i) \left(\widehat{{se}}\right)^2 \widehat{{e}}_Y(x_i)} \]

Her puanın hata varyansı, puanın frekansıyla çarpılır ve bu işlem tüm puanlar için yapılarak toplanır. Böylece puanların hata varyansları frekanslarına göre ağırlıklandırılmış olur.

Eşitlemede Sistematik Hata

Eşitlemede sistematik hata, eşitleme koşullarının ve varsayımlarının yerine getirilememesi durumunda ortaya çıkar. Eşitlemede sistematik hataya yol açan pek çok kaynak olabilir. Bu nedenle sistematik hataların belirlenmesi standart hatanın belirlenmesine göre daha güçtür.

Sistematik hata, eşitleme koşullarının bir ya da birkaçının karşılanmamasından kaynaklanabileceği gibi, eşitlemede kullanılan desen ve yöntemlerin varsayımlarının bozulmasından da kaynaklanır. Eşitlemede kullanılan denklemlerin simetriklik özelliği taşıması beklenir. Lord’un tanımladığı eşitlik koşulunun karşılanması güç olsa da BSE ve İSE koşulları kontrol edilebilir. Eşitlenecek testlerin aynı yapıda ve eşit güvenirlikte olması koşullarının yerine gelmemesi de sistematik hatayı etkiler. Grup değişmezliği koşulunu kontrol etmek için testi alan gruplardan yanlılık olma olasılığı bulunanlar için (örn. belirgin bir sosyo-ekonomik düzey farklılığı olan gruplar) eşitlemenin tüm grupla aynı sonucu verip vermediği kontrol edilebilir.

Random grup deseninde yapılan sarmal uygulamalarda X ve Y formlarını alan grupların benzerliği sağlanamazsa sistematik hata görülür. Dengelenmiş tek grup deseninde testlerin sırası kontrol edilmezse de sistematik hata ortaya çıkabilir. Örneğin X formunu önce alan öğrenciler Y formunu önce alanlardan sayı ya da bazı özellikleri bakımından farklılık gösterirse eşitleme sonuçları sistematik hata içerebilir. Denk olmayan gruplarda ortak madde deseninde grupların önemli ölçüde birbirinden farklı olması, ortak maddelerin testin tümünü temsil etmemesi, ortak maddelerin X ve Y formlarında farklı sıralarda yer alması ve ortak maddelerle ölçülen özelliklerin bir gruptan diğerine farklılık göstermesi gibi faktörler önemli ölçüde sistematik hataya neden olabilir.

Eşitlemenin standart hatası örneklem büyüklüğünü artırarak düşürülebilir. Çok büyük örneklemlerde standart hata 0’a yaklaşır ancak örneklem büyüklüğünü artırmak sistematik hatayı doğrudan etkilemez. Sistematik hata kaynaklarının hem eşitleme koşullarına göre hem de kullanılan desen ve yönteme göre ayrıntılı olarak incelenmesi gerekir.

References

Efron Band Tibshirani, RJ. 1993. “An Introduction to the Bootstrap.” New York: Chapman; Hall.
Kolen, Michael J, and Robert L Brennan. 2014. Test Equating, Scaling, and Linking: Methods and Practices. Springer.