Bölüm 2 Yöntem

2.1 Değişen Çeldirici Fonksiyonu

Çeldirici, çoktan seçmeli maddelerde doğru yanıt dışında kalan seçeneklerdir. Yanlış yanıtların hazırlanmasındaki amaç bireylerin doğru yanıtı bilip bilmediğini ölçmektir. Bu yanıtların yazımı, geçerliği yüksek ve adil bir ölçmenin yapılmasında önemli adımlardan biridir. Çeldiricilerin doğru cevapla ilgili bilgi taşımaması, anlam karmaşasından uzak ve net olması beklenir. Hambleton ve Jirka (2006) çeldiricilerin, çoktan seçmeli maddenin içeriğinde önemli bir bölümü oluşturduğunu ve doğru cevap ile çeldiriciler arasındaki karmaşık ilişkinin bireylerin yanıtlama sürecinde etkili olduğunu belirtmişlerdir. Dolayısıyla etkin bir çeldirici, bireylerin maddeye vereceği yanıtı doğrudan etkilemektedir (Hasançebi vd., 2020). Çeldiriciler alt gruplar için farklı işleyiş gösterdiklerinde, sınava girenleri doğru cevaptan eşit olmayan bir şekilde uzaklaştıracaklardır. Bu sebeple bir test maddesinin adilliğinin sağlanmasında çeldiriciler kritik öneme sahiptir (Deng, 2020). Alagumalai ve Keeves (1999) yaptıkları araştırmada, madde ve test düzeyinde yanlılık incelenmeden önce çeldiricilere yönelik yanlılık araştırmalarının yapılmasını önermişlerdir. Bu araştırmalar, çeldirici etkisi ve bireylerin seçeneklere yönelimi hakkında derinlemesine bilgi sahibi olunmasına yardımcı olmaktadır.

Değişen Çeldirici Fonksiyonu, çeldiricilerin potansiyel olarak yanlılık gösterme durumunu belirlemek ve eğer yanlılık söz konusuysa hangi alt grubun lehine olduğunu tespit etmek için kullanılabilir. Eğer bir maddenin çeldiricileri, cinsiyet veya sosyoekonomik düzey gibi değişkenler açısından farklılık gösteren gruplardan birine avantaj ya da dezavantaj sağlıyorsa DÇF ile çeldiriciler incelenerek yanlılığının nedenleri belirlenebilir. Bir maddedeki hangi yanlış yanıtın seçildiğinin test puanları üzerinde doğrudan bir etkisi olmamasına rağmen DÇF analizleri sayesinde daha detaylı bilgi elde edilir (Abedi vd., 2007). Maddenin seçeneklerinde farklı işleyişlerin araştırılmasına odaklanan DÇF, literatürde değişen seçenek fonksiyonu (differential option functioning - DSF) olarak da adlandırılmaktadır. Çok kategorili maddelerde seçenek analizi DSF terimiyle karşılanırken; özellikle başarı testlerindeki seçeneklerin analizinde çeldiricilerin ön plana çıkması ile DÇF terimi kullanılmıştır (Park & Wu, 2017). Bu çalışmada uygulamanın, bir başarı testindeki çoktan seçmeli maddeler üzerinde gerçekleştirilmiş olması sebebiyle DÇF terimi tercih edilmiştir.

 

2.2 DMF ile DÇF Arasındaki İlişki

Madde düzeyinde olası yanlılığın belirlenmesinde Değişen Madde Fonksiyonu analizlerinden yararlanılır (Zumbo, 1999). DMF belirleme yöntemleri ile belirli gruplara avantaj sağlayan ifadeler, test puanlarının yanlış yorumlanması sonucunda performansın eşit olmayan değerlendirmesi, sınava girenlerin deneyimine göre adil olmayan içerik gibi test çalışmalarında sorun olabilecek faktörler açıklanarak test adaleti ve eşitliği incelenebilmektedir (Brown, 1999; Jalili vd., 2020; Karami, 2011; Kim, 2001; Pae, 2004; Takala & Kaftandjieva, 2000; Walker & Göçer Şahin, 2020).

Değişen Çeldirici Fonksiyonu yanlış yanıtların gruplar arasında değişen seçimini inceler ve yapıyla ilgisiz olan varyansın potansiyel kaynaklarına ışık tutarak gruplar arasındaki olası yanlılığa neden olabilecek yanıtları tespit etmek amacıyla kullanılır (Penfield, 2010). DÇF belirleme yöntemleri ile çoktan seçmeli testlerdeki çeldiricilerin çeşitli gruplar için farklı işleyip işlemediği, test geçerliğini korurken uygun bulunmayan çeldiricilerin çıkarılmasıyla testin düzenlenmesi, gruplar arasında bir maddenin değerlendirmeyi amaçladığı bilgi ve beceriler, öğretim ve öğrenim boşluğu belirlenebilir (Green vd., 1989; Jalili vd., 2020; Middleton & Laitusis, 2007).

Testlerdeki olası yanlılık ve adilliği değerlendiren çalışmalar incelendiğinde, DMF ile DÇF arasındaki ilişkiye dair yapılan araştırmaların oldukça az olması ilgi çekicidir. Bu alandaki araştırmaların birçoğunda sadece DMF gösteren maddeler için DÇF analizlerinin yürütüldüğü (Banks, 2009; Dorans vd., 1992; Penfield, 2010; Schmitt & Bleistein, 1987; Schmitt & Dorans, 1990; Suh & Bolt, 2011; Suh & Talley, 2015; Thissen vd., 1993; Westers & Kelderman, 1991) görülmektedir. İkincil bir analiz olarak kullanılan DÇF ile maddenin DMF gösterme durumunun olası nedenleri için bilgi elde edilmesi amaçlanır. Bunun sebebi sadece doğru seçeneğe odaklanan DMF’nin çeldiricileri dikkate almamasıdır (Deng, 2020). DÇF’nin tüm seçenekleri incelemesi ile daha fazla bilgi vermesinin yanında bir diğer avantajı, çoktan seçmeli maddeleri ölçeklendirirken çok sayıda alt teste ayrılmış sınavlarda genel ölçme değişmezliğine olan duyarlılığıdır. Çoktan seçmeli maddeler için çok sayıda alt testten oluşan modeller altında yetenek kestirimi, tüm yanıt seçeneklerini içerir ve bu nedenle ölçme değişmezliği, tüm yanıt seçeneklerinde dikkate alınır. Bu durumda DÇF etkileri değerlendirilmeden DMF’nin değerlendirilmesinin bir ölçme değişmezliği koşulu oluşturmak için eksik kalabileceği düşüncesini oluşturmaktadır (Penfield, 2008).

DÇF ile DMF’nin ortak bir yönü tek biçimli ve tek biçimli olmayan iki türünün olmasıdır. Tek biçimli DÇF, tüm yetenek düzeylerinde çeldiriciler arasında sabit bir fark gösterirken; tek biçimli olmayan DÇF, bir çeldiricinin farklı yetenek düzeyleri için farklı etkileri olduğunu ifade eder (Tsaousis vd., 2018). Tüm çeldiriciler arasında nispeten sabit bir DÇF etkisinin varlığı, DMF’nin doğru yanıtın özelliklerinden kaynaklandığına dair ipucu verebilir. Sonuç olarak DÇF etkileri sabit olduğunda araştırmacı, içerik incelemesini doğru yanıt seçeneğini hedefleyerek inceleyebilir. Önemli bir DÇF etkisi gösteren yalnızca bir çeldiricinin ortaya çıkması, DMF etkisinin ya belirli bir çeldiricinin özellikleri tarafından ya da çeldirici özellikleri ile madde kökünün içeriği arasındaki olası bir etkileşim tarafından başlatıldığına dair kanıt sağlar (Penfield, 2008) .

Park ve Wu (2017) yaptıkları çalışmada, DMF ile DÇF’nin her zaman aynı bilgiyi sağlamadığını ifade ederek; dört mantıksal önerme ile DMF ve DÇF arasındaki olası ilişkilere dikkat çekmişlerdir. Bu dört mantıksal önerme çerçevesinde, iki analizin farklı bilgiler sağlayabileceği ve DÇF analizinin DMF analizinden bağımsız da ele alınabileceği önerilmiştir. Park ve Wu (2017) tarafından öne sürülen bu dört önerme aşağıda açıklanmıştır.

Birinci mantıksal önerme, DMF oluştuğunda DÇF’nin de oluşacağı yönündedir. Doğru yanıtı seçme olasılıkları gruplar arasında farklı olduğunda kalan tüm seçeneklerin de gruplar arasında aynı olasılıkla seçilmesi imkansızdır. Aslında DMF’nin nedenlerinin belirlenmesi için DÇF’yi ikincil analiz olarak ele alan çalışmalarda ölçüt alınan önerme budur. Bu önerme ile DMF çalışmalarının olası yanlılık için genel bir değerlendirmede bulunduğu ancak hangi seçeneğin DÇF gösterdiğini tespit edemeyeceği ifade edilebilir.

İkinci mantıksal önermede DÇF oluşursa DMF’nin de oluşacağı ifade edilmiştir. DÇF oluştuğunda çeldiricilerin seçilme olasılığı iki grup arasında farklılaşmasına rağmen doğru seçeneğin seçilme olasılıkları benzerlik gösterebilir. Bu durumda DÇF’nin varlığı, DMF’nin olduğuna dair yeterli kanıtı sağlayamadığından bu önerme yanlıştır.

Üçüncü mantıksal önerme, DÇF oluşmazsa DMF’nin de oluşmayacağı yönündedir. Eğer çeldiriciler DÇF göstermezse iki grup arasındaki olasılıkların tümü eşit olacağından doğru yanıt için DMF’nin ortaya çıkmayacağı ifade edilmiştir. Doğruluğu savunulan bu önerme sonucunda, DMF’nin bulunmadığına dair kanıtın DÇF çalışmaları ile elde edilebileceği söylenebilir.

Dördüncü mantıksal önermede DMF oluşmazsa DÇF’nin de oluşmayacağı ifade edilmiştir. DMF oluşmadığında yalnızca doğru seçeneğin seçilme olasılıkları iki grup arasında eşit olacağından, diğer seçeneklerdeki yanıtlama olasılıkları yine de değişebilmektedir. Bu durumda grupların çeldirici seçimlerinin farklı olasılıklar göstermesi DÇF’yi oluşturabilir. DMF’nin bulunmaması, DÇF’nin de olmadığını göstermez.

Sonuç olarak, DMF analizi ile hangi seçeneğin DÇF gösterdiği tespit edilemeyeceği gibi DMF’nin olmaması her durumda DÇF’nin olmadığını garanti etmeyecektir. DÇF çalışmalarıyla da DMF’ye yeterince kanıt sağlanamaz ancak DÇF analizi DMF’nin olmadığını ortaya koymak için kullanılabilir. İlerleyen bölümlerde uygulaması gösterilen DÇF analizi, bu önermelere dayalı olarak DMF analizinden bağımsız ele alınmıştır.

 

2.3 DÇF Belirleme Yöntemleri

1980’li yıllardan günümüze kadar yapılan çalışmalarda DÇF analizi için farklı yöntemler önerildiği görülmektedir. Bu alanda yapılan ilk çalışmalardan biri Veale ve Foreman (1983) tarafından kültürel farklılıkları bulunan katılımcıların yöneldikleri yanlış seçeneklerin karşılaştırılmasıyla yapılmıştır. Sonraki yıllarda, cinsiyet ve özel gereksinim gibi çeşitli değişkenlerin kullanılmasıyla çoktan seçmeli maddelerdeki çeldiricilerin farklı çekiciliğe sahip olup olmadıklarını belirlemek amacıyla çeldiricileri log-lineer modelle inceleyen çalışmalar (Banks, 2006; Barton ve Huynh, 2003; Green ve diğerleri, 1989; Marshall, 1983) olduğu gibi Dorans ve diğerleri (1990) tarafından önerilen standardizasyon yaklaşımını kullanan araştırmalar (Middleton ve Laitusis, 2007; Schmitt ve Bleistein, 1987; Schmitt ve Dorans, 1990) da yapılmıştır. Ayrıca, Dorans ve diğerlerinin (1992) doğru veya atlanmış seçenekler de dahil olmak üzere tüm yanıtları değerlendirmek için kapsamlı değişen madde fonksiyonu terimini kullandıkları bir çalışmanın olduğunu da ifade etmek gerekir.

Önerilen bu yöntemlerden sonra çeldiriciler, madde tepki kuramı çerçevesinde değerlendirilmeye de başlanmıştır. Grup farklılığını olabilirlik oranı testiyle değerlendiren Thissen ve arkadaşları (1993), seçeneklerdeki farklı işleyişe dikkat çekerek yanıt eğrilerini karşılaştırmışlardır. Penfield (2008; 2010) ise yaptığı çalışmalarda modifiye edilmiş adlandırmalı tepki modeline dayanan bir olabilirlik oranı yaklaşımı önermiştir. Daha sonra Bolt ve diğerleri (2011) çeldiricileri, adlandırmalı (nominal) tepki modeli ile Suh ve Bolt (2011) ise iç içe geçmiş bir logit model ile analiz etmeyi önermişlerdir. Madde tepki kuramına dayalı bu yöntemler ile eş zamanlı olarak lojistik regresyona dayalı yöntemler de kullanılmaya başlanmıştır. Abedi ve arkadaşları (2008), lojistik regresyonu sadece yanlış yanıtları incelemek amacıyla kullanırken bağımlı değişkeni iki kategorili olarak belirleyip en çok tercih edilen çeldirici ile daha az tercih edilmiş çeldiriciler olmak üzere 2 gruba ayırarak analizleri gerçekleştirilmişlerdir. Bu yöntemin sınırlılığı, her bir çeldirici düzeyinde bilgi vermemesidir. Bu sınırlamanın aşılması için Kato ve arkadaşları (2009) tarafından tüm seçeneklerin farklı işleyişini analiz etmek amacıyla çok kategorili lojistik regresyon modeli önerilmiştir. Doğru yanıta karşı tüm çeldiricilerin incelendiği ve seçeneklerin tamamını analize dahil eden bu lojistik regresyon yönteminde, karakteristik eğrilerinin en büyük ortalama mutlak farkı hem DMF hem de DÇF belirleme kanıtı olarak sunulmuştur. Son olarak Suh ve Talley (2015) tarafından yapılan çalışmada log-lineer analiz ve madde tepki kuramına dayalı farklı DÇF belirleme yöntemleri karşılaştırılmıştır.

DÇF analizlerinde seçenekleri ölçme değişmezliği kapsamında ele alan çalışmaların mevcut olduğunu da belirtmek gerekir (Abedi ve diğerleri, 2008; Banks, 2006; Barton ve Huynh, 2003; Green ve diğerleri, 1989; Kato ve diğerleri, 2009). Bu çalışmalarda, alt gruplarda benzer yetenek düzeyinde olan bireylerin seçimlerinin çeldiricilerde aynı şekilde işleyip işlemediğini incelemek amacıyla DÇF’nin kullanıldığı ifade edilebilir. DÇF yöntemlerini, farklı alt grupların maddeleri nasıl algıladıkları ile ilgili bilişsel süreci ve bir çeldiricinin belirli grupları nasıl çektiğini veya ittiğini belirlemek amacıyla kullanan çalışmalar da olmuştur (Bolt ve diğerleri, 2001; Marshall, 1983; Middleton ve Laitusis, 2007; Penfield, 2008; Veale ve Foreman, 1983). Ancak bu yöntemlerin uygulanmasında ve erişilebilirliğinde çeşitli zorluklar olduğunu da belirtmek gerekir. Güçlüklerden biri, ihmal edilebilir DÇF düzeyinde netlik olmaması nedeniyle bulguların yorumlanması ile ilgili karışıklıkların ortaya çıkmasıdır.

 

2.3.1 Çok Kategorili Lojistik Regresyon ile DÇF Analizi

Bağımlı değişken ikiden fazla kategori içerdiğinde ve bu kategoriler sıralı olmadığında çok kategorili lojistik regresyon yöntemi kullanılır. Bu yöntem DÇF’nin belirlenmesi için kullanıldığında j seçenekli (bağımlı değişken) bir maddenin analizi, j-1 adet ikili lojistik regresyon seti olarak ele alınır ve bu durumda doğru yanıt ile çeldiricilerin her biri sırasıyla karşılaştırılır. DÇF’nin istatistiksel çıkarımları, çok kategorili lojistik regresyon analizinde kurulan üç modelin sonuçlarına dayalı olarak iki aşamada belirlenir. Birinci aşamada, tek biçimli veya tek biçimli olmayan DÇF gösteren maddelere karar verilirken ikinci aşamada, bu maddelerin çeldiricileri ayrı ayrı incelenir.

İlk aşamada DÇF’nin belirlenmesi, log olabilirlik oranı testiyle gerçekleştirilir. Her bir olabilirlik oranı testi, iki yuvalanmış model arasındaki -2log olabilirlik (-2LL) farkını değerlendirir. İlk test, ikinci ve üçüncü model arasındaki -2LL farkı ile tek biçimli olmayan DÇF’yi; ikinci test, birinci ve ikinci model arasındaki -2LL farkı ile tek biçimli DÇF’yi belirler. Birinci ve ikinci olabilirlik oranı testleri birlikte değerlendirilerek madde hakkında üç çıkarımda bulunulur. İlk test anlamlıysa en az bir seçeneğin tek biçimli olmayan DÇF; ikinci test anlamlıyken birinci test anlamlı değilse en az bir seçeneğin tek biçimli DÇF gösterdiği belirlenir. Her iki test de istatistiksel olarak anlamlı değilse DÇF’nin olmadığı yönündeki son çıkarım yapılabilir. Buna göre, ilk aşamada maddenin tek biçimli olmayan DÇF gösterdiği belirlendiğinde üçüncü modelin; maddenin tek biçimli DÇF gösterdiği belirlendiğinde ise ikinci modelin yorumlanmasına karar verilir. DÇF gösteren maddeler için ikinci aşamada, gruplar arasında çeldirici seçimlerinin nasıl farklılaştığı incelenir. DÇF çalışmalarında genelde odak ve referans olmak üzere iki grup belirlenir. Belirlenen grup değişkeni ve grup değişkeniyle kalan puan etkileşimi için kestirilen regresyon katsayıları istatistiksel anlamlılık açısından değerlendirilirken Wald 𝜒2 testi kullanılır (Park ve Wu, 2017). Şekil 1’de çok kategorili lojistik regresyon yöntemi ile DÇF analizinin aşamaları kısaca özetlenmiştir.

 

Şekil 1

Çok Kategorili Lojistik Regresyon ile DÇF Belirleme Yönteminin Aşamaları

Çok kategorili lojistik regresyon ile DÇF analizinde kurulan üç modelden ilki temel model olarak da adlandırılır. Temel modelde kalan toplam puan (T); ikinci modelde grup değişkeni (G) ve üçüncü modelde ise ilk iki modeldeki bağımsız değişkenlerin etkileşimi (T*G) modele dahil edilir (Park ve Wu, 2017). Aşağıda, ilk modele ilişkin denklem yer almaktadır.

  • j = 1 … J seçenekleri,

  • k, referans kategoriyi (örneğin, doğru yanıt),

  • T, kalan toplam puanı (DÇF için incelenen maddenin puanı hariç tutularak geriye kalan madde puanlarının toplamı),

  • G, grup değişkenini,

  • T*G, kalan toplam puan ile grup değişkeni arasındaki etkileşimi gösterir.

Yukarıdaki denklemin sol tarafında, her bir çeldiricinin seçiminin doğru yanıt olan k seçeneğini seçmeye kıyasla logitleri (dolayısıyla olasılıkları) karşılaştırılır ve bu, denklemin sağ tarafındaki yordayıcının doğrusal bir fonksiyonu olarak modellenir. Bu durum diğer iki modele ait denklemler için de geçerlidir.

İlk modele ek olarak ikinci modelin kurulmasındaki amaç tek biçimli DÇF olup olmadığını belirlemektir. Tek biçimli DÇF, çeldirici seçimi üzerinde grupların etkisinin logitte sabit bir kayma göstermesi ile belirlenir. Bu sabit kaymaya karşılık gelen ikinci modeldeki b2 regresyon katsayısı, istatistiksel anlamlılık açısından Wald 𝜒2 testi ile değerlendirilir. İkinci model için iki çıkarımda bulunulabilir. Bunlardan ilki, eğer b2 katsayısı anlamlıysa tek biçimli DÇF olduğu; ikincisi, eğer bu katsayı anlamlı değilse grupların çeldirici seçimleri arasında farklılık olmadığı şeklindedir. Bu katsayısının anlamlı olmadığı durumda üçüncü modeldeki regresyon katsayılarının istatistiksel olarak test edilmesine ve raporlanmasına gerek olmadığına dikkat edilmelidir (Park ve Wu, 2017).

Üçüncü modelin kurulmasındaki amaç tek biçimli olmayan DÇF’nin belirlenmesidir. Tek biçimli olmayan DÇF için grup değişkeninin (G) genel etkisi b2 ile kalan yetenek puanı ve grup etkileşimi (T*G) ise b3 ile gösterilir. Bu aşamada tek biçimli olmayan DÇF belirlenirse, her bir yetenek düzeyinde ayrı yorum yapılması gerekmektedir (Park ve Wu, 2017).

Sonuç olarak üçüncü model ile üç çıkarımda bulunulabilir. Eğer, b3 regresyon katsayısı istatistiksel olarak anlamlıysa, j seçeneği tek biçimli olmayan DÇF gösteriyor olarak değerlendirilir. Bu katsayı istatistiksel olarak anlamlı değilken b2 regresyon katsayısı anlamlı ise tek biçimli DÇF tespit edilir. Son olarak, b2 veya b3 katsayılarının her ikisi de istatistiksel olarak anlamlı değilse, j seçeneğinin gruplar arasında farklı işleyişe sahip olmadığına diğer bir ifadeyle DÇF göstermediğine karar verilir. Bu durumda ikinci modeldeki regresyon katsayılarının istatistiksel olarak test edilmesine ve raporlanmasına gerek olmadığına dikkat edilmelidir (Park ve Wu, 2017).

 

2.3.1.1 Etki Büyüklüğü

DÇF belirlenirken etki büyüklüğünün ölçüsü olarak odds oranını kullanan araştırmalar bulunmaktadır (Abedi vd., 2008; Banks, 2006, 2009; Penfield, 2008, 2010). Odak grubu referans grubuyla karşılaştıran doğru yanıtın seçilmesinin olabilirlik oranı, DÇF için bir etki büyüklüğü olarak raporlanır. İki grup arasında odds oranlarının eşit olması DÇF olmadığının bir göstergesidir. Gruplar arasındaki farkın yönü ve büyüklüğü logit formundaki toplam puanın sürekliliği için sabit olduğunda ise madde tek biçimli DÇF göstereceğinden odds oranı sabit bir büyüklük olarak yorumlanır. Gruplar arasındaki farkın yönü ve büyüklüğü logit formundaki toplam puanın her düzeyinde değişkenlik gösterdiğinde madde tek biçimli olmayan DÇF göstereceğinden odds oranı toplam puanın her seviyesinde yorumlanmalıdır (Park ve Wu, 2017). DÇF’nin ihmal edilebilir, orta veya yüksek düzeyde olduğu yorumlanırken Ferguson’un (2009) olabilirlik oranı için 2, 3 ve 4 kesme noktaları kullanılır (Ferguson, 2009).