Bölüm 3 Uygulama

3.1 Veri Seti

Kitapta uygulaması gösterilecek olan DÇF analizinin istatistiksel sürecinde çok kategorili lojistik regresyon yöntemi kullanılmıştır. Bu uygulamada, madde ve çeldiricilerin her biri ayrı ayrı ele alınarak seçeneklerin tümü hakkında bilgi edinilmesi amaçlanmıştır. Çeldiricilerin olası yanlılık gösterme durumları belirlenirken önceki bölümde açıklanan iki aşamalı süreçten yararlanılmıştır.

Veri seti, TIMSS 2019 döngüsüne bilgisayar tabanlı (eTIMSS) olarak katılan ülkelerden beşindeki (Şili, Malezya, Katar, Birleşik Arap Emirlikleri, Türkiye) 8. Sınıf öğrencilerinin; Fen Bilimleri alanında yer alan SE04 kodlu bloktaki çoktan seçmeli 19 maddeye verdikleri yanıtları içermektedir. Aşağıda yer alan Tablo 1’de bu maddeleri kısaca tanıtmak için kodu, ait olduğu içerik ve konu alanı, etiketi ve her maddenin sahip olduğu seçenek sayısı ile doğru yanıtına yer verilmiştir. Maddelerin özellikleri incelendiğinde üç farklı içerik alanına ait oldukları ve seçenek sayılarının üç ile altı arasında değiştiği görülmektedir.

 

Tablo 1

SE04 Bloğunda Yer Alan 19 Maddenin Özellikleri

Seçeneklerin DÇF gösterme durumları cinsiyet değişkenine göre inceleneceğinden öğrencilerin ülkelere göre cinsiyet dağılımları Tablo 2’de verilmiştir. Buna göre veri setinde bulunan bireylerin ülkelere göre dağılımları incelendiğinde, yarısından fazlasını Birleşik Arap Emirliklerindeki öğrencilerin; %10’unu ise Türkiye’deki öğrencilerin oluşturduğu görülmüştür. Cinsiyet grupları arasında ise dengeli bir dağılım bulunmaktadır.

 

Tablo 2

Verilerin Ülkelere ve Cinsiyete göre Dağılımı

3.2 Uygulama Adımları

Bu bölümde öncelikle, SPSS 27 programında çok kategorili lojistik regresyon analizinin DÇF bağlamında uygulama adımlarına yer verilmiştir. Uygulama öncesinde, bağımsız değişken (cinsiyet; ITSEX), her maddeye verilen yanıtlar (SE72002 – SE72363) ve sırayla her bir madde hariç tutularak kalan maddelerden bireylerin aldığı toplam puanlar (RT1 – RT19) veri setinde yer almalıdır. Analizin ilk adımı Şekil 2’de sunulmuştur. Bu adımda sırasıyla Analyze > Regression > Multinomial Logistic menüleri takip edilir. 

 

Şekil 2

Çok Kategorili Lojistik Regresyon Uygulaması Adım 1

Şekil 3’te verilen bir sonraki adımda, Multinomial Logistic Regression penceresinde analiz edilecek madde (örneğin, SE72002) Dependent bölümüne atılıp Reference Category kısmında maddenin doğru yanıtını temsil eden kategori (bu madde için D seçeneğini temsil eden 4 nolu kategori) Custom ile belirlenir. Continue tıklanarak bir sonraki adıma geçilir.

 

Şekil 3

Çok Kategorili Lojistik Regresyon Uygulaması Adım 2

Üçüncü adımda (Şekil 4) Factor bölümüne, analiz edilecek madde hariç tutularak diğer maddelere verilen yanıtların kalan toplam puanı (ilk madde için RT1) dahil edilir. Her madde için yapılacak analizlerde o madde hariç tutularak hesaplanan kalan toplam puan kullanılır. Kalan toplam puan değişkeni her madde için analiz öncesinde hazırlanmalıdır. Bu durumda madde sayısı kadar kalan toplam bulunması gerektiğine dikkat edilmelidir. 

 

Şekil 4

Çok Kategorili Lojistik Regresyon Uygulaması Adım 3

Yukarıda verilen Şekil 4’te OK tıklanarak çok kategorili lojistik regresyon için ilk model oluşturulur. Ardından, ikinci modelin kurulması için Şekil 2’de verilen ilk adım tekrarlanır. Açılan Multinomial Logistic Regression penceresinde ilk modele ek olarak cinsiyet değişkeni (Sex of Student; ITSEX) Covariate(s) kısmına dahil edilerek OK tıklanır. İkinci modelin oluşturulduğu bu aşama Şekil 5’te sunulmuştur.

  

Şekil 5

Çok Kategorili Lojistik Regresyon Uygulaması Adım 4

İkinci modelin ardından kurulacak son model için Şekil 2’de verilen ilk adım tekrarlanarak Multinomial Logistic Regression penceresi açılır. Üçüncü modelde, ikinci modele ek olarak cinsiyet ve kalan toplam puanın etkileşimi dahil edilir. Şekil 6’da verilen bu aşamada sağ tarafta yer alan Model tıklanarak açılan pencerede Custom/Stepwise bölümü seçilir. Bu kısımda, birinci madde için kalan toplam puan (RT1) ve cinsiyet (ITSEX) değişkenleri birlikte seçilerek etkileşim (Interaction) terimi modele eklenir. Continue ve OK tıklanarak son model kurulur. Böylece ilk madde için kurulan üç model ile çok kategorili lojistik regresyon analizi gerçekleştirilerek bu maddeye ilişkin DÇF analizi tamamlanır. Diğer maddeler için de sırayla aynı adımlar takip edilir. 

  

Şekil 6

Çok Kategorili Lojistik Regresyon Uygulaması Adım 5

Tüm maddeler için DÇF analizinin tamamlanmasının ardından, maddenin DÇF göstermemesi, tek biçimli ve tek biçimli olmayan DÇF gösterme durumları için birer örnek aşağıda sunulmuştur. Uygulamada kullanılan TIMMS veri seti üzerinde beklenen düzeyde DÇF çıkmamış olmasına rağmen örnek gösterebilmek için belirli yetenek düzeyleri dikkate alınarak çıktıların yorumlarına yer verilmiştir.  

 

3.2.1 Örnek 1. DÇF Olmayan Madde: 13. Madde

Aşağıda sonuçlarına yer verilen 13. maddenin analizine, DÇF göstermeyen maddeye örnek gösterebilmek amacıyla kalan toplam puanı 14’ten büyük olan bireyler dahil edilmiştir. Şekil 7’de verilen olabilirlik oranı testleri incelendiğinde birinci model için -2LL = 30.090 ve p = .082, ikincisine ilişkin -2LL = 42.007 ve p = .31, üçüncü modelde ise -2LL = 50.271 ve p = .083 değerleri elde edilmiştir. Şekil 1’de verilen Aşama-1’e göre kurulan üç model için olabilirlik oranı testleri karşılaştırıldığında, istatistiksel olarak anlamlı bir farklılık gözlenmediğinden bu maddede DÇF olmadığı sonucuna ulaşılmıştır. Maddenin DÇF göstermemesi nedeniyle de Aşama-2’ye geçilmemiştir. 

 

Şekil 7 

13. Maddeye İlişkin Olabilirlik Oranı Testi Sonuçları

 

3.2.2 Örnek 2. Tek Biçimli DÇF Gösteren Madde: 19. Madde  

Aşağıda sonuçlarına yer verilen 19. maddenin analizine, tek biçimli DÇF’ye örnek gösterebilmek amacıyla kalan toplam puanı 9, 10 ve 11 olan bireyler dahil edilmiştir. Şekil 8’de verilen olabilirlik oranı testleri incelendiğinde birinci model için -2LL = 60.324 ve p = .215, ikincisine ilişkin -2LL = 111.060 ve p = .027, üçüncü modelde ise -2LL = 119.251 ve p = .055 değerleri elde edilmiştir. Şekil 1’de verilen Aşama-1’e göre olabilirlik oranı testleri karşılaştırıldığında, ikinci model istatistiksel olarak anlamlı bir farklılık gösterirken üçüncü model farklılık göstermemiştir. Ayrıca, birinci ve ikinci model arasındaki anlamlı farklılık nedeniyle bu maddenin tek biçimli DÇF gösterdiği sonucuna ulaşılmıştır. Maddenin DÇF göstermesi nedeniyle Aşama-2’ye geçilerek çeldiriciler için Wald 𝜒² testi sonuçlarına aşağıda yer verilmiştir. 

 

Şekil 8 

19. Maddeye İlişkin Olabilirlik Oranı Testi Sonuçları 

Şekil 9’a göre cinsiyet değişkeni açısından A ve B çeldiricilerinin DÇF göstermediği ancak D çeldiricisinin istatistiksel olarak anlamlı olması nedeniyle DÇF gösterdiği belirlenmiştir. Cinsiyete göre DÇF gösterdiği belirlenen D çeldiricisi için b = .390, Wald = 6.018, p = .014 ve exp(B) = 1.477 değerleri elde edilmiştir. Etki büyüklüğü için odds oranı (exp(B)) değerlendirildiğinde, bu değer 2’den küçük olduğundan istatistiksel anlamlılığa rağmen yeterli büyüklükte DÇF elde edilemediği ifade edilebilir. 

 

Şekil 9 

19. Maddeye İlişkin Wald 𝜒² Testi Sonuçları 

 

3.2.3 Örnek 3. Tek Biçimli Olmayan DÇF Gösteren Madde: 11. Madde  

Aşağıda sonuçlarına yer verilen 11. maddenin analizine, tek biçimli olmayan DÇF’ye örnek gösterebilmek amacıyla kalan toplam puanı 12’den büyük olan bireyler dahil edilmiştir. Şekil 10’da verilen olabilirlik oranı testleri incelendiğinde birinci model için -2LL = 70.645 ve p < .001, ikincisine ilişkin -2LL = 68.828 ve p = .090, üçüncü modelde ise -2LL = 100.812 ve p = .003 değerleri elde edilmiştir. Şekil 1’de verilen Aşama-1’e göre olabilirlik oranı testleri karşılaştırıldığında, üçüncü model istatistiksel olarak anlamlı bir farklılık gösterirken ikinci model farklılık göstermemiştir. Bu nedenle 11. maddenin tek biçimli olmayan DÇF gösterdiği sonucuna ulaşılmıştır. Maddenin DÇF göstermesi nedeniyle Aşama-2’ye geçilerek çeldiriciler için Wald 𝜒² testi sonuçlarına aşağıda yer verilmiştir. 

 

Şekil 10 

11. Maddeye İlişkin Olabilirlik Oranı Testi Sonuçları 

Şekil 11’e göre B çeldiricisinin kalan toplam puan ile cinsiyet değişkeni etkileşiminde ele alınan yetenek düzeylerinin tamamında istatistiksel olarak anlamlılık göstermediği ancak C çeldiricisinin hem 13 hem de 14 yetenek düzeylerinde istatistiksel olarak anlamlı olması nedeniyle DÇF gösterdiği belirlenmiştir. Tek biçimli olmayan DÇF gösterdiği belirlenen C çeldiricisi için 13 puana sahip olan bireylerin yetenek düzeyinde b = 1.414, Wald = 21.060, p < .001 ve exp(B) = 4.111 değerleri elde edilmiştir. Etki büyüklüğü için odds oranı (exp(B)) değerlendirildiğinde, bu değer 4’ten büyük olduğundan yüksek düzeyde DÇF olarak belirlenir. C çeldiricisi için 14 puana sahip olan bireylerin yetenek düzeyinde ise b = .819, Wald = 5.568, p = .018 ve exp(B) = 2.268 değerleri elde edilmiştir. Etki büyüklüğü için odds oranı (exp(B)) değerlendirildiğinde, bu değer 2’den büyük olduğu için ihmal edilebilir düzeyde DÇF olarak belirlenir. 

 

Şekil 11 

11. Maddeye İlişkin Wald 𝜒² Testi Sonuçları