Bölüm 3 Otomatik Madde Üretiminin Tarihi
Okullarda tahtaya yazılan yazılı sorularından başlayıp soruların fotokopiyle çoğaltılmasıyla devam eden süreç yerini artık daha kullanılabilir olan bilgisayarla üretilen sorulara bırakmıştır. Bu tarihsel süreçte, günümüze yaklaştıkça test puanlarının geçerliğinin arttığı da aşikârdır. Geçerliğin artmasının birçok nedeni olsa da en önemli nedenlerinden birisi, testi oluşturan maddelerin kalitesidir. Ancak, maddelerde istenen kaliteye ulaşana kadar komisyonlar oluşturulup çokça madde üretilmesi de oldukça pahalı ve meşakkatli bir süreçtir. Ayrıca, madde üretimi ve maddelerin onaylanma süreci bilimin bir konu alanı olarak kabul edildiğinde, bu konu alanının, test puanlarına yönelik istatistiklerin ve teknolojilerin (Madde Tepki Kuramı, Madde Yanlılığı v.b.) çok gerisinde kaldığı söylenebilir (Cronbach, 1970; Roid ve Haladyna, 1982; Nitko, 1985). Bu geri kalmışlığın nedenlerinden biri olarak madde üretiminin öznel yapısını işaret etmek yanlış olmayacaktır. Öyle ki, madde üretiminin öncüleri olan Ebel (1951) ve Wesman (1971) madde üretimini bilim olmanın yanında kısmen de sanat olarak ifade etmiştir. Sanatta da bulunan bu öznel yapı ise, alanda çalışanlar arasında kişiler arası uyum eksikliği ve teori ile araştırmalar arasındaki uyumsuzluk gibi birtakım istenmeyen durumları ortaya çıkarmaktadır. Bu gibi uyumsuzluklara ve test geliştirmenin sınırlılıklarına (pahalılık, çok zaman gerekliliği v.b.) bir çözüm olarak Otomatik Madde Üretimi önerilmiştir (Gierl ve Haladayna, 2012). Otomatik madde üretimine yönelik çok farklı ve ayrık yöntemler geliştirilmiş, ancak bu yöntemler ortak bir paydada buluşturulamadığı için henüz bir bilim alanı olarak teorik alt yapı oluşturulamamıştır. Bu nedenle, otomatik madde üretiminin tarihteki dönüm noktalarını ele almak daha sağlıklı bir bakış açısı sağlayacaktır. Bu kapsamda otomatik madde üretimiyle ilgili beş dönüm noktasından bahsedilmektedir:
- Düzyazı Tabanlı Otomatik Madde Üretimi (Prose-Based AIG)
- Yüzey (Facet) Teorisi
- Madde Formları
- Kavram Oluşturma
- 1998 ETS Seminer Daveti
3.1 Düzyazı Tabanlı Otomatik Madde Üretimi
Bormuth (1970) geleneksel madde üretiminin sınırlılıklarını (öznellik, pahalılık v.b.) göz önüne alarak, çoğu maddenin temelinde yazılmış olan yazıyı okumak olduğundan hareketle düzyazıya yönelik madde üretimine yönelmiştir. Onun bakış açısına göre, madde yazma süreci otomatikleştirilmeli ve madde yazarı öznelliği ortadan kaldırılmalıdır. Ayrıca, geleneksel olarak geliştirilen maddelerin yaklaşık %40-50 kadarı süreç sonunda elenmektedir. Bu da iş gücünün yaklaşık yarısının kaybı, diğer bir ifadeyle yarı verimlilikle çalışmak anlamına gelmektedir. Bormuth, bu teorisini okuduğunu anlama üzerine cümle tamamlama testleri ile ilgili yaptığı çalışmalardan hareketle ortaya koymuştur. Bu alandaki ilk çalışmalar İngilizce’de “wh- soruları” olarak adlandırılan “ne, neden, nereye… v.b.” soru ifadelerinin sözdizimlerinin değiştirilmesi üzerine olmuştur. Örneğin bir düzyazı metni olarak “Çocuk ata bindi.” ifadesine yönelik wh- soruları “Kim bindi?”, “Ne zaman bindi?, “Nereye bindi?” olup bu sistem gibi soru cümlelerinin başındaki soru ifadelerinin (kim, ne zaman, nereye) değişken olarak belirlenmesi esasına dayanmaktadır. Sonrasında bir araştırma ekibi Bormuth’un bu teorisini geliştirmiş, algoritmaları basitleştirerek istatistiksel özellikleri iyi olan maddeler üretmiştir (Roid ve Haladayna, 1982). Ancak, maddelerin iyi yazılmamış olması, değişkenler için anahtar cümlelerin iyi belirlenmemiş olması ve madde üretiminde revize Bloom Taksonomisi kapsamında “Hatırlama” düzeyinin üzerine çıkılamaması gibi sınırlılıklar nedeniyle bu teori artık kullanılmamaktadır.
3.2 Yüzey (Facet) Teorisi
“Facet tasarımı” terimi Guttman (1959) tarafından kullanılmış ancak ilk olarak kişilik testlerinde, Cronbach ve Meehl (1955) tarafından yapı geçerliğinin kavramsallaştırılması sürecinde kullanılmak üzere işevuruk olarak tanımlanmıştır (Roid ve Haladyna, 1982). Facet tasarımında, birçok eşleme cümlesi geliştirilir ve herhangi bir alanın içeriği bu cümlelerle sıralanır ve sınırlandırılır. Örneğin; Guttman, zekâyı gözlemlemek için bilişsel davranış sınıflandırması yoluyla Şekil 3’teki şemayı oluşturmuştur.
Şekil 3 incelendiğinde; bilişsel işlem, alan ve puanlama/değerlendirme kısımlarının değişken olarak tanımlandığı ve bu kısımlarda bulunan kategori sayılarının çarpımı kadar eşleme cümlesi oluşturulacağı görülmektedir. Buradan hareketle, facet tasarımının içerik evrenini bu eşleme cümleleri biçiminde tanımladığı ve sonrasında ise performansın başarılı olma durumuna yönelik ampirik geçerlik kanıtı elde ettiği söylenebilir. Bu sistemde eşleme cümlesi, test maddelerinin geliştirildiği araç görevindedir. Her eşleme cümlesinin sabit ve değişken kısımları vardır. Eşleme cümlesindeki değişkenlerin her birine faset adı verilir. Şekil 4’te çok temel bir eşleme cümlesi örneği görülmektedir.
Şekil 4 incelendiğinde, her diş hekimliği öğrencisinin, yetişkinlerin 32 dişinin adlarını ve yerlerini bilmesi gerektiğinden hareketle, her iki eşleme cümlesi için toplamda 64 değişken tanımlanabilir. Çocuklukta dökülen dişler de (20 adet) sayıldığında toplamda 104 değişken elde edilir. Böylece facet tasarımı tamamlanmış olur. Ayrıca, çeldiriciler de oluşturulurken bu fasetlere bağlı olarak algoritmik şekilde oluşturulur (Gierl ve Haladayna, 2012). Bu nedenle, madde yazarının öznelliği söz konusu olamaz. Ancak, unutulmamalıdır ki, eşleme cümlelerini de konu alanı uzmanları öznel olarak oluşturmaktadır. Genel olarak ele alındığında ise biçimlendirici ve özetleyici değerlendirme için hazırlanacak ölçme araçlarına yönelik hem aynı madde üretim kümesinden zengin bir kaynak elde edilir hem de paralel test formları kolayca oluşturulabilir. Bu sistemin faydalarının yanında sınırlılıkları da mevcuttur. Bir madde yazarından alınan konu alanına yönelik eşleme cümlesi, ister istemez diğer madde yazarından alınandan farklı olacaktır. Bu nedenle eşleme cümlesi çok kapsamlı olmalı ve madde yazarlarının yazacakları eşleme cümlelerinin neredeyse tamamını içermelidir (Döring, 2005). Bahsedilen tüm sistem özelliklerine rağmen Guttman’ın bu facet teorisine yönelik sunulmuş herhangi bir rapor bulunmamaktadır.
3.3 Madde Formları
Hively (1974), bir madde formu geliştirmek için en çok uğraşan bilim insanı olsa da bunu ilk ortaya çıkaran Osburn olmuştur. Osburn (1968), kavramların öğretim sırasında edinilmesi gerektiğini ve testlerde sorulacak soruların derslerde öğretilmesi yerine bu testlerde kullanılabilecek kavramların genel bir listesinin derslerde işlenmesi gerektiğini ifade etmiştir. Bu kapsamda Osburn, Guttman’ın fasetlerine benzeyen, sabit bir sözdizimsel yapıya sahip maddeler üretme sistemi tasarlamıştır. Bu sistemde değişkenler sınırlı bir aralıkta değerler alır ve sayılarla/kavramlarla cümleler oluşturulur. Örnek bir madde formu Şekil 5’te verilmiştir:
Şekil 5 incelendiğinde, A kümesinde beş (1, 2, 3, 4, 5), B kümesinde ise on dört (2, 3, 4, 5, …., 14, 15) eleman bulunmaktadır. Bu madde formundan 70 adet (5x14) madde üretilebilir. Ancak, bu maddeler oluşturulurken mantık hatası olmamasına dikkat edilmelidir. Örneğin; Şekil 6’daki madde ele alındığında, bir öncül “Bir markette satılan Double marka soda’nın 1 tane 12’li paketi 2 TL’dir.” olurken, diğer öncül “Bir markette satılan Cool marka soda’nın 5 tane 12’li paketi 15 TL’dir.” olabilir. Modern otomatik madde üretimi ifadesiyle bu bir sınırlılık olarak ifade edilebilir. Sonuç olarak; bu tür sayısal içerikli maddeler istatistik, kimya, muhasebe, finansal analiz, bankacılık ve eczacılık gibi alanlarda birçok nicel değişkeni içeren hikâye problemlerinin üretilmesinde kullanılabilir. Bu maddelerin rastgele oluşturulması biçimlendirici ve özetleyici değerlendirmeye yönelik testler oluşturmak için kullanılabilir. Kullanımının avantaj yarattığı durumlar olduğu gibi dezavantaj yarattığı durumlar da mevcuttur. İlk olarak, bir öğrenme alanı/ünitenin kapsam geçerliğinin sağlanabilmesi için birçok madde formunun oluşturulması gereklidir. Bu ise büyük bir iş yüküdür. Madde formları üzerine yapılan araştırmaların 1980’lerin ortalarına doğru tamamlandığı ve 1970’lerde ve 1980’lerde çok popüler olan madde formu teknolojisi özelliklerinin modern otomatik madde üretimi için de kullanıldığı görülmektedir.
3.4 Kavram Oluşturma
Revize Bloom Taksonomisi göz önüne alındığında, hatırlama düzeyinin en temel öğrenme düzeyi, anlama düzeyinin ise bir üst basamak olduğu bilinmektedir. Bu iki basamağın üzerindeki diğer düzeyler ve diğer taksonomiler ise bilgi ve becerilerin karmaşık olarak kullanımını gerektirmektedir. Bu karmaşık kullanım, alan yazında birçok farklı isimle ifade edilmekte, alan yazın üst düzey düşünmenin farklı sınıflamalarını içeren kavramlarla dolup taşmaktadır (Haladyna ve Rodriguez, 2013). Bu kavramların standart bir sınıflaması olmasa da, Merrill (1994), tüm bilgilerin dört kategoride tanımlanabileceği fikrini ortaya atmıştır. Merrill (1994)’e göre bu kategoriler; durum/gerçek, kavram, ilke ve prosedür olarak adlandırılabilir. Bu basit ve etkili sınıflandırmanın, bilgiyi organize etmek için faydalı bir yol olduğu gibi K-12 eğitiminin ve akademinin de önemli bir yönü olan kavramların öğrenilmesi için izlenecek bir yol haritası niteliğinde olduğu söylenebilir. Bu amaçla, 1960’lardan 1980’lere kadar pek çok araştırmacı madde üretimi için kavramları ölçen bir teknoloji üzerinde çalışmıştır. Anderson (1972), bir kavramın tanımlarını başka sözcüklerle ifade etmiş ve test maddeleri yazmak için Şekil 6’daki gibi örnek şablonlar üzerinden maddeler üretmiştir:
Şekil 6 incelendiğinde {kavram} değişkeninin yerine birçok kavramın otomatik olarak geleceği aşikârdır. Ancak kavramların nasıl analiz edileceği ve test maddelerinin hızlı bir şekilde nasıl üretileceğini anlamak için dört ana nokta ifade edilmiştir:
- Bir Kavramın Tanımlanması
- Kavramların Özellikleri
- Genelleme ve Ayırıcılık Testi
- Örnek ve Örnek Olmayan Durumları Listeleme ve Seçme
Kavramlara yönelik hâkimiyeti ölçmek için madde üretiminin en önemli noktası örnekler ve örnek olmayan durumları oluşturmaktır. Madde üretimi için alışılagelmiş yöntemler bilişsel öğrenme çıktılarını ölçmek için uzun yıllardır kullanılmaktadır. Kavram testi de maddelerin üretilebileceği en kolay yöntemlerden biridir. Ancak örnek ve örnek olmayan durumları üretmeye yönelik teknolojik gelişim henüz tamamlanmamıştır.
3.5 1998 ETS Semineri
Roid ve Haladyna’nın (1982) madde üretimiyle ilgili kitabının yayınlanmasının ardından, bir sonraki önemli kilometre taşı, “Item Generation for Test Development” kitabının yayınlanmasıdır (Irvine ve Kyllonen, 2002). Bu kitap, çeşitli disiplinlerden 25 katılımcının yer aldığı Educational Testing Service (ETS) tarafından 1998’de düzenlenen bir seminerin ürünüdür. Kitap aynı zamanda madde üretimi ile ilgili İngiltere ve Amerika’daki son çalışmaları ve bunların bakış açılarını içermektedir. Bu kitapta, Irvine (2002), otomatik madde üretimi için R, L ve D modelleri olmak üzere üç farklı ölçme modelinden bahsetmektedir. Ayrıca kitabın birçok bölümünün Guilford zekâ yapısı modelinde temsil edildiği gibi zihinsel yeteneklerin ölçümüne odaklandığı görülmektedir. Otomatik madde üretiminin tarihî gelişim sürecindeki beş dönüm noktasından hareketle dört farklı bakış açısı ortaya çıkmıştır. Bunlardan birincisi test ve test maddelerinin içeriği, ikincisi her test maddesinin bilişsel istem düzeyi, üçüncüsü madde oluşturmada geçerlik ve dördüncüsü ise madde türleridir.
3.5.1 Test ve Test Maddelerinin İçeriği
Cronbach ve Meehl (1955), yapı formülasyonu adını verdikleri ve test geliştiricilerin neyi ölçtüklerini tam olarak bilmelerini sağlayan, herhangi bir testi geliştirmenin en temel adımı olan yapı tanımı yapmışlardır. Yapı formülasyonunda ilk içerik kaynağı yaklaşımı, davranışçı kurama dayanmaktadır. Davranışçı kuram, 1960’larda başlayan ölçüt referanslı hareketle ilişkili olup; testlerin, maddelerin bir öğrenme alanından temsili örnekler olduğu savunmuştur. Bu kapsamda maddeler, öğrenci çıktı ifadelerinden geliştirilir. İçeriğin organizasyonu ve yapısı ise program geliştirme uzmanları tarafından geliştirilir. Test etmeye yönelik bu yaklaşım, bilgi ve becerilerin edinilmesini ve küçük bir ölçüde bilgi ve becerilerin karmaşık şekillerde uygulanmasını vurgulayan bir davranışçı kuram yaklaşımıdır. İkinci içerik kaynağı ise Snow ve Lohman’ın (1989) bir zamanlar aynı problemler üzerinde çalışan araştırmacıların esnek bir birliği olarak nitelendirdiği bilişsel öğrenme kurama dayanmaktadır. Bilişsel öğrenme kuramında, geliştirilen ve test edilen yapının bilişsel yetenekler olduğu kabul edilmektedir (Sternberg, 1998). Bu yaklaşımda her bilişsel yetenek; bilgi ve becerilerle, bu yapıyla ilgili görevleri gerçekleştirmek için karmaşık şekillerde kullanma kapasitesini içeren, yavaş büyüyen bir zihinsel yapıdır. Halk eğitiminde, bu bilişsel yetenekler okuma, yazma, konuşma ve dinleme (dil sanatları), matematiksel ve bilimsel problem çözme ve sosyal bilgiler de dâhil olmak üzere birçok konuda kullanılan eleştirel düşünmedir. Mesleki yeterliklerin belirlenmesinde ise test, o alanın temsili bir örneğidir ve bir test puanı, bu yeteneğin bir tahminidir. Mislevy’e (2006) göre davranışçı ve bilişsel kuramlar göz önüne alındığında, otomatik madde üretiminin gelecekte nasıl gelişeceği konusunda bazı uyumsuzluklar göze çarpmaktadır. Otomatik madde üretimi, içeriği tanımlamaya yönelik her iki yaklaşımı da içeriyor gibi görünse de davranışçı kuramın önemi azalmakta ve bilişsel öğrenme kuramının önemi giderek artmaktadır. Bununla birlikte, otomatik madde üretiminin odak noktası, bilişsel yetenekleri tanımlama ve bu yeteneği en iyi şekilde temsil eden görevleri yüksek doğrulukla yansıtan maddeler yaratma olmalıdır.
3.5.2 Maddelerin Bilişsel İstem Düzeyi
Bloom ve diğerleri (1956) tarafından bilişsel taksonominin yayınlanmasından bu yana farklı bilişsel istem düzeylerini yansıtan test maddelerinin yazılmasına ilgi artmıştır. Geçmişte hatırlama düzeyine yönelik maddelere duyulan yoğun güven, bilişsel olarak daha ilgi çekici test maddeleri oluşturma ihtiyacını ortaya çıkarmıştır. Bloom’un bilişsel taksonomisi popülerdir ancak bu taksonomiye olumsuz bir bakış, madde ve test performansının bu taksonomik kategorilere uymadığını ortaya koymaktadır (Haladyna & Rodriguez, 2013). Başarı testlerinin çoğu, bilgi ve becerileri örnekleme konusunda gelişmiş olsa da bilişsel taksonomi nadiren kullanılmaktadır. Bu nedenle daha kullanışlı olduğu düşüncesiyle test maddelerinin bilişsel istem düzeyini kategorize etmek amacıyla bilgi, beceriler ve karmaşık görevleri uygulama/gerçekleştirme yeteneğini belirlemek için daha basit bir sistem kullanılabilmektedir. Bilişsel istem düzeyine ilişkin ağır basan ve çözülemez ikilem, bu durumun sınava girenlerin gelişim düzeyine bağlı olmasıdır. Tecrübesiz olanlar, test maddelerine yanıt vermek için daha karmaşık bilişsel stratejiler kullanma eğilimindedir ancak uzmanlar ise hatırlama düzeyinde çalışma eğilimindedir. Bu nedenle, hiçbir maddenin kesin bir bilişsel istem düzeyi olmadığı söylenebilir. Herhangi bir madde için bilişsel istem, test maddesine kimin yanıt verdiğine bağlıdır. Ancak bilişsel istemin kesinlikle hatırlamadan daha kapsamlı olacağı açıktır.
3.5.3 Geçerlik
Cronbach ve Meehl (1955), geçerliği koruyarak madde üretimini daha verimli hâle getirecek olan otomatik madde üretimi kullanarak herhangi bir bilişsel test oluşturmak için üç aşama olduğunu ifade etmiştir:
- formülasyon (tanımlama),
- açıklama,
- doğrulama.
Öncelikle neyin ölçülmek istendiği ve testin amacının tanımlanması gerekmektedir. Açıklama ise bir testin geliştirilme sürecini ifade etmektedir. Doğrulama, her bir test puanı yorumunu ve uygun durumlarda kullanımını destekleyen kanıtların toplandığı araştırma sürecini belirtmektedir. Bu ise geçerlik kavramı ile ilişkilidir. Nitekim Kane (2006a, 2006b) madde doğrulamanın; her maddenin sadece ölçmek istediği özelliği ölçtüğüne dair kanıt arayarak hem testlere hem de test maddelerine bir anlamda hizmet etmek olduğunu ifade etmektedir. Ayrıca teknoloji bu yapıları daha geçerli bir şekilde ölçmeye katkıda bulunacaksa, otomatik madde üretiminin bilişsel olarak ilgi çekici ve karmaşık maddeler üretmesi gerektiği ifade edilmektedir (Embretson, 2002).
3.5.4 Madde Türleri
Test geliştirmenin hedeflerinden biri olan standardizasyon, bir testin tüm yönlerinin tek tip, düzenli, ilkeli, öngörülebilir ve anlaşılır olmasını gerektirmektedir. Geçerli olan bir test puanı arayışı, test maddelerinin etkili bir şekilde oluşturulabilmesine bağlıdır. Standardizasyonu etkileyen bir diğer özellik de madde türleridir. Madde türleri genel olarak üç farklı kategoriye ayrılmaktadır: Seçilmiş yanıtlı (SY), nesnel olarak puanlanan yapılandırılmış yanıt (NPYY) ve öznel olarak puanlanan yapılandırılmış yanıt (ÖPYY). Tablo 1 bu üç madde türünün özelliklerini özetlemektedir.
Tablo 1’de görüldüğü gibi SY nesnel olarak puanlanır. Bu nedenle, test yeterince uzunsa, güvenilirlik katsayısı ile ilişkili rastgele hata çok küçüktür. Puanlamadan kaynaklanan sistematik hata yoktur. NPYY, SY türüne çok benzer, ancak cevap sınava giren kişi tarafından verilir. Burada da SY türünde olduğu gibi, test yeterince uzunsa rastgele hata çok küçük olabilir. ÖPYY türü ise, bir beceri içeren karmaşık görevleri ölçmek için tercih edilir. Örneğin yazmayı ölçmek için öğrencilerin yazması gerekir. SR, yazma yeteneğinin ölçümü için yeterli değildir. Otomatik madde üretimini, madde türüyle ilgili üç sorun etkilemektedir. İlk olarak, dört ve beş seçenekli maddelerdeki çoğu seçenek olması gerektiği gibi çalışmamaktadır. Teorik ve pratik üzerine yapılan araştırmalar iki veya üç seçeneğin kullanılması gerektiğini savunmaktadır (Haladyna ve Downing, 1993; Haladyna, 2004, Haladyna ve Rodriguez, 2013; Rodriguez, 2004). Bu araştırmalardan ortak olarak elde edilen sonuçlar büyük önem arz etmektedir. Çeldiricilerin iyi çalışması için mantıksal hataları temsil etmesi gerektiğinden otomatik madde üretimi, bu şekildeki dördüncü ve beşinci seçenekleri oluşturmak için ciddi zorlukla karşı karşıya kalmaktadır. İkinci olarak, otomatik madde üretimi, geleneksel SY türüne odaklanmakta ancak çok faydalı olabilecek başka SY türlerinin olduğunu göz ardı etmektedir. Örneğin, doğru/yanlış ve eşleştirme gibi diğer türlerin de, gelecekteki otomatik madde üretimi teknolojisine dâhil edilmesi gerektiği ifade edilmektedir. Üçüncüsü ise NPYY ve ÖPYY türleri henüz otomatik madde üretimi teknolojisinin bir parçası olmasa da test geliştirmede, tüm formatlardaki maddelere acil olarak ihtiyaç duyulmaktadır. İçerik uzmanları, madde türlerini kullanarak otomatik madde üretimi için model oluşturma-geliştirme, maddeler oluşturulduktan sonra da gözden geçirme konusunda önemli bir role sahiptir. Alan yazında otomatik madde üretimi uygulamalarına rehberlik edebilecek bazı madde modeli örnekleri mevcuttur (Bejar ve diğerleri, 2003; Gierl, Zhou ve Alves, 2008). Bu örnekler AIG için “zayıf” ve “güçlü” kuram yaklaşımları kullanılarak oluşturulmuştur (Drasgow, Luecht ve Bennett, 2006).
Bölüm 4 Otomatik Madde Üretiminde Madde Modeli Geliştirme
4.1 Zayıf Teori Kullanarak Madde Modeli Geliştirme
Drasgow ve ark. (2006), içerik uzmanlarına teori ve pratiği birleştirerek iki yaklaşım önermişlerdir. İlki, zayıf teoriden madde modeli geliştirmedir. Bu yaklaşımla, izomorfik (eşbiçimli) örneklere yönelik madde modelleri oluşturmak için yönergeler kullanılmaktadır. Başlangıç noktası olarak, bir üst maddenin tanımlanması önerilmektedir. Ana maddeler, önceki test uygulamalarındaki maddeler incelenerek yani mevcut test maddelerinin envanterinden yararlanılarak veya doğrudan ana madde oluşturularak elde edilebilir. Ana madde, modelin altında yatan yapıyı vurgulayarak alternatif maddeler oluşturmak için bir referans noktası sağlar. Zayıf teoriyi kullanmanın amacı, istatistiksel olarak kalibre edilmiş maddeler oluşturmak ise, içerik uzmanının görevi ana maddedeki benzer psikometrik özelliklere (yani madde güçlüğü v.b.) sahip üretilmiş maddeleri teste dâhil etmemektir. Alternatif olarak, zayıf teori kullanmanın amacı istatistiksel olarak kalibre edilmemiş maddeler üretmek olduğunda ise (bu durumda, oluşturulan maddelerin yine de sahada test edilmesi gerekecektir), o zaman içerik uzmanının görevi çok sayıda ana maddeyle aynı sonuç veren maddeyi teste dâhil etmemektir. Bu ikinci hedef, nadiren zayıf teori otomatik madde üretiminin amacıdır, ancak başlangıçta soru bankalarını geliştirmek/yenilemek amacıyla kullanılabilmektedir. Madde modeli geliştirme için zayıf teori kullanmanın önemli bir dezavantajı, özellikle amaç istatistiksel olarak kalibre edilmiş maddeler oluşturmak olduğunda, başlangıçta modelde üretilen maddeleri tanımlayan içerik uzmanlarının, bu manipülasyonların maddelerin psikometrik özelliklerini nasıl değiştireceğini tahmin etmek için tipik olarak kendi mesleki deneyim ve beklentilerinden yararlanmalarıdır. Zayıf teoriden üretilen izomorf (eşbiçimli) maddeler, birçok içerik ve test geliştirme uzmanı tarafından “klonlar” olarak adlandırılır. Klonlar, daha geleneksel maddelerin aksine genellikle üretilmesi kolay maddeler olarak algılanır. Fark edilebilir klonlar üretme sorununu ele almak için Gierl ve ark. (2008), madde modeli türlerinin bir taksonomisini tanımlamıştır. Bu taksonominin amacı, içerik uzmanlarına madde modelleri oluşturmak için tasarım yönergeleri sağlamak ve ayrıca uzmanların daha çeşitli oluşturulmuş maddeler sağlayan modeller oluşturmasına yardımcı olmaktır. Gierl ve diğerlerinin (2008) madde modelinde gövde; modelin bağlamı, içeriği ve/veya soruları formüle etmek için kullanılan bölümüdür. Gövdedeki elemanlar dört farklı şekilde işlev görebilir.
- Bağımsız; gövdedeki ifadelerin birbiriyle ilgisiz olduğunu belirtir. Bu nedenle, bir gövde elemanındaki değişiklik diğer gövde elemanlarını etkilemeyecektir.
- Bağımlı; gövdedeki tüm ifadelerin birbiriyle ilişkili olduğunu gösterir.
- Karma; en az bir çift gövde elemanının ilişkili olduğu gövdede hem bağımsız hem de bağımlı maddeleri içerir.
- Sabit, varyasyon veya değişiklik olmayan sabit bir gövde formatını temsil eder.
Seçenekler ise çoktan seçmeli bir madde modeli için yanıt alternatiflerini içerir. Seçeneklerdeki ifadeler üç farklı şekilde işlev görebilir.
- Rastgele seçilen seçenekler, çeldiricilerin karşılık gelen içerik havuzlarından seçilme biçimini ifade eder. Bu durumda çeldiriciler rastgele seçilir.
- Kısıtlanmış seçenekler, anahtarlanmış seçeneğin ve çeldiricilerin, formüller veya hesaplama gibi belirli kısıtlamalara göre üretildiği anlamına gelir.
- Sabit seçenekler, hem anahtarlı seçenek hem de çeldiriciler sabitlendiğinde ortaya çıkar ve bu nedenle modelde oluşturulan maddeler arasında değişmez.
Daha sonra, dört kök ve üç seçenek değişkeni çaprazlanarak bir madde modeli matrisi üretilebilir. Şekil 7’de Fen Bilgisi dersinde işlenen “Adaptaston” kavramına yönelik bir madde modeli verilmiştir.
Özellikler, ana maddenin yapısına göre değerlendirildiğinde, alt panel için içerik sağladığı anlaşılmaktadır. Şekil 7’deki modelde üst paneldeki sorun alt paneldeki özelliklerle ilişkilendirilmiştir. Ancak, orta panelde belirli bir bilgi kaynağı yoktur. Bu nedenle, madde üretimi, ana maddede belirtildiği gibi özelliklerin probleme eklenmesiyle yönetilir. Gierl ve ark. (2008) her bir benzersiz madde kombinasyonu göstermek için toplamda 20 örnek oluşturmuştur. Örnekler fen, sosyal bilgiler, dil sanatları ve matematik dâhil olmak üzere akademik derslere yönelik çeşitli içerik alanlarından alınmıştır. Zayıf teori kullanarak geliştirilen madde modeli Şekil 9’da verilmiş, geliştirmeye ilişkin mantığı ve bazı kavramları göstermek için Şekil 8 ve Şekil 10’da iki örnek sunulmuştur. Her örnek, deneyimli sınıf öğretmenleri olan ve aynı zamanda eğitimde büyük ölçekli başarı testleri için madde geliştirme konusunda kapsamlı bilgi, beceri ve uygulamaya sahip iki içerik uzmanı tarafından geliştirilmiştir. Şekil 8 örneği, madde üretimi için içeriği belirlemek amacıyla kullanılabilir, ancak sınava girenlerin ne anlayabilecekleri veya oluşturulan uyarlama maddelerini nasıl çözebilecekleri hakkında çıkarımlarda bulunmak için gerekli bilgi ve becerileri belirlemede başarısız olabilecektir.
Şekil 9’daki madde modeli, 9. sınıf fen bilimlerindeki adaptasyon kavramını ölçen, rastgele seçilmiş seçeneklerle ve hiçbir yardımcı bilgi içermeyen bağımlı bir gövde olarak oluşturulmuştur. Gövde üç değişken içerir (S1, S2 ve S3). Bu değişkenler, üç ayrı havuzdan içerik alır. Bu içerik havuzları, bu modelde izin verilen tüm içeriğin evreni olarak görülebilir. Örneğin S1, hayvan türü içerik havuzudur, yani uyarlanabilir stratejilere sahip tüm hayvanlar bu havuza yerleştirilebilir. Örnekte, havuz uyarlanabilir stratejilere sahip dört hayvan içerir: ak kuyruklu tavşan, ak kuyruklu kartavuğu, uzun kuyruklu gelincik ve kutup tilkisi. Diğer hayvanların da uyum sağlama stratejileri olduğundan, bu modelin üretken kapasitesini genişletmek için bu havuza dâhil edilebilirler. Zayıf teori otomatik madde üretimini kullanmadaki amaç genellikle benzer zorluk düzeyine sahip hayvanları seçmektir. S2, hayvan habitatıyla ilgili içeriktir. Örnekte üç habitat sunulmaktadır: çayır, dağlar ve tundra. Benzer bir zorluk düzeyine sahip maddeler üretmesi beklenen diğer habitatlar dâhil edilebilir. S3, hayvanın uyarlanabilir özellikleriyle ilgili içeriktir. Bu modelde kürk ve tüy olmak üzere iki özellik anlatılmıştır. S1, S2 ve S3, bu örnekte bağımlı gövde değişkenleridir, çünkü hayvan seçimi hayvanın habitatını ve adaptasyon özelliklerini etkiler. Ayrıca S1’deki bazı hayvanların S2’de birden fazla habitatta yaşayabileceği varsayılmaktadır. Seçenekler ise, sabit bir yanlış seçenekler listesinden rastgele seçilir: ekosistem, niş, türler, topluluk ve nüfus. Yanlış seçeneklerin karşılaştırılabilir olduğu varsayılır. Bu madde modeli kullanılarak 480 örnek oluşturulmuştur. Diğer bir madde de Şekil 10’da verilmiştir:
Şekil 11’deki madde modelinin, 3. sınıf matematiğindeki yuvarlama kavramını ölçen, kısıtlanmış seçenekler ve yardımcı bilgilerle karışık bir kökten oluştuğu ifade edilebilir. Kök, iki değişken (S1, S2), iki tamsayı (I1, I2) içermekte ancak yardımcı bilgi içermemektedir. S1, küçük nesneler için tüm kap türlerini içeren içerik havuzu olarak tanımlanabilir. Örnekte, bu modelde dört kap yer almaktadır. Bu modelin üretken kapasitesini genişletmek için ek kaplar eklenebilir. S2, küçük nesnelerin bulunduğu içerik havuzudur. Örnekte altı küçük nesne belirtilmiştir. Kapları ve kaplardaki nesneleri tanımlamak için kullanılan sözcük dağarcığı, üretilen maddelerin karşılaştırılabilir bir zorluk seviyesine sahip olmasını sağlayacak şekilde seçilecektir. Tamsayılar kap sayısını (I1) ve kaplardaki küçük nesnelerin sayısını (I2) belirtir. I1, 1’lik artışlarla 3’ten 5’e kadar üç değer içerir. I2, 19’luk artışlarla 101’den 299’a kadar 10 değer içerir. Tamsayıların büyüklüğü, oluşturulan maddelerin zorluk tahminlerinin birbirine benzer olması için seçilir. Değişkenler bağımsızdır, oysa tamsayı elemanları bağımlıdır, bu nedenle kök karışıktır. Seçenekler, belirli dizi ve tamsayı kombinasyonlarından seçilir ve dolayısıyla bu örnekte sınırlandırılmıştır. Bu madde modeliyle 576 örnek üretilmiştir.
4.2 Güçlü Teori Kullanarak Madde Modeli Geliştirme
Madde modelleri oluşturmanın diğer bir yolu da güçlü kuram yaklaşımını kullanmaktır. Drasgow ve ark. (2006) güçlü kuramı, test performansının teorik bir hesabını kullanarak oluşturulan maddelerin güçlüğünü etkileyen unsurları belirlemek ve sonra manipüle etmek için bilişsel bir modelin kullanıldığı süreç olarak tanımlar. Bilişsel kuram, hem sınava girenlerin maddeyi çözmek için gerekli bilgi ve becerilerini hem de madde güçlüğünü etkileyen içerik özelliklerini vurgulamaya yardımcı olur. Drasgow ve ark. (2006) maddelerdeki içerikler arasındaki etkileşimi modelleyerek, oluşturulan maddelerin psikometrik özelliklerini tahmin etmenin ve dolayısıyla kontrol etmenin mümkün olduğunu iddia etmektedir. Bu yaklaşım başarılı olduğunda, belirli bir içerik alanındaki sınava girenlerin test maddesi performansı ile sınava girenlerin test puanının yorumlanması arasında güçlü bir korelasyon olması avantajlı bir durumdur (Bejar, 1993). Güçlü kuram yaklaşımının kullanımına yönelik geniş bir içerik alanında otomatik madde üretimi madde modeli geliştirmek için tıp fakültesi cerrahi lisans testinden bir örnek Şekil 12’de verilmiştir.
Şekil 12’deki bilişsel model, ameliyat için bir tıbbi lisans testi örneğini kullanan AIG yapısını içerir. Bu yapı, tanıya yönelik çıkarımlar yapmak için tıbbi problem çözmede gerekli bilgi ve becerilerin ana hatlarını çizer. Üç panel halinde sunulmuştur. Üst panel, sorunu ve bununla ilişkili senaryoları, orta panel ilgili bilgi kaynaklarını ve alt panel de orta panelde belirtilen ilgili bilgi kaynaklarında hem verileri hem de kısıtlamaları içeren göze çarpan özellikleri vurgular. Güçlü kuram yaklaşımı kullanarak maddeler oluşturmak için, sorunlu alan ve bu alan için ilişkili senaryolar tanımlanarak başlanır. Şekil 12’de gösterildiği gibi, sınava giren kişinin safra taşı komplikasyonlarını tanılama becerisini ölçmeyi sağlayan maddeler üretilir. Bu örnekte sorunla ilgili beş farklı senaryo vardır: safra kanalı tahrişi, akut kolesistit, safra kanalı sancısı, pankreas iltihabı ve safra kesesi delinmesi. Sonrasında bu problem ile ilgili bilgi kaynakları belirtilir. İlgili bilgi kaynakları, hem deneyimli madde yazarları hem de pratisyen hekimler olan içerik uzmanları tarafından belirlenir. Kaynaklar; hasta sunumu, fiziksel muayene sonuçları ve laboratuvar sonuçlarıdır. Şekil 12’deki bilişsel model yapısında sunulan içerikle 240 madde üretmiştir. Oluşturulan 240 maddeden bir örnek Şekil 13’te sunulmaktadır.
Örneklerde de görüldüğü gibi matematik, fen bilimleri ve tıp gibi birçok alanda zayıf ve güçlü kuramlar kullanılarak madde modelleri geliştirilebileceği görülmektedir. Örnekte bilişsel model, uygulanabilir senaryolarla birlikte öncelikle amaç belirtilerek oluşturulmuştur. Daha sonra, beş senaryoda safra taşı komplikasyonlarını teşhis etmek için gereken bilgi kaynakları belirlenmiştir. Son olarak, her bir bilgi kaynağı için özellikler ifade edilmiştir. Her özellik sırasıyla maddeleri ve kısıtlamaları içerir. Veri ve kısıtlamalar ise, madde oluşturma için gereken her bir tanılama senaryosuna özgü içeriğin ana hatlarını çizer. Güçlü teori kullanmanın yararı, üretilen maddeler için madde güçlüğünün daha tahmin edilebilir olmasının beklenmesi ve sonuç olarak, madde güçlüğünü yöneten faktörler nedeniyle kapsamlı alan veya pilot testlere ihtiyaç duyulmadan üretilen maddelerin kalibre edilebilmesidir. Ayrıca örnekteki model, madde güçlüğü tahminlerini etkileyen özellikleri incelemek için de kullanılabilir. Bu özelliklere yönelik yapılacak incelemelerin sonucu, ilgili teste yönelik üretilecek maddelerin teste katkılarına da genel bir bakış sağlamaktadır.
Bölüm 5 Otomatik Madde Üretiminde Kullanılan Programlar
Her gün yapay zekânın yeni bir yüzüyle karşılaştığımız şu zamanlarda otomatik madde üretimi için kullanılacak sayılabilir bilgisayar programı olduğunu iddia etmek doğru olmayacaktır. Nitekim bir yapay zekâ platformu olan Chat GPT’ye Türkçe olarak “Otomatik madde üretimi için hangi bilgisayar programları kullanılmaktadır?” yazıldığında “madde” kelimesinin endüstriyel anlamı sebebiyle tasarım, üretim veya simülasyon programlarından bahsedilen bir çıktı vermektedir. Aynı cümlenin İngilizce’si yazıldığında ise otomatik madde üretiminde kullanılabilecek programları çıktı olarak vermiştir.
Otomatik Madde Oluşturma (AIG), test maddelerini otomatik olarak oluşturmak için bilgisayar programlarını kullanma sürecini ifade eder. Belirli yazılım araçlarının seçimi, oluşturulan içeriğin türüne, değerlendirme hedeflerine ve maddelerin istenen formatına bağlı olabilir. Otomatik madde oluşturma için yaygın olarak kullanılan bazı program türleri şunlardır:
5.2 Eğitimsel Değerlendirme Platformları:
5.3 Programlama ve Komut Dosyası Dilleri:
5.4 Psikometrik Yazılım
5.6 Simülasyonlar ve Oyunlar
5.6.1 Unity3D, Unreal Engine
Simülasyonların veya oyunların değerlendirme amacıyla kullanıldığı alanlarda, bu oyun geliştirme motorları etkileşimli maddeler oluşturmak için kullanılabilir.
Chat GPT’den alınan yukarıdaki 6 bağlama ait birçok otomatik madde üretimi aracı olduğu görülmektedir. Diğer yandan Sayın ve Gierl (2023) alanyazında otomatik madde üretimi için Math Test Creation Assistant (Singley & Bennett, 2002), ModelCreator (Higgins et al., 2005), Item Distiller (Higgins, 2007), IGOR (Gierl & Lai, 2012), EAQC (Gutl et al., 2011), MARTEN (https://www.mghlpartners.com/software) gibi yazılımların kullanıldığını ifade etmişlerdir. Bu bölümde örnek otomatik madde üretimi yapabilmek için R Studio programı kullanılmıştır. R programında otomatik madde üretimi yapılabilecek paket adı QAIG olup bu paket ile yalnızca sözel ve sayısal girdileri kullanarak madde üretilebilmektedir. Aşağıda bir matematik sorusu için otomatik madde üretimi R kodları ve çıktıları verilmiştir.
##
## The downloaded binary packages are in
## /var/folders/gy/wz6_brzx19v6hdln635gwjk40000gn/T//RtmpRTAPTF/downloaded_packageslibrary(QAIG)
soru_kökü <- "İlk [N1] [C1] toplamı kaçtır?"
n1<-c(5,8,11,18)
c1<-c("dogal sayi", "sifirdan farkli pozitif tamsayi")
N <- list(n1 = n1)
C <- list(c1 = c1)
formulae<-"Option_A ? 2*n1-1
Option_B ? 3*n1-2
Option_C ~ n1*(n1+1)/2
Option_D ? n1*(n1-1)/2"
itemgen(soru_kökü, formulae = formulae, N = N, C = C)## [Q1]
## Stem "İlk 5 dogal sayi toplamı kaçtır?"
## Option_A " 9"
## Option_B "13"
## Option_C " 15"
## Option_D " 10"
## Answer_Key "Option_C"
## [Q2]
## Stem "İlk 8 sifirdan farkli pozitif tamsayi toplamı kaçtır?"
## Option_A "15"
## Option_B "22"
## Option_C " 36"
## Option_D " 28"
## Answer_Key "Option_C"
## [Q3]
## Stem "İlk 11 dogal sayi toplamı kaçtır?"
## Option_A "21"
## Option_B "31"
## Option_C " 66"
## Option_D " 55"
## Answer_Key "Option_C"
## [Q4]
## Stem "İlk 18 sifirdan farkli pozitif tamsayi toplamı kaçtır?"
## Option_A "35"
## Option_B "52"
## Option_C "171"
## Option_D "153"
## Answer_Key "Option_C"Yukarıdaki kodlar incelendiğinde N1 ve C1 adında iki değişen tanımlanmıştır. N1 değişkeni sayısal olup 4 farklı sayı değeri alabilmekte, C1 değişkeni ise sözel olup 2 farklı sözel ifade olarak soruda yer alabilmektedir. Buradan hareketle 8 (4x2) farklı soru oluşturulabileceği aşikârdır. Diğer yandan seçenekler sayısal değişken olan N1 kullanılarak oluşturulmuş, çeldiriciler “?” işaretiyle, anahtarlanmış yanıt ise “~” işaretiyle berlirtilmiştir. Aşağıda sadece sayısal değişkenleri olan bir matematik sorusu için otomatik madde üretimi R kodları ve çıktıları verilmiştir.
##
## The downloaded binary packages are in
## /var/folders/gy/wz6_brzx19v6hdln635gwjk40000gn/T//RtmpRTAPTF/downloaded_packageslibrary(QAIG)
help(package="QAIG")
soru2 <- "Ali, kalemlerinin [N1] tanesini arkadaşına verdiğinde elinde [C1] kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
n1<-c(1:10)
c1<-c(4:13)
N <- list(n1 = n1)
C <- list(c1 = c1)
formulae<-"Option_A ? n1+c1
Option_B ? 2*c1
Option_C ? 2* (n1+c1)
Option_D ~ 3* (n1+c1)"
itemgen(soru2, formulae = formulae, N = N, C = C)## [Q1]
## Stem "Ali, kalemlerinin 1 tanesini arkadaşına verdiğinde elinde 4 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A " 5"
## Option_B " 8"
## Option_C "10"
## Option_D "15"
## Answer_Key "Option_D"
## [Q2]
## Stem "Ali, kalemlerinin 2 tanesini arkadaşına verdiğinde elinde 5 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A " 7"
## Option_B "10"
## Option_C "14"
## Option_D "21"
## Answer_Key "Option_D"
## [Q3]
## Stem "Ali, kalemlerinin 3 tanesini arkadaşına verdiğinde elinde 6 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A " 9"
## Option_B "12"
## Option_C "18"
## Option_D "27"
## Answer_Key "Option_D"
## [Q4]
## Stem "Ali, kalemlerinin 4 tanesini arkadaşına verdiğinde elinde 7 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A "11"
## Option_B "14"
## Option_C "22"
## Option_D "33"
## Answer_Key "Option_D"
## [Q5]
## Stem "Ali, kalemlerinin 5 tanesini arkadaşına verdiğinde elinde 8 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A "13"
## Option_B "16"
## Option_C "26"
## Option_D "39"
## Answer_Key "Option_D"
## [Q6]
## Stem "Ali, kalemlerinin 6 tanesini arkadaşına verdiğinde elinde 9 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A "15"
## Option_B "18"
## Option_C "30"
## Option_D "45"
## Answer_Key "Option_D"
## [Q7]
## Stem "Ali, kalemlerinin 7 tanesini arkadaşına verdiğinde elinde 10 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A "17"
## Option_B "20"
## Option_C "34"
## Option_D "51"
## Answer_Key "Option_D"
## [Q8]
## Stem "Ali, kalemlerinin 8 tanesini arkadaşına verdiğinde elinde 11 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A "19"
## Option_B "22"
## Option_C "38"
## Option_D "57"
## Answer_Key "Option_D"
## [Q9]
## Stem "Ali, kalemlerinin 9 tanesini arkadaşına verdiğinde elinde 12 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A "21"
## Option_B "24"
## Option_C "42"
## Option_D "63"
## Answer_Key "Option_D"
## [Q10]
## Stem "Ali, kalemlerinin 10 tanesini arkadaşına verdiğinde elinde 13 kalemi kalıyor. Veli’nin kalemlerinin sayısı Ali’nin kalemlerinin sayısının iki katı olduğuna göre ikisinin kalemleri toplamı kaçtır?"
## Option_A "23"
## Option_B "26"
## Option_C "46"
## Option_D "69"
## Answer_Key "Option_D"Yukarıdaki kodlar incelendiğinde N1 ve C1 adında iki değişen tanımlanmıştır. N1 ve C1 değişkenleri sayısal olup sırasıyla 10 ve 10 farklı sayı değeri alabilmektedir. Buradan hareketle 100 (10x10) farklı soru oluşturulabileceği aşikârdır. Diğer yandan seçenekler sayısal değişkenler olan N1 ve C1 kullanılarak oluşturulmuştur. Ancak değişkenler oluşturulurken dikkatli olunmalıdır. Söz gelimi “Ali, [N1] kaleminin [C1] tanesini arkadaşına verdiğinde elinde kaç kalemi kalır?” gibi bir soruda [N1] sayısal değişkeni [1, 10] aralığında alınıp [C1] değişkeni de [5, 15] gibi bir aralıkta alındığında bazı sonuçlar negatif çıkacaktır. Bu durum ise günlük yaşam durumlarına uygun olmayan bir sonuç ortaya çıkarmaktadır.
Chat GPT’nin ürettiği yukarıdaki bilgilerin doğruluğu teyit edilmiştir.↩︎