Bölüm 5 Otomatik Madde Üretimi Aşamaları ve Örnek Uygulamalar
Otomatik madde üretimi temel olarak iki yöntemle gerçekleştirilir: model tabanlı otomatik madde üretimi ve model tabanlı olmayan otomatik madde üretimi. Her iki yöntemin temele aldığı yaklaşım farklılık gösterdiği için madde üretim aşamaları da farklılık gösterir. Bu bölümde model tabanlı otomatik madde üretiminin aşamalarına ilişkin bilgilere yer verilecektir. Bunun birinci nedeni, otomatik madde üretiminin model tabanlı yaklaşımla başlaması ve yöntemin birçok açıdan gelişmiş olmasıdır. İkinci olarak model tabanlı otomatik madde üretiminin özellikle bilişsel özelliklerin ölçülmesine yönelik maddelerin üretiminde iyi sonuçlar vermesi ve bu konuda farklı disiplinlerde çok fazla örneğinin bulunmasıdır. Benzer şekilde üretilen maddeler çok fazla madde denetlemesi gerektirmeden kullanılabilir ve saha araştırmalarında oldukça iyi sonuçlar üretir. Tüm bu gerekçeler dolayısıyla bu bölümde model tabanlı otomatik madde üretiminin aşamaları detaylandırılmıştır.
Model tabanlı otomatik madde üretimi için Gierl ve Lai (2015) üç aşamalı bir süreç önermektedir: (i) Birinci aşamada konu alan uzmanları, madde üretmek için gereken içeriği belirler ve bunu bilişsel model adı verilen bir çerçevede yapılandırır. (ii) İkinci aşamada bilişsel modelin konumlandırılacağı bir madde modeli geliştirilir. Madde modeli yeni test maddeleri oluşturmak için maddedeki hangi bileşenlerin değiştirilebileceğini gösteren bir modeldir. (iii) Üçüncü ve son aşamada bilişsel modelde yer alan içerik, bilgisayar algoritmaları kullanılarak madde modeline yerleştirilir ve maddeler otomatik olarak üretilir. Bu üç aşamalı süreç, bir bilişsel model kullanılarak sistematik olarak yeni maddelerin üretildiği bir iş akışı görevi görür.
5.1 Bilişsel Modelin Geliştirilmesi
Model tabanlı otomatik madde üretiminin birinci aşamasını oluşturan bilişsel model; bir alandaki belirli bir sorunu çözmek için gereken bilgi, beceri ve yetenekleri vurgulayan temsil olarak tanımlanabilir. Sınav katılımcılarının test performansının altında yatan tüm bilgi, beceri ve süreçleri detaylı olarak kapsar. Ölçülmesi amaçlanan özellikler belirlendikten sonra amaçlanan özelliğin kapsamında yer alan ve çözümü için gerekli olan bilişsel süreçler ve beceriler tanımlanır. Söz konusu tanımlama süreci hem modelin hazırlanması için gereklidir hem de uygulama sonrasında eksiklerin belirlenmesi konusunda etkilidir. Bu sayede öğrencilerin eğitim süreçleri içerisindeki ihtiyaçları belirleneceğinden etkili bir geri bildirim sağlanabilir ve zaman-emek kaybının da önüne geçilebilir.
İlk olarak geliştirilen “anahtar özellikler bilişsel modeli”, sınav katılımcılarının bir alandaki temel özelliklerini bir araya getirme ve uygulama becerilerini ölçmek için kullanılır. Bu model, madde içeriğinin değişebilmesi ve özelliklerin anlamlı kombinasyonu nedeniyle anahtar kavramlar çerçevesinde oluşturulan maddeler arasında farklılık gösterebilmesi özelliğiyle dikkat çeker. Bu modelleme yaklaşımının belirleyici özelliği, madde içeriğinin değişebilmesi ve özelliklerin anlamlı kombinasyonu nedeniyle anahtar kavramın da oluşturulan maddeler arasında farklılık gösterebilmesidir. İkinci tür bilişsel mode ise “mantıksal yapılar bilişsel model” olarak adlandırılır. Mantıksal yapılar bilişsel modeli, sınav katılımcılarının bir kavramı farklı içerik temsillerinde kullanma becerilerini ölçmek için kullanılır. Bu model, öğenin içeriğinin değişebilmesi, ancak içeriği işlemek için gereken fikrin, formülün, algoritmanın ve/veya mantıksal sonucun sabit olması özelliğiyle öne çıkar. Mantıksal yapıları kullanarak bilişsel model geliştirme, fen ve matematik gibi içerik alanlarında kullanım alanları bulunmaktadır. Üçüncü olarak da “metin analizi bilişsel model” bulunmaktadır. Köprü yaklaşımında bilişsel modelin insan uzmanlar ve bilgisayar teknolojisiyle birlikte gerçekleştirildiği bir süreci kapsar. Bu bölümde anahtar özellikler bilişsel modeli ile mantıksal yapılar bilişsel modeli birer örnekle detaylandırılmıştır.
5.1.1 Anahtar özellikler bilişsel modeli
Anahtar özellikler bilişsel modeli, özelliklerin sistematik bir kombinasyonuna dayanır. Bu modelin temel varsayımı, bir maddenin çözümü için gerekli olan bilgi, beceri ve içerikler belirli özellikler çerçevesinde ele alınır. Dolayısıyla modelde görev özellikleri anlamlı bir şekilde birleştirilerek anlamlı kombinasyonlar oluşturulur ve kısıtlamalarla madde tutarlılığı ve doğruluğu sağlanır. Modeldeki esnek içerik ve kavramlar, özelliklerin amaca yönelik entegrasyonu ile oluşturulan maddeler arasında değişiklik gösterebilir. Sağlık bilimleri alanında yaygın olarak kullanılan anahtar özellikler bilişsel modeline dayalı bir üretim, Sayın ve Gierl (2023b) tarafından Türk dili ve edebiyatı dersine ilişkin bir konu için geliştirilmiştir (Şekil 1). Bu çalışma hem Türk edebiyatı gibi sözel içerikli bir alanda gerçekleştirilen uygulama olması hem de Türk dilinde ilk gerçekleştirilen çalışmanın (Sayın & Gierl, 2023a) devamı niteliğinde olması bakımından önemlidir. Araştırmada otomatik madde üretimi için Türkiye’de en fazla adayın katılım gösterdiği YKS uygulamasının ikinci oturumu Alan Yeterlik Testi kapsamında yer alan ve her yılki uygulamada sorusu bulunan bir kazanım seçilmiştir: “Divan edebiyatı şairlerini bilir.” Bu doğrultuda Türk dili ve edebiyatı alt testinin “divan edebiyatı şairleri” konusuna ait öğrenci özelliklerinin belirlenmesi için öncelikle bilişsel model geliştirilmiştir. Hangi bilişsel modelin geliştirileceği, daha önce söz edildiği gibi ölçülecek özelliğin içeriğine bağlı olarak değişiklik göstermektedir. Bu doğrultuda öncelikle ortaöğretim Türk Dili ve Eğitimi Öğretim Programı incelenmiştir. Programda A.1.10 kodlu “Şair ile şiir arasındaki ilişkiyi değerlendirir.” öğrenme hedefinin altında yer alan açıklamada öğrencilerin söz konusu amaca ulaşması için “divan edebiyatı şairlerinin hayatı ve görüşlerini” bilmesi gerektiği belirtilmiştir (MEB, 2018). Bu doğrultuda AYT’de yer alan maddeler de incelenerek söz konusu özelliği ölçmek için gerekli bilgi, beceri ve içeriklerin anahtar özelliklerden oluştuğu belirlenmiştir. Bu doğrultuda anahtar özellikler bilişsel modeli geliştirilmiştir. Türkçede ilk defa geliştirilen bir model olduğu için örnek olması amacıyla sadece 17. yy divan edebiyatı şairleri seçilerek model bu doğrultuda oluşturulmuştur. 17. yyda öne çıkan şairler belirlendikten sonra bu şairlerin hayatı ve görüşlerine yönelik bilgi kaynakları yaşanılan zaman, edebî anlayış, ürün ve edebiyattaki yer olarak belirlenmiştir. Her bir bilgi kaynağı için de özellikler ve elementler tanımlanmıştır. Bilişsel modeldeki tüm bileşenlerin yerleştirilmesinin ardından sınırlandırma işlemine geçilerek model tamamlanmıştır. Ardından Türk dili ve edebiyatı eğitimi alanında öğretim üyesi üç uzmanın görüşleri alınarak bilişsel model üzerinde gerekli düzenlemeler yapılmıştır. Bu düzenlemeler hem şekilsel hem de içerik yönünde olmuştur. Örneğin uzmanlar şairin edebiyattaki “yeri” ve “ünü” özelliklerini birbirine çok yakın bularak bunların birleşmesini istemiştir. Ayrıca AYT’deki benzer sorularda yer alan “etki” özelliği de uzman görüşü doğrultusunda modele eklenerek anahtar özellikler bilişsel modeline son şekli verilmiştir (Şekil 1). Bu konuda daha detaylı bilgi için Sayın ve Gierl (2023b) çalışması incelenebilir.
5.1.2 Mantıksal yapılar bilişsel modeli
Farklı bilişsel modeller, otomatik madde üretimine rehberlik ederken bilginin düzenlenmesine ve farklı bilişsel özellikte madde üretilmesine benzersiz yaklaşımlar sunar. Mantıksal yapılar bilişsel modeli, sınav katılımcılarının genellikle fikirler, formüller, algoritmalar veya mantıksal sonuçlar içeren çeşitli içerik temsillerinde bir kavramı uygulama becerilerini değerlendiren temel odak noktasına sahiptir. Bu model, sabit bir kavram veya mantıksal yapıyı korurken madde içeriğinde esnekliğe izin verir. Sayın ve diğerleri (2023) mantıksal yapılar bilişsel modeli geliştirerek bu modele dayalı olarak görsel akıl yürütme maddeleri üretmişlerdir. Bu çalışmada Türkiye’de Bilim ve Sanat Merkezi (BİLSEM) giriş sınavları ile özel yetenekli öğrencileri belirlemek için kullanılan maddelerin üretimi için bir örnek sunulmuştur. Benzer şekilde öncelikle ölçülecek özelliğin ölçülmesine odaklanılmış, “öğrencilerin görsel akıl yürütme becerilerini” ölçmeye odaklanan alt testler incelenmiştir. Test maddelerinin dayandığı kuramlar ve BİLSEM giriş sınavı için yayınlanan örnek sorular incelenmiştir. Cattel-Horn-Caroll zekâ modeli doğrultusunda zekâ alt alanları incelenmiştir. Bu araştırmaya konu olan görsel akıl yürütme için öğrencilerin görsel bilgileri anlama, yorumlama, analiz etme, karşılaştırma, ilişkilendirme, yeni duruma uygulama vb. aşamalarında işlemler yapması gerektiği belirlenmiştir. Bu aşamaları içeren maddelerin üretilmesi için de mantıksal yapılar bilişsel modeli oluşturulmuştur. Mantıksal yapılar bilişsel modelinde senaryoların “döndürme, perspektif, sıralama, eşleştirme, birleştirme ve şifre çözme” alanlarında yoğunlaştığı belirlenmiştir. Bu konuda bir örnek teşkil etmesi amacıyla da sadece döndürme uygulamasını ele alan bir model geliştirilmiştir (Şekil 2).
Görsel akıl yürütme maddelerinde döndürme uygulamasına dayalı olarak kullanılacak şekillerin mantıksal yapıları belirlenmiştir. Öncelikle madde çözümünde bilgi kaynağı olarak kullanılabilecek şekil, iç element, döndürme ve yöntem bileşenleri belirlenmiştir. Bu süreçte şeklin dış ve iç formu, iç element özelliği, döndürme yöntemi gibi bileşenler modele yerleştirilmiştir. Özellik ve elementlerin de ortaya konulmasının ardından sınırlandırmalar gerçekleştirilerek bilişsel model geliştirilmiştir. Ardından uzman görüşü alınmıştır. Biri ölçme ve değerlendirme, biri rehberlik ve araştırma merkezlerinde görevli bir uzman, ikisi de üstün yetenekliler alanında çalışmaları olan 4 uzmanın görüşleri alınarak bilişsel modele son şekli verilmiştir. Uzmanlar bileşenlerin doğruluğu, sınırlandırmalar ve öğrenci düzeyine uygunluklara yönelik görüş belirtmişlerdir. Örneğin döndürme maddelerinde beşgen yerine altıgen olması gerektiği; iç bölmelerde kare ve daire dörder eş parçaya, üçgen üç eş parçaya ve altıgen altı eş parçaya ayrılabileceği ifade edilmiştir. Uzmanlardan elde edilen bu görüşler doğrultusunda mantıksal yapılar bilişsel modeline son şekli verilmiştir. Bu konuda daha detaylı bilgi için Sayın ve diğerlerinin (2023) çalışması incelenebilir.
5.1.3 Metin analizi bilişsel modeli
NLP ve LLM tekniklerinin otomatik madde üretiminde kullanılmasıyla birlikte “metin analizi bilişsel modeli” olarak adlandırılan üçüncü bir bilişsel model türü daha bulunmaktadır. Sayın ve Gierl (2024) tarafından geliştirilen bu modelde ilk iki modelden farklı olarak bilişsel modelin üretilme süreci insan uzmanlığı ve yapay zekâ teknolojisinin bir arada çalışmasına bağlı gerçekleştilir. Daha detaylı bilgi için Sayın ve Gierl’in (2024) çalışması incelenebilir.
5.2 Madde Modelinin Geliştirilmesi
Bilişsel modelin oluşturulmasının ardından otomatik madde üretiminin ikinci aşamasında bir “madde modeli” oluşturulur. Madde modeli, yeni maddeler oluşturmak için maddedeki hangi bölümlerin değiştirileceğini belirten değerlendirme görevinin bir şablonu olarak tanımlanabilir. Yeni maddeler üretmek için değiştirilecek yerler maddenin gövdesinde, soru cümlesi ve seçeneklerde (doğru cevap ve çeldiriciler) yer alabilir. Bu aşamada madde modeline metin, resim, tablo, grafik ve diyagram gibi yardımcı özellikler ve problemi çözmek için gerekli olmasa da manipüle edilebilecek rastgele değişkenler de eklenebilir. Madde modeli tek katmanlı veya çok katmanlı bir şekilde oluşturulabilir. Bu bölümde daha önce anahtar özellikleri bilişsel modelinin ikinci aşaması olan tek katmanlı bir madde modeli (Tablo 2); mantıksal yapılar bilişsel özellikler modeli için de çok katmanlı bir madde modeli örneği (Tablo 3) gösterilmiştir. Ancak her iki çalışmanın da hem tek hem de çok katmanlı madde modelleri geliştirilmiştir. Başka bir anlatımla tüm bilişsel modeller için tek ve çok katmanlı madde modeli geliştirilmesi mümkündür. Bu bölümde sadece örnek olması ve karşılaştırma kolaylığı amacıyla sadece birer örnek sunulmuştur.
Madde modelleri geliştirildikten sonra modelin geçerliğine ilişkin uzman görüşü alınmıştır. Bu konuda uzmanlar maddeye taşınması gereken bilgilere ve bu bilgilerin yerleşeceği forma yönelik görüş bildirmektedir. Uzmanlardan elde edilen cevaplar doğrultusunda madde modellerine de son şekli verilmiştir.
5.3 Bilgisayar Teknolojisi ile Maddelerin Otomatik Üretilmesi
OMÜ’nün üçüncü ve son aşamasında bilişsel model, madde modeline yerleştirilerek otomatik madde üretimi gerçekleştirilir ve bunun için de bilgisayar teknolojisinden yararlanılır. Bunun amacı, konu uzmanları tarafından belirlenen kurallar ve kısıtlamalar doğrultusunda bilişsel modellerden gelen içeriği madde modelinin belirli bölümleriyle birleştirmektir. Daha sonra da hızlı bir şekilde maddeler bilgisayar algoritması sayesinde otomatik olarak üretilir. Daha önce söz edildiği gibi bu süreç, model tabanlı otomatik madde üretiminde son aşamayı içerirken model tabanlı olmayan yaklaşımda tüm süreçte bilgisayar algoritmaları aktif bir şekilde kullanılır. Otomatik madde üretimi için Math Test Creation Assistant (Singley ve Bennett, 2002), ModelCreator (Higgins, Futagi ve Deane, 2005), Item Distiller (Higgins, 2007), IGOR (Gierl ve diğerleri, 2018), EAQC (Gütl ve diğerleri, 2011), MARTEN (https://www.mghlpartners.com/software) olmak üzere geliştirilmiş yazılımlar bulunmaktadır. Bu yazılımlarda üretim yöntemin özelliklerine bağlı olarak model ve kanıt oluşturma, madde üretimi ve madde havuzu oluşturma süreçlerini kapsar. Bu sayede üretim sürecinde kalibrasyon çalışmaları gerçekleştirilebilir. Ayrıca R programlama dilinde QAIG (Automatic Item Generator for Quantitative Multiple-Choice Items), IMak (Item Maker) gibi paketler bulunmaktadır. Ancak söz konusu paketler sadece üçüncü aşamada işlem yürüttüğü, model geliştirme ve kanıt oluşturma süreçlerini içermedikleri için üretilen maddelerin kalibrasyonunu yapmak zordur. Bu nedenle de alan yazında otomatik madde üretiminin ilk ve sınırlı çalışmalarında kullanılmıştır. Doğal dil işleme, büyük dil modellerinin ve yapay zekâ tekolojisinin otomatik madde sürecine entegre edilmesi sonucunda genel üretim sürecinin hem model tabanlı hem de model tabanlı olmayan yaklaşımlarda Python programı tabanlı gerçekleştirildiği görülmektedir. Python tabanlı olarak işlemler hem online hem de offline ortamda gerçekleştirilebiir. Bu durum da test maddelerinin güvenirliğine göre kullanılacak ortam seçimine imkân tanır. Bu bölümde tanıtılan anahtar özellikler bilişsel modeli ve çok katmanlı madde modeline dayalı olarak 2560; mantıksal yapılar madde modeline dayalı olarak da 1728 madde oluşturulmuştur. Çok katmanlı madde modellerine ilişkin örnek maddeler Tablo 4 ve Tablo 5’te gösterilmiştir.
