Bölüm 6 Özet

Bilgisayar tabanlı uygulamaların taşınabilirlik, kullanılabilirlik, zaman ve mekân kısıtının olmaması gibi avantajları, ölçme ve değerlendirme alanında da bilgisayar uygulamalarının yaygınlaşmasının önünü açmıştır. Bilgisayar tabanlı test sistemleri sundukları içeriğin, uygulama ortamının ve testlerin değerlendirme boyutunun yanı sıra soru hazırlama biçimine yönelik yenilikleri de beraberinde getirmektedir. Bilgisayar tabanlı test uygulamalarının birçok avantajı bulunmakla birlikte bu uygulamalar geniş bir madde havuzuna ihtiyaç duyar. Geniş bir madde havuzu oluşturmak ise zaman, emek ve maliyet bakımından oldukça masraflıdır. Ayrıca maddelerde öznellik ve kalibrasyon sorunu bulunmaktadır.Bu doğrultuda bilgisayar teknolojisinin test geliştirme sürecine yenilik getirmesiyle otomatik madde üretim yöntemleri ortaya çıkmıştır.

1969 yılında Bormuth tarafından ortaya atılan bir fikirle başlayan otomatik madde üretimi, 55 yıl gibi çok da uzun olmayan bir sürede çok hızlı mesafe kat etmiştir. Ortaya çıkışından bu yana madde iskeleti, kabuğu ve en son da modelleri geliştirilmiş; daha sonra bilişsel ve madde modeli ayrılarak kalibre edilebilen maddeler üretilmeye başlanmıştır. Bu süreç hem madde üretimi hem de değerlendirme mühendisliği adı verilen bilgisayar teknolojisi alanındaki ilerlemelerle başarılı sonuçlar vermiştir. Bilgisayar teknolojilerinde NLP ve LLM teknolojilerinin otomatik madde üretimine entegre edilmesiyle birlikte de geliştirilen yeni yöntemlerle çalışmaları hız kazanmıştır. Günümüzde otomatik madde üretimi; model tabanlı, model tabanlı olmayan ve köprü yöntemi ile gerçekleştirilmektedir. Her yöntemin üstün ve sınırlı yöntemleri ile kullanım alanları bulunmaktadır. Kullanılan yönteme göre de uygulama aşamaları farklılık göstermektedir.

Model tabanlı otomatik madde üretimi ilk olarak bilişsel modelin geliştirilmesi ile başlar. Bilişsel model, belli bir maddeyi çözmek için gerekli bilgi, beceri ve yeterlikler ile bunların nasıl kullanılacağını içeren organizasyon şeması olarak tanımlanır. Bu organizasyon şemasında maddenin çözümü için gerekli bilgi kaynakları, her bir bilgi kaynağı içindeki bütün bileşenler tanımlanır. Maddenin ölçmek istediği özelliğe ve bilişsel modelin oluşturulma şekline bağlı olarak anahtar özellikler, mantıksal yapılar ve metin analizi bilişsel modeli oluşturulabilir. Bilişsel model hem üretilecek tüm maddelere ilişkin geçerlik ve güvenirlik kanıtlarının alınmasını sağlar hem de uygulama sonrasında etkili geri bildirim verilmesi için bilgi kaynağı oluşturur. Bilişsel modelin geliştirilmesinin ardından maddeyi çözmek için gerekli içeriğin hangi madde türünde ve ne şekilde oluşturulacağını belirlemek için madde modeli geliştirilir. Tek katmanlı ya da çok katmanlı bir şekilde geliştirilen madde modelinde manipüle edilecek ve sınırlandırması gerçekleştirilen elementler de tanımlanır. Otomatik madde üretiminin son aşamasını üretim süreci oluşturur. Bu aşamada içerik, bilgisayar tabanlı algoritmalar kullanılarak ikinci adımda açıklanan şablona yerleştirilir. Bilgisayar algoritmalarıyla geliştirilen otomatik madde üretimine yönelik yazılımlar bulunsa da özellikle model tabanlı olmayan üretimler Python programlama diliyle gerçekleştirilmektedir. Sonuç olarak hâlâ gelişmekte olan otomatik madde üretimi, test geliştirme alanında sunduğu yenilikçi yaklaşım ve elde edilen nitelikli sonuçları sayesinde eğitim ve psikoloji alanında önemli bir yer edinme bir potansiyeline sahiptir. Bu kitabın da bu gelişmeye katkı sağlamasını temenni ederiz.