Bölüm 9 Değişen Madde Fonksiyonu

Dr. Hülya Kelecioğlu

Test maddelerinin bireylerin testle ölçülen özelliklerini açığa çıkartması ve ölçülen özellik(ler) dışındaki faktörlerin bireylerin test maddelerindeki performanslarını etkilememesi amaçlanır. Bu durum test geçerliği ile yakından ilişkilidir.

Bir test maddesine verilen yanıtlar, bireyler arasında farklılık gösterir. Yanıtlardaki bu farklılığın bireylerin gerçek yetenek düzeylerinden kaynaklanması ve madde puanlarının da bireyler arasındaki gerçek farklılıkları yansıtması beklenir. Test maddesinden alınan puanlar, bireyler arasındaki gerçek farklılıkları gösteriyorsa, bu duruma madde etkisi adı verilir. Testi alan ve aynı yetenek düzeyinde olan bireyler maddelerden benzer biçimde etkilenmeli ve bireylerin maddeye verdikleri tepkiler benzer olmalıdır. Bir test maddesi, aynı yetenek düzeyindeki bireylerin bazıları tarafından diğerlerine göre daha yüksek olasılıkla doğru yanıtlanıyorsa, bu durum maddenin yanlı olduğunu gösterir. Örneğin bir okuduğunu anlama testinde, futbol karşılaşmalarının anlatıldığı bir metne bağlı sorular sorulmuş olsun. Bu metin, futbol ile ilgilenen ve bu konuda bilgisi olan öğrenciler için daha çekici gelecek ve bu öğrenciler, soruları daha yüksek olasılıkla doğru yanıtlayacaktır. Bu durumda maddeyi doğru yanıtlama olasılığı, bireyin okuduğunu anlama düzeyi ile birlikte önceki deneyimlerine ya da bir gruba ait olmaya bağlı olabilmektedir. Burada testle ölçülen özellik dışında bir faktör puanlara karışmaktadır ve maddeler futbol bilgisi olan öğrenciler için pozitif yönde, diğerleri için negatif yönde bir yanlılık oluşturabilmektedir. Test puanları ile ilişkili olmayan bir varyans (futbol bilgisi gibi) puanlara karıştığından testten elde edilen puanlardaki hata miktarı artmaktadır ve testin geçerliği düşmektedir.

Yanlılık, testi alan bir grup için ortaya çıkan sistematik hata ya da bir geçersizlik ölçüsü olarak tanımlanır (Camilli, 1994). Bir test maddesinde yanlılık ortaya çıktığında, aynı yetenek düzeyinde olan bireylerden bir grup maddeyi yanıtlamada avantajlı olurken diğer bir grup dezavantajlı olur. Madde yanlılığı test puanlarının geçerliğini düşüren önemli bir faktördür ve psikometri alanında çalışılan önemli konular arasındadır. Madde yanlılığını belirlemek için değişen madde fonksiyonu (DMF) çatısı altında toplanan çeşitli yöntemler geliştirilmiştir. Eşit yetenek düzeyindeki bireylerin maddeyi doğru yanıtlama olasılığının farklı olması DMF’ye neden olur. DMF gösteren bir madde aynı yetenek düzeyindeki iki grubun maddeyi doğru yanıtlama olasılıklarının farklı olması anlamına gelir. DMF belirleme yöntemlerinin çoğu, maddenin yanlı olup olmadığı hakkında doğrudan bilgi vermez. DMF olduğu belirlenen maddeler tekrar incelenerek maddenin hangi yönlerden gruplar için avantajlı ya da dezavantajlı olduğu açıklanmaya çalışılır. Bazen de DMF olduğu belirlenen maddeler için bir yanlılık tespit edilmeyebilir. DMF çalışmaları test maddelerinin yanlı olup olmadığını belirlemenin ilk aşamasıdır. İkinci aşamada DMF’ye neden olan faktör incelenir. DMF’ye neden olan faktör testle ölçülen yapı ile ilgili değilse, bu durumda yanlılıktan söz edilir. Karar verme süreci genellikle bir uzman grubuyla yürütülür.

Yanlılık araştırmaları 20. yüzyılın başlarına kadar uzanmaktadır. Alfred Binet’in, geliştirdiği zekâ testleri üzerinde yaptığı çalışmalar, bazı test maddelerinde düşük sosyo-ekonomik düzeydeki çocuklar için zekâdan çok kültürel öğrenmelerin etkisinin olabileceğini göstermiştir. Bu çalışmalar sonucunda da bu etkiyi ölçtüğü düşünülen maddeler testten çıkarılarak yanlılık problemine çözüm getirilmeye çalışılmıştır (Camilli, 1994; Karami, 2012). Daha sonra başarı, yetenek ve kurumlara giriş sınavları gibi yüksek önemli sınavlar için de yanlılığın önemli olduğu, testlerde adalet sorununu ortaya çıkardığı ile ilgili tartışmalar başlamıştır. Testlerdeki yanlılığı belirlemek için testi alan alt gruplar (örneğin kız-erkek gibi) üzerinde çalışmalar yürütülmüştür. Başlangıçta gruplar arası dönüştürülmüş madde güçlüğünün farkını test eden madde güçlüğü yöntemi ve grup-madde etkileşimini belirlemeyi amaçlayan varyans analizi yöntemi kullanılmıştır. Gruplar arasındaki performans farklarına dayanan bu çalışmalarda madde etkisi ile madde yanlılığı ayırt edilememiştir (Camilli, 1994; Zumbo, 2007). Diğer bir ifadeyle kız ve erkek öğrencilerin bir test maddesindeki performanslarının farklılığının, onların gerçek farklılıklarından mı yoksa maddenin gruplardan birine avantaj sağlamasından mı kaynaklandığını ayırt etmekte güçlükler yaşanmıştır.

Madde etkisi ve yanlılığın ayırt edilebilmesi için değişen madde fonksiyonu adı altında bir dizi istatistiksel yöntem işe koşulmuştur. DMF yöntemleri, karşılaştırma yapılan gruplardaki eşit derecede performansa sahip bireylerin karşılaştırılmasına dayanmaktadır. Böylece gerçek farklılıklardan kaynaklanan madde etkisi ile yanlılıktan kaynaklanabilecek farklılıklar ayırt edilmeye başlanmıştır. DMF olduğu belirlenen maddelerin içerikleri incelenerek yanlılık konusunda da bir karara varılmaktadır.

Günümüzde DMF iki ayrı grupta (örneğin kız-erkek gibi) yer alan ve aynı yetenek düzeyine sahip bireylerin bir maddedeki beklenen puanlarının farklılığı olarak tanımlanır (Kamata ve Vaughn, 2004). DMF belirleme çalışmasının ilk aşamasında iki grup vardır. Bunlar maddeyi yanıtlandırmada olası yanlılık kaynağı olabileceğinin düşünüldüğü gruplardır (kız-erkek, özel okul-devlet okulu öğrencisi gibi). Gruplardan biri odak grup, diğeri referans grup olarak adlandırılır. Odak grup, testte dezavantajlı olduğu düşünülen ya da azınlık olan grup olarak tanımlanabilir. Testte avantajlı olduğu düşünülen grup ise referans grup olarak adlandırılır. Bununla birlikte grupların bu şekilde adlandırılması her zaman geçerli olmayabilir. Hangi grubun avantajlı ya da dezavantajlı olduğu konusunda bir öngörü yoksa sayıca az olan grup odak grup olarak seçilir. Gruplardaki kişi sayıları da eşitse gruplardan biri odak, diğeri referans olarak adlandırılır.

DMF çalışmalarında aynı yetenek düzeyindeki bireyler karşılaştırıldığından, yetenek düzeylerinin eşleştirilmesi ve eşleştirme için de bir ölçüt kullanılması gerekir. Eşleştirme ölçütü olarak iç ölçüt ya da dış ölçüt kullanılabilir. İç ölçüt olarak testin gözlenen ya da örtük puanları kullanılır. Dış ölçüt olarak başka bir testin gözlenen ya da örtük puanları alınır. Dış ölçüt için alınan testin, DMF incelenen test ile aynı yapıyı ölçtüğünün ve yanlılık göstermediğinin de ayrıca kanıtlanması gerekir. Dış ölçütle yapılan çalışmalar ölçüt geçerliği kapsamında ele alınmakta, gruplar için ölçüt ve test puanları arasında farklı ilişkiler bulunduğunda test yanlılığı için bir kanıt olarak öne sürülebilmektedir. Ancak DMF, madde düzeyinde bir çalışmadır ve dış ölçüt kullanılarak yapılan çalışmalardan hem madde yanlılığını belirlemede uygun sonuçlar elde edilememiş, hem de geçerli bir test bulmanın zorlukları ortaya çıkmıştır (Camilli, 1994, s. 15). Bu nedenlerle eşleştirme ölçütünde yaygın olarak iç ölçüt puanları alınır (Karami, 2012; Zumbo, 2007). İç ölçüt puanlarının geçerliğini artırmak için DMF olmayan maddelerden alınan puanlar kullanılabilir.

Bir maddenin alt gruplardaki tüm yetenek düzeyleri için doğru yanıtlanma olasılıkları eşitse, o maddenin DMF göstermediği söylenebilir. DMF göstermeyen bir maddenin parametreleri de alt gruplar için birbirine eşit ya da çok yakındır (Zumbo, 1999). Bunu belirlemek üzere maddenin alt gruplar için madde karakteristik eğrilerine bakılabilir. DMF göstermeyen bir maddenin madde karakteristik eğrisinin Şekil 9.1’deki gibi olması beklenir.

Şekil 9.1: DMF göstermeyen bir madde

Şekil 9.1’deki maddede aynı testi yanıtlayan iki grup test puanlarına göre eşleştirilmiş ve her puana ilişkin maddeyi doğru yanıtlama olasılıkları hesaplanmıştır. Bu maddenin parametreleri iki grup için birbirine çok yakındır. Bu maddede alt gruplar için çizilen madde karakteristik eğrileri birbirine çok yakındır, eğriler arasındaki alan çok küçüktür.

DMF, tek biçimli (TB) ve çok biçimli (ÇB) olarak iki türde incelenir (Camilli, 1994; Zumbo, 1999). Bir maddede, gruplardan birinin tüm yetenek düzeylerinde diğer gruptan daha iyi performans göstermesi, tek biçimli DMF olarak adlandırılır. Tek biçimli DMF’de, bir grubun üyeleri, diğer grupta aynı yetenek düzeyindeki bireylerden daha iyi performans göstermiştir. Şekil 9.2’de tek biçimli DMF gösteren bir maddenin grafiği yer almaktadır.

Şekil 9.2: Tek biçimli DMF gösteren bir madde

Şekil 9.2’de referans grupta yer alan bireylerin her yetenek düzeyinde maddeyi doğru yanıtlama olasılıklarının odak gruptakilerden daha yüksek olduğu görülmektedir. Örneğin θ=0.75 yetenek düzeyinde odak gruptaki bireylerin maddeyi doğru yanıtlama olasılıkları 0.55 iken, referans grupta aynı yetenek düzeyindeki öğrencilerin maddeyi doğru yanıtlama olasılıkları 0.80’dir. Madde, referans gruptaki bireylere avantaj sağlamıştır. Bu maddenin gruplardaki güçlük düzeyleri farklı, ayırt edicilik düzeyleri eşittir. Madde odak grup için daha zordur.

Çok biçimli DMF’de ise gruplardan biri belirli bir yetenek düzeyine kadar, aynı yetenek düzeyindeki bireylerden daha yüksek; sonrasında ise daha düşük performans gösterir. Çok biçimli DMF’de grup üyeliği ve yetenek düzeyi arasında bir etkileşim vardır. Şekil 9.3’te çok biçimli DMF gösteren bir maddenin grafiği yer almaktadır.

Şekil 9.3: Çok biçimli DMF gösteren bir madde

Şekil 9.3’teki maddede referans ve odak gruptaki bireyler yetenek düzeylerine göre eşleştirildiğinde eğrilerin bir noktada çakıştığı (θ=1), bu noktanın altında ve üstündeki yetenek düzeyleri için maddenin farklı işlediği görülmektedir. Yetenek düzeyi 1’in altında olanlar için odak gruptaki bireylerin maddeyi doğru yanıtlama olasılıkları referans gruptakilere göre daha yüksektir. Yetenek düzeyi 1’in üzerinde olanlar için ise referans grupta yer alanların maddeyi doğru yanıtlama olasılıkları odak gruptakilere göre daha yüksektir. Dolayısıyla madde odak grupta düşük yetenek düzeyindeki bireylere avantaj sağlarken, referans grupta yüksek yetenek düzeyindeki bireylere avantaj sağlamıştır. Şekil 9.3’teki maddenin gruplar için madde güçlükleri eşit, ayırt edicilik düzeyleri farklıdır.

9.1 DMF Belirleme Yöntemleri

DMF belirlemek için çok sayıda yöntem önerilmiştir. İlk kullanılan yöntemler, madde yanlılığını belirlemek için kullanılan standartlaştırılmış madde güçlüğüne, varyans analizine ve madde-test korelasyonuna dayalı olan yöntemlerdir (Camilli, 1994). Ancak bu yöntemlerin eksiklikleri ortaya çıkmış ve daha güçlü olanlar uygulanmaya başlamıştır.

Başlangıçta iki kategorili puanlanan maddelerin olduğu tek boyutlu testlerde tek biçimli DMF belirleme yöntemleri üzerinde çalışılmıştır. Ancak farklı yapıdaki madde ve testlerde DMF belirleme ihtiyacı, mevcut yöntemlerin gözden geçirilmesine ya da yenilerinin uygulanmasına neden olmuştur (Berrío, Gómez-Benito ve Arias-Patiño, 2020). Çok sayıda yöntemin ortaya çıkması sonucu bazı yazarlar tarafından yöntemler sınıflandırılmıştır. Sınıflamalar eşleştirme değişkenine (gözlenen-örtük), maddenin kategori sayısına (iki kategorili-çok kategorili) göre yapılabildiği gibi, madde puanı ve eşleştirme değişkeni arasındaki ilişkinin parametrik ya da parametrik olmayan olmasına göre de yapılmaktadır. Sınıflama ölçütlerinin tümüne göre yapılan çapraz sınıflamalar da bulunmaktadır (Berrío ve diğerleri, 2020; Hidalgo ve Gómez-Benito, 2010; Potenza ve Dorans, 1995). Tablo 9.1’de bu bölümde adı geçen DMF yöntemlerinin sınıflandırılması yer almaktadır.

Tablo 9.1: DMF Yöntemlerinin Sınıflandırılması

Model	İki Kategorili (Gözlenen)	Çok Kategorili (Gözlenen)	İki Kategorili (Örtük)	Çok Kategorili (Örtük)
Parametrik	Lojistik Regresyon	Çok Kategorili Lojistik Regresyon	Lord’un Kikare Testi, Raju’nun Alan İndeksi, MTK-Olabilirlik Oranı Testi	Lord’un Kikare Testi, Raju’nun Alan İndeksi, MTK-Olabilirlik Oranı Testi
Parametrik Olmayan	Mantel-Haenszel (MH)	Genelleştirilmiş MH, Ordinal MH	SIBTEST	PolySIBTEST

Bu bölümde DMF belirleme yöntemleri açıklandıktan sonra her birine ilişkin örneklere yer verilmiştir. Ele alınan DMF belirleme yöntemleri Mantel-Haenszel, lojistik regresyon, SIBTEST, Lord-χ2, Raju’nun alan indeksi ve MTK olabilirlik oranı testi yöntemleridir. DMF belirlemeye ilişkin örneklerde, iki kategorili puanlanan maddelerde DMF belirlemek için bu bölümde ele alınan yöntemlerden MTK olabilirlik oranı testi dışındaki yöntemleri içeren difR paketi (Magis, Beland, Tuerlinckx ve De Boeck, 2010) kullanılmıştır. MTK olabilirlik oranı testi için mirt paketinden (Chalmers, 2012) yararlanılmıştır. Paket fonksiyonlarının DMF belirlemede kullanımını göstermek için ise veriX.xlsx veri dosyası kullanılmıştır. Veri seti 1600 bireyin grup üyeliği ve 36 maddeye verdiği yanıtlardan oluşmaktadır. Bu bölümdeki tüm örnek uygulamalarda bu veri seti kullanılmıştır. Veri setinin R ortamına aktarılması için readxl paketinin aktif hale getirilmesi gerekmektedir. readxl paketindeki read_excel() fonksiyonu kullanılarak veri seti veri nesnesine aktarılmıştır. Veri setinin ilk 6 satırı head() fonksiyonuyla yazdırılmıştır.

library(readxl)
veri <- read_excel("import/veriX.xlsx")
veri <- as.data.frame(veri)
head(veri)
#>   grup_X madde1 madde2 madde3 madde4 madde5 madde6 madde7 madde8 madde9 madde10
#> 1      1      0      0      0      1      1      0      1      1      1       0
#> 2      1      0      0      1      1      1      0      1      0      1       1
#> 3      1      0      0      1      0      0      0      1      0      0       1
#> 4      1      0      1      1      0      0      0      0      0      1       1
#> 5      1      1      0      1      1      1      0      1      0      1       1
#> 6      1      0      0      0      0      0      0      0      1      0       1
#>   madde11 madde12 madde13 madde14 madde15 madde16 madde17 madde18 madde19
#> 1       1       1       1       1       0       1       1       1       1
#> 2       1       1       1       1       1       0       1       0       1
#> 3       1       0       1       0       0       1       0       0       1
#> 4       1       1       0       1       1       0       0       1       1
#> 5       1       0       1       1       1       1       1       1       1
#> 6       0       1       1       1       1       1       1       0       0
#>   madde20 madde21 madde22 madde23 madde24 madde25 madde26 madde27 madde28
#> 1       1       1       1       1       1       1       1       0       1
#> 2       1       1       0       1       1       0       1       1       1
#> 3       0       1       1       1       1       1       1       0       1
#> 4       1       1       0       0       1       1       1       0       1
#> 5       0       1       1       1       1       1       1       1       1
#> 6       0       1       1       0       1       1       0       0       1
#>   madde29 madde30 madde31 madde32 madde33 madde34 madde35 madde36
#> 1       1       1       1       1       1       1       1       1
#> 2       1       1       1       1       1       1       1       1
#> 3       1       1       1       1       1       0       1       1
#> 4       1       1       1       0       1       1       1       1
#> 5       1       1       1       1       1       1       1       1
#> 6       0       1       1       1       1       1       0       1

difR paketindeki difMH(), difLogistic() gibi fonksiyonlara ilişkin kodlarda girdi olarak analiz edilecek veri seti, referans ve odak grup bilgisine ilişkin grup üyeliği vektörü kullanılmaktadır. Analiz edilecek veri seti olarak veri setinin son 36 sütunu kullanılmıştır, grup üyeliği olarak ise veri setinin 1. sütunu grup vektörüne atanarak kullanılmıştır. grup vektöründe yer alan değerlerden 0, odak grup olarak belirlenmiştir. Örnekte ölçek saflaştırması/arındırması yapılmış ve I. tip hatanın artışı BH ile ayarlanmıştır.

difR paketindeki fonksiyonların çoğunda ortak olan argümanlar aşağıdaki gibidir:

• Data: Yanıt verisi matrisi.

• grup: Grup üyeliği vektörü (sayısal veya karakter).

• focal.name: Odak grup için etiket (sayısal veya karakter). Örneklerde focal grup “0” karakteriyle tanımlanmıştır.

• purify: İsteğe bağlı bir bağımsız değişken (mantıksal). TRUE değeriyle kullanılarak “ölçek saflaştırması/arındırması” gerçekleştirilir.

• p.adjust.method: İsteğe bağlı bir bağımsız değişken. “BH” olarak ayarlanarak, çoklu karşılaştırma nedeniyle I. tip hata artışını ayarlamak için p-değerlerinde Benjamini-Hochberg düzeltmeleri gerçekleştirilir.

9.1.1 Mantel Haenszel Yöntemi

Mantel-Haenszel (MH) yöntemi, iki kategorili iki değişkenin bağımsızlığını test eden üç boyutlu olasılık tablolarına dayanır. Bu yöntemle, testi alan iki grubun bir maddeye verdiği yanıtlara göre DMF olup olmadığı incelenir (Holland, 1988). Parametrik olmayan modeller altında sınıflandırılan bu yöntem, iki kategorili ve çok kategorili verilere uygulanabilir.

MH yöntemi K düzeyli eşleştirme ölçütünün her düzeyi için iki grubun iki kategorili puanlanan maddeye ilişkin 2 x 2 x K boyutlu olasılık tablolarıyla iki grubun bağımsızlığını test ederek DMF belirlemede kullanılır. Eşleştirme ölçütü olarak testten alınan toplam puan, yani gözlenen puan kullanılır.

Tek biçimli DMF’nin belirlenebildiği yöntemin ilk aşamasında olasılık tabloları oluşturulur. Örneğin cinsiyete göre DMF olup olmadığının incelendiği bir madde için kadınlar odak grup olarak kabul edilebilir. Toplam test puanı eşleştirme ölçütü olarak alınarak düşükten yükseğe doğru sıralanıp homojen puan kategorileri elde edilir. Her puan kategorisi için Tablo 9.2’deki gibi olasılık tabloları oluşturulur (Wu, Tam ve Jen, 2016).

Tablo 9.2: Odak ve Referans Grupların i. Maddenin k. Puan Kategorisindeki Yanıtlarının Frekans Dağılımı

Grup	Doğru (1)	Yanlış (0)	Toplam
Referans Grup (RG)	\(A_{ik}\)	\(B_{ik}\)	\(N_{RGik}\)
Odak Grup (OG)	\(C_{ik}\)	\(D_{ik}\)	\(N_{OGik}\)
Toplam	\(M_{1ik}\)	\(M_{0ik}\)	\(T_{ik}\)

Tablo 9.2’de, \(A_{ik}\) ve \(C_{ik}\) sırasıyla k. puan kategorisinde referans ve odak grupta maddeyi doğru yanıtlayanların sayısını, \(B_{ik}\) ve \(D_{ik}\) sırasıyla k. puan kategorisinde referans ve odak grupta maddeyi yanlış yanıtlayanların sayısını ifade eder. \(N_{RGik}\) ve \(N_{OGik}\) sırasıyla k. puan kategorisinde referans ve odak gruptaki toplam birey sayısını, \(M_{1ik}\) ve \(M_{0ik}\) sırasıyla k. puan kategorisinde doğru ve yanlış yanıt verenlerin sayısını, \(T_{ik}\) da k. puan kategorisinde toplam birey sayısını ifade eder.

MH yöntemiyle DMF belirlemede üç ayrı istatistik kullanılmaktadır (Finch ve French, 2018). MH yöntemiyle DMF belirlemede kullanılan birinci istatistik, eşleştirme değişkeninin bütün düzeyleri boyunca maddeyi doğru yanıtlama oddsunun referans grupta ve odak grupta aynı olduğu yokluk hipotezine ilişkin MH istatistiği olup bu istatistik \(\chi^2\) sembolüyle gösterilir (Holland, 1988). MH istatistiği eşitliği Eşitlik (9.1)’de verilmiştir.

\[ \chi^2=\frac{|\sum_{i=1}^k[A_{ik}-E(A_{ik})]|-0.5^2}{\sum_{i=1}^kVar(A_{ik})} \tag{9.1} \]

Eşitlikte; \(E(A_{ik})\): i. maddenin k. puan kategorisinde referans grupta doğru yanıt sayısının beklenen değeri, \(Var(A_{ik})=\frac{N_{RGik}N_{OGik}M_{1ik}M_{0ik}}{T_{ik}}\)

MH istastistiği, bir serbestlik derecesiyle \(\chi^2\) dağılımı gösterir ve maddede tek biçimli DMF olup olmadığını test etmek için kullanılır. Test sonucunun manidar çıkması, toplam test puanına göre ilgilenen maddenin referans ve odak gruplarda ölçülen özellik bakımından farklı işlediğini gösterir.

MH yöntemiyle DMF belirlemede kullanılan ikinci istatistik olasılık oranıdır ve \(\alpha_{MH}\) sembolüyle gösterilir. Olasılık oranı eşitliği Eşitlik (9.2)’de verilmiştir.

\[ \alpha_{MH}=\frac{\sum_{i=1}^kA_{ik}D_{ik}/T_{ik}}{\sum_{i=1}^k B_{ik}C_{ik}/T_{ik}} \tag{9.2} \]

Her k puan kategorisi için elde edilen sonuçlar toplanarak maddenin olasılık oranı elde edilir. Olasılık oranı 0 ila ∞ arasında değerler alabilir. \(\alpha_{MH}\) değerinin 1 olması maddede DMF olmadığını gösterir. \(\alpha_{MH}\) değerinin 1’den küçük olması maddenin referans grup lehine, 1’den büyük olması ise maddenin odak grup lehine DMF gösterdiği şeklinde yorumlanır.

MH yöntemiyle DMF belirlemede kullanılan üçüncü istatistik olasılık oranından türetilmiştir. DMF olmadığının göstergesinin 1 değil, 0 olarak alınması için Holland (1988), \(\alpha_{MH}\) değerinin logaritmasının alınmasını, Dorans (1993a) da ln(\(\alpha_{MH}\)) değerinin -2.35 değeriyle çarpılarak kullanılmasını önermiştir. Böylece elde edilen değer \(\Delta_{MH}\) sembolüyle gösterilir. Bu dönüşümler, \(\alpha_{MH}\) değerinin 0 etrafında simetrik hale gelerek yorumlanmasını kolaylaştırır (Finch ve French, 2018). \(\Delta_{MH}\) eşitliği Eşitlik (9.3)’te verilmiştir.

\[ \Delta_{MH}=-2.35ln(\alpha_{MH}) \tag{9.3} \]

Dönüşüm sonucunda elde edilen \(\Delta_{MH}\) değerinin 0 olması maddede DMF olmadığını, 0’dan farklı değerler DMF olduğunu gösterir. Negatif değerler maddenin odak gruba avantaj sağladığı, pozitif değerler ise maddenin referans gruba avantaj sağladığı şeklinde yorumlanır.

\(\Delta_{MH}\)’nin mutlak değeri DMF’nin etki büyüklüğünü belirlemek için kullanılmaktadır (Zieky, 1993). Etki büyüklüğü değerleri A, B, C olarak sınıflandırılmıştır. A düzeyi maddede ihmal edilebilir DMF, B maddede orta düzeyde DMF, C maddede yüksek düzeyde DMF olduğunu gösterir.

\(|\Delta_{MH}|\) < 1 ise madde A düzeyinde, yani ihmal edilebilir DMF gösterir. 1 < \(|\Delta_{MH}|\) < 1.5 arasındaki değerler maddede B düzeyinde, yani orta düzeyde DMF olduğunu ifade eder. \(|\Delta_{MH}|\) > 1.5 ise maddede C düzeyinde, yani yüksek düzeyde DMF olduğunu gösterir. B ve C düzeyinde DMF gösteren maddelerin yanlılık gösterip göstermediği ayrıca incelenmelidir.

A kategorisi odak ve referans grupları arasında hiç fark olmayan ya da çok az fark olan maddeleri gösterir. Bu kategorideki maddelerde DMF istatistikleri sıfırdan manidar düzeyde farklı değildir. B düzeyi odak ve referans gruplar arasında düşük ya da orta düzeyde fark olduğunu gösterir. B düzeyindeki maddelerde DMF istatistikleri sıfırdan manidar düzeyde farklı, 1’den manidar düzeyde farklı değildir. C düzeyi, odak ve referans gruplar arasında büyük farklar olduğunu işaret eder. C düzeyindeki maddelerde DMF istatistikleri 1’den manidar düzeyde farklıdır (Wiberg, 2007; Zieky, 1993).

9.1.1.1 Örnek

MH yöntemiyle DMF analizi difR paketindeki difMH() fonksiyonu kullanılarak yapılmıştır. MH yöntemiyle DMF analizinin yapılabilmesi için önce difR paketinin aktif hale getirilmesi gerekmektedir. Paket aktif hale getirildikten sonra difMH() fonksiyonu aşağıdaki örnek kodla çalıştırılarak MH yöntemiyle DMF analizi gerçekleştirilmiştir.

library(difR)
grup <- veri[,1]
difMH(Data = veri[,2:37], group = grup, focal.name = '0', 
      purify = TRUE, p.adjust.method = 'BH')
#> 
#> Detection of Differential Item Functioning using Mantel-Haenszel method 
#> with continuity correction and with item purification
#> 
#> Results based on asymptotic inference 
#>  
#> Convergence reached after 2 iterations
#> 
#> Matching variable: test score 
#>  
#> No set of anchor items was provided 
#>  
#> Multiple comparisons made with Benjamini-Hochberg adjustement of p-values 
#>  
#> Mantel-Haenszel Chi-square statistic: 
#>  
#>         Stat.   P-value Adj. P     
#> madde1   0.0636  0.8010  0.9076    
#> madde2   0.2439  0.6214  0.9076    
#> madde3   1.7998  0.1797  0.9076    
#> madde4   0.4485  0.5031  0.9076    
#> madde5   1.2191  0.2695  0.9076    
#> madde6   0.2049  0.6508  0.9076    
#> madde7  27.4548  0.0000  0.0000 ***
#> madde8   0.3393  0.5602  0.9076    
#> madde9   0.0190  0.8905  0.9445    
#> madde10  0.0001  0.9918  0.9918    
#> madde11  0.8009  0.3708  0.9076    
#> madde12  0.3277  0.5670  0.9076    
#> madde13  1.1371  0.2863  0.9076    
#> madde14  0.9002  0.3427  0.9076    
#> madde15  0.1008  0.7508  0.9076    
#> madde16 24.8366  0.0000  0.0000 ***
#> madde17  0.6387  0.4242  0.9076    
#> madde18  0.1516  0.6971  0.9076    
#> madde19  1.2486  0.2638  0.9076    
#> madde20  0.1752  0.6756  0.9076    
#> madde21  0.0119  0.9130  0.9445    
#> madde22  0.0598  0.8067  0.9076    
#> madde23  0.2861  0.5927  0.9076    
#> madde24  3.5636  0.0591  0.5315    
#> madde25  0.0644  0.7997  0.9076    
#> madde26 28.6343  0.0000  0.0000 ***
#> madde27  1.8160  0.1778  0.9076    
#> madde28  0.0902  0.7640  0.9076    
#> madde29  0.0901  0.7641  0.9076    
#> madde30  0.3751  0.5402  0.9076    
#> madde31  0.2248  0.6354  0.9076    
#> madde32  1.6609  0.1975  0.9076    
#> madde33  0.0105  0.9182  0.9445    
#> madde34  0.2837  0.5943  0.9076    
#> madde35  0.0656  0.7979  0.9076    
#> madde36  0.2267  0.6339  0.9076    
#> 
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1  
#> 
#> Detection threshold: 3.8415 (significance level: 0.05)
#> 
#> Items detected as DIF items: 
#>         
#>  madde7 
#>  madde16
#>  madde26
#> 
#>  
#> Effect size (ETS Delta scale): 
#>  
#> Effect size code: 
#>  'A': negligible effect 
#>  'B': moderate effect 
#>  'C': large effect 
#>  
#>         alphaMH deltaMH  
#> madde1   1.0356 -0.0823 A
#> madde2   0.9406  0.1439 A
#> madde3   1.1561 -0.3408 A
#> madde4   0.9163  0.2054 A
#> madde5   0.8775  0.3070 A
#> madde6   1.0550 -0.1258 A
#> madde7   0.5147  1.5609 C
#> madde8   0.9319  0.1657 A
#> madde9   0.9790  0.0498 A
#> madde10  0.9924  0.0178 A
#> madde11  1.1204 -0.2671 A
#> madde12  0.9344  0.1594 A
#> madde13  0.8735  0.3179 A
#> madde14  1.1287 -0.2846 A
#> madde15  1.0504 -0.1156 A
#> madde16  0.5261  1.5092 C
#> madde17  0.9031  0.2396 A
#> madde18  0.9506  0.1190 A
#> madde19  1.1388 -0.3055 A
#> madde20  0.9411  0.1427 A
#> madde21  0.9643  0.0854 A
#> madde22  1.0411 -0.0946 A
#> madde23  0.9316  0.1666 A
#> madde24  1.2937 -0.6052 A
#> madde25  0.9558  0.1062 A
#> madde26  0.4842  1.7042 C
#> madde27  0.8256  0.4505 A
#> madde28  1.0528 -0.1208 A
#> madde29  0.9511  0.1179 A
#> madde30  1.1333 -0.2940 A
#> madde31  1.0944 -0.2119 A
#> madde32  1.2144 -0.4564 A
#> madde33  1.0244 -0.0567 A
#> madde34  0.8416  0.4053 A
#> madde35  0.9108  0.2196 A
#> madde36  0.9153  0.2080 A
#> 
#> Effect size codes: 0 'A' 1.0 'B' 1.5 'C' 
#>  (for absolute values of 'deltaMH') 
#>  
#> Output was not captured!

Elde edilen çıktıda “Mantel-Haenszel Chi-square statistic” altında yer alan tabloda her madde için “Stat.” sütununda MH istatistiği, “P-value” sütununda MH istatistiğine karşılık gelen p değeri verilmiştir. İlgili değerler incelendiğinde MH istatistiğinin madde7, madde16 ve madde26 olarak adlandırılan 7., 16. ve 26. maddeler için manidar olduğu (p<=0.05); diğer maddeler için manidar olmadığı (p>0.05) görülmektedir. Dolayısıyla 7., 16. ve 26. maddelerin tek biçimli DMF gösterdiği söylenebilir.

Çıktıda “Effect size (ETS Delta scale)” altında yer alan tabloda alphaMH (\(\alpha_{MH}\)) ve deltaMH (\(\Delta_{MH}\)) değerleri ile \(\Delta_{MH}\) değerlerine göre hesaplanan etki büyüklükleri yer almaktadır. Etki büyüklükleri incelendiğinde MH istatistiği manidar olan madde7, madde16 ve madde26’nın etki büyüklüklerinin C düzeyinde (yüksek düzeyde) olduğu görülmektedir. Bu maddelerde odak ve referans grup arasında büyük farklar bulunmaktadır. Farkın hangi grubun lehine olduğunu belirlemek için ilgili maddelerin \(\alpha_{MH}\) ya da \(\Delta_{MH}\) değerlerine bakılmaktadır. Bu maddelerin \(\alpha_{MH}\) değerleri 1’den küçük ve \(\Delta_{MH}\) değerleri pozitif olduğundan bu maddeler referans grup lehine DMF göstermektedir. Yüksek düzeyde DMF gösterdiği belirlenen madde7, madde16 ve madde26’nın uzman görüşlerine göre yanlılık gösterip göstermediği incelenmelidir. Etki büyüklüğü düşük olan A düzeyindeki maddeler için bir çalışma yapmaya gerek yoktur.

9.1.1.2 Çok Kategorili Maddeler ve Çoklu Gruplar için Mantel Haenszel

MH yönteminin, ikiden fazla grup ve/veya çok kategorili puanlanan maddelerde DMF’yi belirlemek için genişletilmiş kullanımları da bulunmaktadır (Finch ve French, 2018). Genelleştirilmiş Mantel-Haenszel (GMH) olarak adlandırılan bu yöntemlerin çoklu gruplar ve çok kategorili puanlanan maddeler için DMF’yi belirleyebildiği gösterilmiştir (Fidalgo ve Scalon, 2010; Penfield, 2001).

Çoklu gruplar için gruplardan biri referans, diğer tüm gruplar odak grup olarak alınır. Örneğin okul türlerine göre (genel lise, meslek lisesi, fen lisesi gibi) DMF incelendiğinde gruplardan biri referans grup, diğerleri odak grup olarak atanmaktadır. Bu atama keyfi olabileceği gibi, örneğin fen lisesi grubu referans grup olarak alınıp diğerleri odak grup olarak seçilebilir. Bireyler eşleştirme değişkenine göre gruplandırılır ve GMH istatistiği hesaplanır. DMF’nin olmadığı şeklinde kurulan \(H_0\) hipotezi reddedilirse gruplar ikili olarak MH istatistiğiyle karşılaştırılır (Finch ve French, 2018).

9.1.2 Lojistik Regresyon Yöntemi

MH yönteminin küçük örneklemler için etkili sonuç vermesi, sonuçların değerlendirilmesinde hipotez testinin ve etki büyüklüğünün kullanılabilmesi gibi avantajları bulunmakla birlikte, sadece tek biçimli DMF’yi belirleyebilmesi sınırlılıkları arasında sayılmaktadır. Lojistik regresyon (LR) yöntemi MH yönteminin bu sınırlılığını ortadan kaldırmaktadır.

Parametrik yöntemler arasında sınıflandırılan lojistik regresyon yöntemi de MH gibi yaygın bir yöntemdir ve DMF belirleme çalışmalarında kullanılmaktadır. Swaminathan (1990), lojistik regresyonu DMF belirlemeye uyarlamıştır. Lojistik regresyon yöntemiyle DMF belirlemede, bir grup üyeliği ve bir ölçüt değişken birlikte ele alınarak maddeye doğru yanıt verme olasılığı modellenir. Bir gruba ait olmanın, maddeye doğru yanıt verme ile olan ilişkisi toplam puanlar üzerinden test edilir (Zumbo, 1999).

LR yöntemiyle DMF belirleme sürecinde 1 ya da 0 olarak puanlanan madde puanı bağımlı değişken, toplam test puanı ve iki kategorili grup değişkeni (referans grup ve odak grup) bağımsız değişken olarak alınır. LR eşitliği Eşitlik (9.4)’te verilmiştir.

\[ \ln[\frac{p_i}{1-p_i}]=b_0+b_1X+b_2G+b_3(X*G) \tag{9.4} \]

Eşitlikte; Y: madde puanı, X: toplam test puanı, G: grup değişkeni, \(p_i\): maddeye doğru yanıt verenlerin oranıdır.

Eşitlik (9.4)’teki katsayılardan \(b_2\) katsayısının manidarlığı gruplar arasında fark olduğunu gösterir ve maddede tek biçimli DMF olduğu şeklinde yorumlanır. \(b_3\) katsayısının manidarlığı grup ve test puanları arasında etkileşim olduğunu gösterir ve çok biçimli DMF olarak yorumlanır.

LR yöntemiyle DMF belirlemede iç içe geçmiş üç model kurulur ve bu modeller test edilir.

Model 1: \(z=b_0+b_1X\)

Model 2: \(z=b_0+b_1 X+b_2G\)

Model 3: \(z=b_0+b_1X+b_2G+b_3X*G\)

Model 1, eşleştirme ölçütü olarak alınan toplam puanlar (X) ana etkisinin yer aldığı temel modeldir. Model 2’de grup değişkeni (G) Model 1’e eklenir. Model 2’ye etkileşim etkisi (X*G) eklenerek Model 3 elde edilir. Her model ayrı ayrı analiz edilerek modellerin \(\chi^2\) değerleri hesaplanır.

Maddede DMF olup olmadığını belirlemek için birinci aşamada Model 3 ve Model 1 arasındaki fark Eşitlik (9.5)’deki gibi hesaplanır.

\[ \chi_{DMF}^2=\chi_{Model3}^2-\chi_{Model1}^2 \tag{9.5} \]

Model 3’e ilişkin ki-kare değeri ve Model 1’e ilişkin ki-kare değeri arasındaki fark 2 serbestlik derecesiyle \(\chi^2\) dağılımı gösterir. Ki-kare fark testinin sonucunun manidar bulunmaması maddede DMF olmadığı anlamına gelir ve işlem sonlandırılır. Ki-kare fark testinin sonucunun manidar bulunması maddede tek biçimli ya da çok biçimli DMF olduğunu gösterir. DMF türünü belirlemek için ikinci ve üçüncü aşamaya devam edilir.

İkinci aşamada tek biçimli DMF testi için Model 2 ve Model 1 arasındaki fark Eşitlik (9.6)’daki gibi hesaplanır.

\[ \chi_{TB-DMF}^2=\chi_{Model2}^2-\chi_{Model1}^2 \tag{9.6} \]

Model 2’ye ilişkin ki-kare değeri ve Model 1’e ilişkin ki-kare değeri arasındaki fark 1 serbestlik derecesiyle \(\chi^2\) dağılımı gösterir. Ki-kare fark testinin sonucunun manidar bulunması maddede TB-DMF olduğu, manidar bulunmaması ise TB-DMF olmadığı şeklinde yorumlanır.

Üçüncü aşamada çok biçimli DMF testi için Model 3 ve Model 2 arasındaki fark Eşitlik (9.7)’deki gibi hesaplanır.

\[ \chi_{ÇB-DMF}^2=\chi_{Model3}^2-\chi_{Model2}^2 \tag{9.7} \]

Model 3’e ilişkin ki-kare değeri ve Model 2’ye ilişkin ki-kare değeri arasındaki fark 1 serbestlik derecesiyle \(\chi^2\) dağılımı gösterir. Ki-kare fark testinin sonucunun manidar bulunması maddede ÇB-DMF olduğu, manidar bulunmaması ise ÇB-DMF olmadığı şeklinde yorumlanır (Jodoin ve Gierl, 2001; Kamata ve Vaughn, 2004; Zumbo, 1999).

LR yöntemiyle DMF belirleme sürecinde hipotez testine ek olarak etki büyüklüğüne de bakılmaktadır. Etki büyüklüğünü belirlemek için modellerden elde edilen \(R^2\) değerleri kullanılır. Tek biçimli DMF’nin etki büyüklüğünü belirlemek için Eşitlik (9.8)’de gösterildiği gibi Model 2’den elde edilen \(R^2\) değeri, Model 1’den elde edilen \(R^2\) değerinden çıkarılarak \(R^2_{\Delta-TB}\) değeri elde edilir (Ukanda, Othuon, Agak ve Oleche, 2019).

\[ R^2_{\Delta-TB}=R_{Model_2}^2-R_{Model_1}^2 \tag{9.8} \]

Çok biçimli DMF’nin etki büyüklüğünü belirlemek için Eşitlik (9.9)’da gösterildiği gibi Model 3’ün \(R^2\) değeri Model2’nin \(R^2\) değerinden çıkarılarak \(R^2_{\Delta-CB}\) değeri elde edilir.

\[ R^2_{\Delta-CB}= R^2_{Model_3}-R^2_{Model_2} \tag{9.9} \]

\(R^2\)’yı değerlendirmek için Zumbo (1999) ve Jodoin ve Gierl (2001) tarafından farklı sınıflama kategorileri önerilmiştir. Bu kategoriler Tablo 9.3’te yer almaktadır.

Tablo 9.3: \(R^2\) Etki Büyüklüğü için Önerilen Sınıflamalar

Düzey	Zumbo & Thomas	Jodin & Gierl
A	\({\Delta}R^2\) < 0,13	\({\Delta}R^2\) < 0,035
B	0,13 ≤ \({\Delta}R^2\) < 0,26	\({\Delta}R^2\) < 0,07
C	\({\Delta}R^2\) ≥ 0,26	\({\Delta}R^2\) ≥ 0,07

Orta (B) ve yüksek düzeyde (C) DMF gösteren maddelerin aynı zamanda birinci aşamadaki \(\chi^2\) model testinde de manidar bulunmaları gerekmektedir.

Lojistik regresyon yöntemiyle DMF belirleme sürecinde toplam puan MH yönteminde olduğu gibi kategorilere ayrılmaz, sürekli puan olarak işleme alınır. Yine MH yönteminden farklı olarak LR yöntemiyle hem tek biçimli hem de çok biçimli DMF belirlenebilir. Ayrıca çok kategorili maddelerde DMF belirlenmesi ordinal lojistik regresyon (OLR) yöntemiyle kolaylıkla gerçekleştirilebilir.

9.1.2.1 Örnek

LR yöntemiyle DMF analizi R’da yer alan difR paketindeki difLogistic() fonksiyonu kullanılarak yapılmıştır. difLogistic() fonksiyonu ve difMH() fonksiyonu; Data, grup ve focal.name ortak argümanlarıyla çalışmaktadır. Belirtilen argümanlara difMH() fonksiyonu kullanım örneğinde girilen değerlerle aynı değerler girilmiştir. difLogistic() fonksiyonun difMH() fonksiyonundan farkı type argümanıdır. Belirtilen argümana udif değeri girildiğinde tek biçimli, nudif değeri girildiğinde tek biçimli olmayan ve both değeri girildiğinde ise her iki DMFli madde türünü belirlemek üzere analizler gerçekleşmektedir.

difLogistic() fonksiyonu aşağıdaki örnek kodla çalıştırılarak LR yöntemiyle tek biçimli DMF analizi gerçekleştirilmiştir. Kodda görüldüğü üzere fonksiyonun type argümanın değeri udif olarak girilmiştir. Böylece Model 2 ve Model 1 test edilmiştir.

difLogistic(Data = veri[,2:37], group = grup, focal.name = '0', 
            type = "udif")
#> 
#> Detection of uniform Differential Item Functioning
#> using Logistic regression method, without item purification
#> and with LRT DIF statistic
#> 
#> Matching variable: test score 
#>  
#> No set of anchor items was provided 
#>  
#> No p-value adjustment for multiple comparisons 
#>  
#> Logistic regression DIF statistic: 
#>  
#>         Stat.   P-value    
#> madde1   0.2554  0.6133    
#> madde2   0.0837  0.7723    
#> madde3   2.3398  0.1261    
#> madde4   0.0426  0.8365    
#> madde5   0.6973  0.4037    
#> madde6   0.7180  0.3968    
#> madde7  26.8486  0.0000 ***
#> madde8   0.0034  0.9537    
#> madde9   0.0726  0.7876    
#> madde10  0.0059  0.9389    
#> madde11  2.1314  0.1443    
#> madde12  0.0493  0.8244    
#> madde13  0.8291  0.3625    
#> madde14  2.1947  0.1385    
#> madde15  0.4074  0.5233    
#> madde16 23.2269  0.0000 ***
#> madde17  0.2939  0.5878    
#> madde18  0.0007  0.9789    
#> madde19  2.6169  0.1057    
#> madde20  0.0329  0.8561    
#> madde21  0.0638  0.8005    
#> madde22  0.3414  0.5590    
#> madde23  0.0053  0.9420    
#> madde24  6.3915  0.0115 *  
#> madde25  0.0023  0.9618    
#> madde26 25.8662  0.0000 ***
#> madde27  0.5309  0.4662    
#> madde28  0.4750  0.4907    
#> madde29  0.0335  0.8548    
#> madde30  0.7364  0.3908    
#> madde31  0.4161  0.5189    
#> madde32  2.5851  0.1079    
#> madde33  0.5508  0.4580    
#> madde34  0.3259  0.5681    
#> madde35  0.0009  0.9758    
#> madde36  0.0023  0.9615    
#> 
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1  
#> 
#> Detection threshold: 3.8415 (significance level: 0.05)
#> 
#> Items detected as uniform DIF items:
#>         
#>  madde7 
#>  madde16
#>  madde24
#>  madde26
#> 
#>  
#> Effect size (Nagelkerke's R^2): 
#>  
#> Effect size code: 
#>  'A': negligible effect 
#>  'B': moderate effect 
#>  'C': large effect 
#>  
#>         R^2    ZT JG
#> madde1  0.0002 A  A 
#> madde2  0.0000 A  A 
#> madde3  0.0014 A  A 
#> madde4  0.0000 A  A 
#> madde5  0.0004 A  A 
#> madde6  0.0004 A  A 
#> madde7  0.0152 A  A 
#> madde8  0.0000 A  A 
#> madde9  0.0000 A  A 
#> madde10 0.0000 A  A 
#> madde11 0.0012 A  A 
#> madde12 0.0000 A  A 
#> madde13 0.0004 A  A 
#> madde14 0.0011 A  A 
#> madde15 0.0002 A  A 
#> madde16 0.0130 A  A 
#> madde17 0.0002 A  A 
#> madde18 0.0000 A  A 
#> madde19 0.0015 A  A 
#> madde20 0.0000 A  A 
#> madde21 0.0001 A  A 
#> madde22 0.0002 A  A 
#> madde23 0.0000 A  A 
#> madde24 0.0032 A  A 
#> madde25 0.0000 A  A 
#> madde26 0.0142 A  A 
#> madde27 0.0003 A  A 
#> madde28 0.0002 A  A 
#> madde29 0.0000 A  A 
#> madde30 0.0009 A  A 
#> madde31 0.0004 A  A 
#> madde32 0.0025 A  A 
#> madde33 0.0003 A  A 
#> madde34 0.0007 A  A 
#> madde35 0.0000 A  A 
#> madde36 0.0000 A  A 
#> 
#> Effect size codes: 
#>  Zumbo & Thomas (ZT): 0 'A' 0.13 'B' 0.26 'C' 1 
#>  Jodoin & Gierl (JG): 0 'A' 0.035 'B' 0.07 'C' 1 
#> 
#>  Output was not captured!

difR paketi Model1, Model2 ve Model3’ün \(\chi^2\) değerini ayrı ayrı vermemektedir. Her aşamadaki \(\chi^2\) değerini elde etmek için lordif paketindeki (S. W. Choi, Gibbons ve Crane, 2016) lordif() fonksiyonu kullanılabilir.

Elde edilen çıktıda “Logistic regression DIF statistic” altında yer alan tabloda her madde için “Stat.” sütununda \(\chi^2\) fark değeri, “P-value” sütununda \(\chi^2\) fark değerine karşılık gelen p değeri verilmiştir. İlgili değerler incelendiğinde madde7, madde16, madde24 ve madde26’da tek biçimli DMF olduğu belirlenmiştir.

Çıktıda “Effect size (Nagelkerke’s \(R^2\))” altında yer alan \(R^2\) fark değerleri ile \(R^2\) değerlerine göre hesaplanan etki büyüklükleri yer almaktadır. Etki büyüklükleri Zumbo & Thomas (ZT) ile Jodoin & Gierl (JG) ölçütlerine göre değerlendirilmiştir. \(R^2\) fark değerlerine göre tüm maddelerin etki büyüklüklerinin A düzeyinde (ihmal edilebilir) olduğu görülmektedir. Bu örnekte tek biçimli DMF gösteren dört maddeye ilişkin madde karakteristik eğrileri aşağıdaki kodla elde edilmiştir.

r <- difLogistic(Data = veri[,2:37], group = grup, focal.name = '0', 
                 type = "udif")

plot(r, plot="itemCurve", item = 7)
#> The plot was not captured!
plot(r, plot="itemCurve", item = 16)
#> The plot was not captured!
plot(r, plot="itemCurve", item = 24)
#> The plot was not captured!
plot(r, plot="itemCurve", item = 26)
#> The plot was not captured!

difLogistic() fonksiyonu aşağıdaki örnek kodla çalıştırılarak LR yöntemiyle tek biçimli olmayan DMF analizi gerçekleştirilmiştir. Kodda görüldüğü üzere fonksiyonun type argümanın değeri nudif olarak girilmiştir. Böylece Model 3 ve Model 2 test edilmiştir.

difLogistic(Data = veri[,2:37], group = grup, focal.name = '0', 
            type = "nudif")
#> 
#> Detection of nonuniform Differential Item Functioning
#> using Logistic regression method, without item purification
#> and with LRT DIF statistic
#> 
#> Matching variable: test score 
#>  
#> No set of anchor items was provided 
#>  
#> No p-value adjustment for multiple comparisons 
#>  
#> Logistic regression DIF statistic: 
#>  
#>         Stat.   P-value    
#> madde1   1.2694  0.2599    
#> madde2  13.5551  0.0002 ***
#> madde3   0.1374  0.7109    
#> madde4   1.3047  0.2534    
#> madde5   0.1521  0.6965    
#> madde6   1.1591  0.2817    
#> madde7   2.9816  0.0842 .  
#> madde8   2.2547  0.1332    
#> madde9   0.9295  0.3350    
#> madde10  1.0248  0.3114    
#> madde11  0.6169  0.4322    
#> madde12  1.8567  0.1730    
#> madde13  0.0026  0.9590    
#> madde14  2.9304  0.0869 .  
#> madde15  6.8493  0.0089 ** 
#> madde16  0.0005  0.9827    
#> madde17  0.0407  0.8400    
#> madde18  0.6465  0.4214    
#> madde19  0.6193  0.4313    
#> madde20  1.1519  0.2831    
#> madde21  1.2245  0.2685    
#> madde22  0.7910  0.3738    
#> madde23  0.2081  0.6483    
#> madde24  0.1957  0.6582    
#> madde25  0.7369  0.3907    
#> madde26  2.7293  0.0985 .  
#> madde27  0.0678  0.7946    
#> madde28  0.0016  0.9678    
#> madde29  1.5424  0.2143    
#> madde30  0.3091  0.5782    
#> madde31  0.1759  0.6749    
#> madde32  0.1119  0.7380    
#> madde33  1.1453  0.2845    
#> madde34  0.9688  0.3250    
#> madde35  3.0376  0.0814 .  
#> madde36  0.0010  0.9751    
#> 
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1  
#> 
#> Detection threshold: 3.8415 (significance level: 0.05)
#> 
#> Items detected as nonuniform DIF items:
#>         
#>  madde2 
#>  madde15
#> 
#>  
#> Effect size (Nagelkerke's R^2): 
#>  
#> Effect size code: 
#>  'A': negligible effect 
#>  'B': moderate effect 
#>  'C': large effect 
#>  
#>         R^2    ZT JG
#> madde1  0.0008 A  A 
#> madde2  0.0069 A  A 
#> madde3  0.0001 A  A 
#> madde4  0.0007 A  A 
#> madde5  0.0001 A  A 
#> madde6  0.0007 A  A 
#> madde7  0.0017 A  A 
#> madde8  0.0012 A  A 
#> madde9  0.0005 A  A 
#> madde10 0.0006 A  A 
#> madde11 0.0003 A  A 
#> madde12 0.0011 A  A 
#> madde13 0.0000 A  A 
#> madde14 0.0015 A  A 
#> madde15 0.0037 A  A 
#> madde16 0.0000 A  A 
#> madde17 0.0000 A  A 
#> madde18 0.0003 A  A 
#> madde19 0.0003 A  A 
#> madde20 0.0006 A  A 
#> madde21 0.0017 A  A 
#> madde22 0.0004 A  A 
#> madde23 0.0001 A  A 
#> madde24 0.0001 A  A 
#> madde25 0.0007 A  A 
#> madde26 0.0015 A  A 
#> madde27 0.0000 A  A 
#> madde28 0.0000 A  A 
#> madde29 0.0008 A  A 
#> madde30 0.0004 A  A 
#> madde31 0.0002 A  A 
#> madde32 0.0001 A  A 
#> madde33 0.0006 A  A 
#> madde34 0.0020 A  A 
#> madde35 0.0056 A  A 
#> madde36 0.0000 A  A 
#> 
#> Effect size codes: 
#>  Zumbo & Thomas (ZT): 0 'A' 0.13 'B' 0.26 'C' 1 
#>  Jodoin & Gierl (JG): 0 'A' 0.035 'B' 0.07 'C' 1 
#> 
#>  Output was not captured!

Elde edilen çıktıda “Logistic regression DIF statistic” altında yer alan tabloda her madde için “Stat.” sütununda \(\chi^2\) fark değeri, “P-value” sütununda \(\chi^2\) fark değerine karşılık gelen p değeri verilmiştir. İlgili değerler incelendiğinde madde2 ve madde15’te çok biçimli DMF olduğu belirlenmiştir.

Çıktıda “Effect size (Nagelkerke’s \(R^2\))” altında yer alan \(R^2\) fark değerleri ile \(R^2\) değerlerine göre hesaplanan etki büyüklükleri yer almaktadır. Etki büyüklükleri Zumbo & Thomas (ZT) ile Jodoin & Gierl (JG) ölçütlerine göre değerlendirilmiştir. \(R^2\) fark değerlerine göre tüm maddelerin etki büyüklüklerinin A düzeyinde (ihmal edilebilir) olduğu görülmektedir.

9.1.3 SIBTEST

SIBTEST (Simultaneus Item Bias Test) testlerdeki çok boyutluluğun DMF’ye neden olduğu fikrinden yola çıkan bir yaklaşımdır. Bu yaklaşımda DMF’ye yol açan faktörler testle ölçülmek istenmeyen ikinci bir boyut olarak ele alınır. Shealy (1993), testin ölçmek istediği ana boyuttan farklı bir boyutu ölçmesinin maddelerde ve testte yanlılığa yol açtığını öne sürerek hem testteki maddeler için DMF, hem de madde grupları için değişen madde öbeği (DMÖ) ya da tüm test için değişen test fonksiyonu (DTF) belirleyebilen SIBTEST yöntemini geliştirmiştir.

Test maddelerinin ölçmeyi amaçlamadığı bir boyutu olduğunda, testin ölçmek istediği \(\theta\) boyutu dışında istenmeyen ikinci boyut olan \(\eta\) boyutu da yer alacaktır. Eğer aynı \(\theta\) düzeyindeki bireyler \(\eta\) boyutunda farklılaşırsa bu durum maddede DMF’ye yol açabilir. Örneğin bir matematik sınavında okuma gerektiren problemlerin olduğu maddeler yer alıyorsa, bu maddeler için okuduğunu anlama becerisi ikinci bir faktör olabilir. Testin ölçmek istediği faktör problem çözme becerisi olduğundan okuduğunu anlamakta güçlük çeken öğrenciler için bu maddeler DMF içerebilir. Odak ve referans grubun bu maddelerdeki ortalamalarının farklılığı, öğrencilerin okuduğunu anlama becerisindeki farklılıktan kaynaklanabilir. SIBTEST grup farklılıklarının gözlenemeyen bir faktörden kaynaklandığı ve çok boyutluluğun DMF’ye yol açtığı varsayımına dayanmaktadır (Finch ve French, 2018).

SIBTEST yöntemi, bir maddedeki DMF miktarının etki büyüklüğünün hesaplandığı ve etki büyüklüğünün 0’dan farklı olup olmadığının istatistiksel olarak test edildiği parametrik olmayan bir yöntemdir. Diğer DMF belirleme yöntemlerindeki gibi yetenek düzeylerine göre eşleştirilen odak ve referans grupların madde üzerindeki performansları karşılaştırılır. Shealy (1993), odak ve referans grupların yetenek düzeyleri eşleştirilirken, ölçme hatasından ve yetenek dağılımlarının farklılığından kaynaklanabilecek I. tip hatayı kontrol eden bir regresyon düzeltmesi uygulamıştır.

SIBTEST başlangıçta test maddelerinin iki gruba ayrılmasını gerektirir. Birinci grup DMF olduğu düşünülen maddelerden oluşan şüpheli alt test, ikinci grup ise testin ölçmek istediği özellikleri ölçtüğü varsayılan geçerli alt testtir. Odak ve referans gruplar, geçerli alt test puanlarına göre eşleştirilir.

SIBTEST, tek biçimli ve çok biçimli DMF’nin yanı sıra çok kategorili veriler için de (Poly-SIBTEST) DMF’yi belirlemek üzere uygulanabilir.

Tek biçimli DMF için SIBTEST yönteminde, \(\widehat\beta_u\) sembolüyle gösterilen bir etki büyüklüğü değeri hesaplanır. \(\widehat\beta_u\) eşitliği Eşitlik (9.10)’da verilmiştir.

\[ \widehat\beta_u=\sum_{k=0}^n\widehat p_k(\bar{Y}^*_{Rk}-\bar{Y}^*_{Ok}) \tag{9.10} \]

Eşitlikte; n: testten alınan en yüksek puan, k: eşleştirme puanı, \(\widehat p_k\): puanı k olanların yüzdesi, \(\bar{Y}^*_{Rk}\): referans grupta puanı k olanların ortalaması, \(\bar{Y}^*_{Ok}\): odak grupta puanı k olanların ortalamasıdır. \(\bar{Y}^*_{Rk}\) ve \(\bar{Y}^*_{Ok}\) regresyon düzeltmesi kullanılarak kestirilen ortalama puanlardır.

\(\widehat\beta_u\)’nun 0 değerini alması maddede DMF olmadığı anlamına gelir. Pozitif \(\widehat\beta_u\) değerleri maddede referans grup lehine, negatif \(\widehat\beta_u\) değerleri maddede odak grup lehine DMF olduğunu gösterir.

Roussos ve Stout (1996), MH ve LR yöntemlerine benzer şekilde |\(\widehat\beta_u\)| değerinin etki büyüklüğünü tanımlamıştır. |\(\widehat\beta_u\)| < 0.059 ise maddede ihmal edilebilir (A düzeyinde), 0.059 ≤ |\(\widehat\beta_u\)| < 0.088 ise orta (B düzeyinde) ve |\(\widehat\beta_u\)| ≥ 0.088 ise yüksek (C düzeyinde) DMF olduğunu gösterir. SIBTEST yöntemiyle ayrıca DMF’nin olup olmadığını belirlemek için \(H_0\): \(\widehat\beta_u\)=0 şeklinde kurulan yokluk hipotezi Eşitlik (9.11) ile test edilebilir.

\[ \widehat\beta =\frac{\widehat\beta_u}{\widehat\sigma(\widehat\beta_u)} \tag{9.11} \]

Eşitlikte; \(\widehat\sigma(\widehat\beta_u)\): \(\widehat\beta_u\)’nun standart hatasıdır.

9.1.3.1 Örnek

SIBTEST yöntemiyle DMF analizi R’da yer alan difR paketindeki difSIBTEST() fonksiyonu kullanılarak yapılmıştır. difSIBTEST() fonksiyonu aşağıdaki örnek kodla çalıştırılarak SIBTEST yöntemiyle DMF analizi gerçekleştirilmiştir.

difSIBTEST(Data = veri[,2:37], group = grup, focal.name = '0', 
           purify = TRUE, p.adjust.method = 'BH')
#> 
#> Detection of Differential Item Functioning using SIBTEST method 
#> with item purification
#> 
#> Convergence reached after 2 iterations
#> 
#> Investigation of uniform DIF using SIBTEST (Shealy and Stout, 1993) 
#>  
#> No set of anchor items was provided 
#>  
#> Multiple comparisons made with Benjamini-Hochberg adjustement of p-values 
#>  
#>         Beta    SE      X2 Stat. P-value Adj. P     
#> madde1   0.0097  0.0235  0.1713   0.6789  0.8986    
#> madde2  -0.0232  0.0238  0.9513   0.3294  0.8643    
#> madde3   0.0375  0.0252  2.2075   0.1373  0.8240    
#> madde4  -0.0162  0.0225  0.5189   0.4713  0.8643    
#> madde5  -0.0327  0.0241  1.8382   0.1752  0.8643    
#> madde6   0.0184  0.0250  0.5385   0.4631  0.8643    
#> madde7  -0.1111  0.0213 27.2127   0.0000  0.0000 ***
#> madde8  -0.0243  0.0239  1.0376   0.3084  0.8643    
#> madde9  -0.0071  0.0244  0.0841   0.7718  0.9209    
#> madde10  0.0017  0.0208  0.0069   0.9336  0.9651    
#> madde11  0.0199  0.0225  0.7828   0.3763  0.8643    
#> madde12 -0.0095  0.0243  0.1510   0.6976  0.8986    
#> madde13 -0.0218  0.0226  0.9313   0.3345  0.8643    
#> madde14  0.0264  0.0230  1.3237   0.2499  0.8643    
#> madde15  0.0065  0.0215  0.0900   0.7641  0.9209    
#> madde16 -0.1018  0.0209 23.6952   0.0000  0.0000 ***
#> madde17 -0.0169  0.0226  0.5587   0.4548  0.8643    
#> madde18 -0.0091  0.0236  0.1496   0.6989  0.8986    
#> madde19  0.0275  0.0239  1.3197   0.2506  0.8643    
#> madde20 -0.0112  0.0216  0.2688   0.6042  0.8986    
#> madde21 -0.0024  0.0144  0.0286   0.8657  0.9444    
#> madde22  0.0158  0.0211  0.5609   0.4539  0.8643    
#> madde23 -0.0217  0.0236  0.8459   0.3577  0.8643    
#> madde24  0.0362  0.0215  2.8323   0.0924  0.6652    
#> madde25 -0.0043  0.0188  0.0526   0.8186  0.9209    
#> madde26 -0.1062  0.0200 28.1254   0.0000  0.0000 ***
#> madde27 -0.0365  0.0210  3.0252   0.0820  0.6652    
#> madde28 -0.0006  0.0203  0.0009   0.9763  0.9763    
#> madde29 -0.0082  0.0203  0.1644   0.6851  0.8986    
#> madde30  0.0110  0.0166  0.4335   0.5103  0.8747    
#> madde31  0.0119  0.0195  0.3723   0.5418  0.8865    
#> madde32  0.0177  0.0189  0.8797   0.3483  0.8643    
#> madde33 -0.0016  0.0207  0.0060   0.9383  0.9651    
#> madde34  0.0037  0.0148  0.0636   0.8008  0.9209    
#> madde35  0.0126  0.0178  0.4985   0.4801  0.8643    
#> madde36 -0.0078  0.0184  0.1793   0.6720  0.8986    
#> 
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1  
#> 
#> Detection threshold: 3.8415 (significance level: 0.05)
#> 
#> Items detected as DIF items: 
#>         
#>  madde7 
#>  madde16
#>  madde26
#> 
#>  
#> Output was not captured!

# difSIBTEST(Data = veri[,2:37], group = grup, focal.name = '0', 
#            type = "CSIBTEST")

Elde edilen çıktıda yer alan tabloda her madde için “Beta” sütununda \(\widehat\beta\) değeri, “SE” sütununda \(\widehat\beta\) değerinin standart hatası görülmektedir. Eşitlik (9.11)’de verilen \(\widehat\beta\)’nın manidarlığını test etmek için hesaplanan \(\chi^2\) istatistiği “X2 Stat”. sütununda, istatistiğe ilişkin p değeri “P-value” sütununda verilmiştir. İlgili değerler incelendiğinde madde7, madde16 ve madde26’nın \(\chi^2\) değeri manidar bulunmuş, diğer maddelerde manidarlık gözlenmemiştir (p>0.05).

DMF’nin etki büyüklüğünü değerlendirmek için tabloda “Beta” sütununda yer alan \(\widehat\beta\) değerlerinin incelenmesi gerekmektedir. Beta’nın pozitif değerleri maddenin referans gruba, negatif değerleri ise maddenin odak gruba avantaj sağladığını belirttiğinden DMF gösteren maddelerin odak grup lehine DMF gösterdiği söylenebilir. Ayrıca DMF gösterdiği belirlenen tüm maddelerin etki büyüklüklerinin C düzeyinde (yüksek düzeyde) (\(|\widehat\beta_u|\) ≥ 0.088) olduğu görülmektedir.

difSIBTEST() fonksiyonunun type argümanı nudif değeriyle kullanıldığında çok biçimli DMF sonuçlarını vermektedir.

9.1.4 Lord-\(\chi^2\) Testi

Madde tepki kuramına dayalı yaklaşımlardan biri olan Lord’un \(\chi^2\) testi odak ve referans grupların madde yanıtlarına dayalı olarak kestirilen madde parametrelerinin karşılaştırılmasına dayanır (S.-H. Kim ve Cohen, 1995; Lord, 1980; Mellenbergh, 1989). Bu yöntemde odak ve referans gruplar için ayrı ayrı parametre kestirimleri yapılır ve daha sonra parametreler aynı ölçeğe yerleştirilir. İki-parametreli (2PL) model için odak ve referans grupların madde karakteristik eğrilerinin eşit olup olmadığı madde parametreleri karşılaştırılarak aşağıdaki \(H_0\) hipotezleriyle test edilir.

\[a_{Oi}=a_{Ri}\]

\[b_{Oi}=b_{Ri}\]

\(a_{0i}\) ve \(a_{Ri}\) sırasıyla odak ve referans gruptan kestirilen a parametrelerini, \(b_{oi}\) ve \(b_{Ri}\) sırasıyla odak ve referans gruptan kestirilen b parametrelerini gösterir. Yokluk hipotezini test etmek için Eşitlik (9.12)’de verilen \(\chi^2\) istatistiği kullanılır.

\[ \chi^2_i=v^ı_{i}\sum^{-1}_iv_i \tag{9.12} \]

Eşitlikte; \(v^ı_{i}\): \((\widehat b_{Oi}-\widehat b_{Ri}, \widehat a_{Oi}-\widehat a_{Ri})\) vektörünü ve \(\sum_i(\widehat b_{Oi}-\widehat b_{Ri})\) ve \(\sum_i(\widehat a_{Oi}-\widehat a_{Ri})\) için asimtotik varyans kovaryans matrisini gösterir. 2PL model için \(\chi^2\) istatistiği 2 serbestlik derecesiyle test edilir. Lord’un \(\chi^2\) testi için veriler 2PL model ile analiz edilmiştir.

9.1.4.1 Örnek

Lord’un \(\chi^2\) testiyle DMF analizi difR paketindeki difLord() fonksiyonu kullanılarak yapılmıştır. difLord() fonksiyonu aşağıdaki örnek kodla çalıştırılarak Lord’un \(\chi^2\) testiyle DMF analizi gerçekleştirilmiştir.

difLord(Data = veri[,2:37], group = grup, focal.name = '0', 
        model = "2PL")
#> 
#> Detection of Differential Item Functioning using Lord's method 
#> with 2PL model and without item purification
#> 
#> Engine 'ltm' for item parameter estimation 
#>  
#> No set of anchor items was provided 
#>  
#> No p-value adjustment for multiple comparisons 
#>  
#> Lord's chi-square statistic: 
#>  
#>         Stat.   P-value    
#> madde1   0.6806  0.7116    
#> madde2  31.4881  0.0000 ***
#> madde3   1.0372  0.5953    
#> madde4   5.3195  0.0700 .  
#> madde5  10.9750  0.0041 ** 
#> madde6   0.2710  0.8733    
#> madde7  27.4189  0.0000 ***
#> madde8  14.3080  0.0008 ***
#> madde9   7.8367  0.0199 *  
#> madde10  1.9711  0.3732    
#> madde11  5.5313  0.0629 .  
#> madde12  3.4903  0.1746    
#> madde13 10.9506  0.0042 ** 
#> madde14  9.1766  0.0102 *  
#> madde15  1.8278  0.4010    
#> madde16 36.9871  0.0000 ***
#> madde17  6.1509  0.0462 *  
#> madde18 12.0667  0.0024 ** 
#> madde19  0.2994  0.8610    
#> madde20  4.5700  0.1018    
#> madde21  0.2889  0.8655    
#> madde22  1.2186  0.5437    
#> madde23 11.8854  0.0026 ** 
#> madde24  0.6392  0.7264    
#> madde25  1.5341  0.4644    
#> madde26 30.5760  0.0000 ***
#> madde27  9.6555  0.0080 ** 
#> madde28  3.5839  0.1666    
#> madde29  2.0358  0.3614    
#> madde30  0.4578  0.7954    
#> madde31  0.7451  0.6890    
#> madde32  1.8758  0.3914    
#> madde33  8.3398  0.0155 *  
#> madde34  2.5144  0.2845    
#> madde35  6.0678  0.0481 *  
#> madde36  2.8650  0.2387    
#> 
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1  
#>  
#> Detection threshold: 5.9915 (significance level: 0.05)
#> 
#> Items detected as DIF items: 
#>         
#>  madde2 
#>  madde5 
#>  madde7 
#>  madde8 
#>  madde9 
#>  madde13
#>  madde14
#>  madde16
#>  madde17
#>  madde18
#>  madde23
#>  madde26
#>  madde27
#>  madde33
#>  madde35
#> 
#> Output was not captured!

Elde edilen çıktıda “Lord’s chi-square statistic” altında yer alan tabloda her madde için “Stat.” sütununda \(\chi^2\) değeri, “P-value” sütununda \(\chi^2\) değerine karşılık gelen p değeri verilmiştir.İlgili değerler incelendiğinde \(\chi^2\) istatistiğinin madde2, madde5, madde7, madde8, madde9, madde13, madde14, madde16, madde17, madde18, madde23, madde26, madde27, madde33 ve madde35 için manidar olduğu görülmektedir.

9.1.5 Raju’nun Alan İndeksi

Raju (1988); bir-parametreli, iki-parametreli ve üç-parametreli modeller için bir maddenin iki gruptan elde edilen madde karakteristik eğrileri arasındaki alanın hesaplanması için formüller geliştirmiştir. İki eğri arasındaki işaretli ve işaretsiz alanların DMF belirlemede kullanılabileceğini göstermiştir (Raju, 1990). Üç-parametreli model için c parametresi maddeler arasında farklılaştığında iki madde karakteristik eğrisi arasında kalan alan sonsuz olduğundan, alan indekslerinin üç-parametreli model hesaplamaları için uygun olmadığını belirtmiştir. Alan indeksleriyle odak ve referans gruplardan kestirilen parametreler karşılaştırılır ve iki grubun madde karakteristik eğrileri arasında kalan alanın 0’dan farklı olup olmadığı test edilir.

Bir-parametreli model ya da Rasch modeli için işaretli (SA) ve işaretsiz (UA) alan indeksleri sırasıyla Eşitlik (9.13) ve (9.14)’te olduğu gibi tanımlanmıştır (Raju, 1990).

\[ SA_{1PLM}=\widehat b_2-\widehat b_1 \tag{9.13} \]

\[ UA_{1PLM}=|\widehat b_2-\widehat b_1| \tag{9.14} \]

Bir-parametreli modelde işaretli alan indeksi için odak ve referans gruplardan kestirilen b parametreleri farkı alınırken, işaretsiz alan indeksinde b parametreleri arasındaki farkın mutlak değeri alınmaktadır.

İki-parametreli model için SA ve UA indeksleri sırasıyla Eşitlik (9.15) ve (9.16)’daki gibi tanımlanır.

\[ SA_{2PLM}=\widehat b_2-\widehat b_1 \tag{9.15} \]

\[ UA_{2PLM}=|\frac{2(\widehat a_2-\widehat a_1)}{D\widehat a_1\widehat a_2}ln(1+exp[\frac{D\widehat a_1\widehat a_2}{\widehat a_2-\widehat a_1}]-(\widehat b_2-\widehat b_1) \tag{9.16} \]

İki parametreli modelde işaretli alan indeksinde bir-parametreli modeldeki gibi b parametreleri arasındaki fark alınmaktadır. İşaretsiz alan indeksinde a parametreleri aralarındaki farklar da dikkate alınmaktadır. Odak ve referans grupların a parametreleri eşit olduğunda, \(UA_{1PLM}\) ile benzer şekilde, \(UA_{2PLM}\) de b parametreleri arasındaki farkın mutlak değerine dönüşür.

9.1.5.1 Örnek

Raju’nun Alan İndeksi yöntemiyle DMF analizi difR paketindeki difRaju() fonksiyonu kullanılarak yapılmıştır. difRaju() fonksiyonu aşağıdaki örnek kodla çalıştırılarak işaretsiz alan indeksine göre DMF analizi gerçekleştirilmiştir.

difRaju(Data = veri[,2:37], group = grup,focal.name = '0', 
        model = "2PL")
#> 
#> Detection of Differential Item Functioning using Raju's method 
#> with 2PL model and without item purification
#> 
#> Type of Raju's Z statistic: based on unsigned area 
#>  
#> Engine 'ltm' for item parameter estimation 
#>  
#> No set of anchor items was provided 
#>  
#> No p-value adjustment for multiple comparisons 
#>  
#> Raju's statistic: 
#>  
#>         Stat.   P-value    
#> madde1  -0.5667  0.5709    
#> madde2   4.1564  0.0000 ***
#> madde3   0.8799  0.3789    
#> madde4   2.2262  0.0260 *  
#> madde5   2.1381  0.0325 *  
#> madde6  -0.4045  0.6859    
#> madde7   2.6051  0.0092 ** 
#> madde8   2.8629  0.0042 ** 
#> madde9   2.1233  0.0337 *  
#> madde10  0.9898  0.3223    
#> madde11  2.0186  0.0435 *  
#> madde12 -1.5922  0.1113    
#> madde13  2.4192  0.0156 *  
#> madde14  2.5504  0.0108 *  
#> madde15 -1.1068  0.2684    
#> madde16  5.3987  0.0000 ***
#> madde17  1.4083  0.1590    
#> madde18  2.6576  0.0079 ** 
#> madde19  0.4833  0.6289    
#> madde20  1.2345  0.2170    
#> madde21 -0.4921  0.6226    
#> madde22  1.0798  0.2802    
#> madde23  2.7012  0.0069 ** 
#> madde24  0.7778  0.4367    
#> madde25  0.4029  0.6870    
#> madde26  3.1073  0.0019 ** 
#> madde27  3.1121  0.0019 ** 
#> madde28  1.3248  0.1852    
#> madde29  0.6538  0.5132    
#> madde30  0.5909  0.5546    
#> madde31  0.4221  0.6729    
#> madde32  1.2891  0.1974    
#> madde33  2.2789  0.0227 *  
#> madde34  1.1119  0.2662    
#> madde35  1.5891  0.1120    
#> madde36  0.9621  0.3360    
#> 
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1  
#> 
#> Detection thresholds: -1.96 and 1.96 (significance level: 0.05)
#> 
#> Items detected as DIF items: 
#>         
#>  madde2 
#>  madde4 
#>  madde5 
#>  madde7 
#>  madde8 
#>  madde9 
#>  madde11
#>  madde13
#>  madde14
#>  madde16
#>  madde18
#>  madde23
#>  madde26
#>  madde27
#>  madde33
#> 
#> Output was not captured!

Elde edilen çıktı incelendiğinde madde2, madde4, madde5, madde7, madde8, madde9, madde11, madde13, madde14, madde16, madde18, madde23, madde26, madde27 ve madde33’te DMF belirlendiği görülmektedir.

difRaju() fonksiyonu aşağıdaki örnek kodla çalıştırılarak işaretli alan indeksine göre DMF analizi gerçekleştirilmiştir. Kodda görüldüğü üzere fonksiyonun signed argümanın değeri TRUE olarak girilmiştir.

difRaju(Data = veri[,2:37], group = grup, focal.name = '0', 
        signed = TRUE, model="2PL")
#> 
#> Detection of Differential Item Functioning using Raju's method 
#> with 2PL model and without item purification
#> 
#> Type of Raju's Z statistic: based on signed area 
#>  
#> Engine 'ltm' for item parameter estimation 
#>  
#> No set of anchor items was provided 
#>  
#> No p-value adjustment for multiple comparisons 
#>  
#> Raju's statistic: 
#>  
#>         Stat.   P-value    
#> madde1   0.4472  0.6547    
#> madde2  -3.6090  0.0003 ***
#> madde3   0.1601  0.8728    
#> madde4  -1.2089  0.2267    
#> madde5  -1.7866  0.0740 .  
#> madde6  -0.3865  0.6991    
#> madde7  -0.4021  0.6876    
#> madde8  -0.7879  0.4307    
#> madde9  -0.6133  0.5397    
#> madde10 -0.2728  0.7850    
#> madde11  1.4256  0.1540    
#> madde12 -1.5922  0.1113    
#> madde13 -1.3838  0.1664    
#> madde14  1.3490  0.1773    
#> madde15 -1.2698  0.2041    
#> madde16 -1.7682  0.0770 .  
#> madde17 -0.6491  0.5163    
#> madde18 -2.0061  0.0448 *  
#> madde19  0.1653  0.8687    
#> madde20 -1.1987  0.2306    
#> madde21 -0.4979  0.6186    
#> madde22 -0.3473  0.7284    
#> madde23 -1.6732  0.0943 .  
#> madde24  0.5879  0.5566    
#> madde25 -0.2841  0.7763    
#> madde26 -0.5809  0.5613    
#> madde27 -1.5461  0.1221    
#> madde28  0.2250  0.8220    
#> madde29 -0.6537  0.5133    
#> madde30  0.5447  0.5860    
#> madde31  0.0594  0.9527    
#> madde32  1.2243  0.2208    
#> madde33  0.4879  0.6256    
#> madde34  1.0707  0.2843    
#> madde35  1.5459  0.1221    
#> madde36  0.0595  0.9526    
#> 
#> Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1  
#> 
#> Detection thresholds: -1.96 and 1.96 (significance level: 0.05)
#> 
#> Items detected as DIF items: 
#>         
#>  madde2 
#>  madde18
#> 
#> Output was not captured!

Elde edilen çıktı incelendiğinde Raju’nun işaretli alan indeksli analiz sonuçlarına göre madde2 ve madde18’de DMF belirlendiği görülmektedir.

9.1.6 Olabilirlik Oranı Testi

Olabilirlik oranı (likelihood ratio) testi, madde tepki kuramı (MTK) temelli bir DMF belirleme yöntemidir. Bu yöntem Dorans (1993b) tarafından geliştirilmiştir. MH, LR ve SIBTEST ile DMF belirleme yöntemlerinde, sınava giren bireyler test puanları üzerinden eşleştirildikten sonra maddedeki performansları karşılaştırılır. Odak ve referans grupların madde performansları arasındaki farklılık maddede DMF’nin olduğuna işaret eder. Olabilirlik oranı testinde ise odak ve referans gruplar için kestirilen madde parametreleri karşılaştırılır. Bu yaklaşım, MTK parametrelerinin gruplar arasında değişmezlik özelliğine dayanır. Kestirilen madde parametrelerinin odak ve referans gruplar için değişmez olup olmadığı test edilir ve bunun sonucunda da maddede DMF’ye ilişkin bir karara varılır.

DMF belirleme sürecinde odak ve referans gruplar için kestirilen madde parametreleri karşılaştırılır ve odak ve referans grupların madde parametreleri arasında fark yoktur şeklinde kurulan yokluk hipotezi test edilir. Yokluk hipotezini test etmek amacıyla iki model kurulur. Birinci model, testin tüm maddelerinde odak ve referans gruplar için kestirilen madde parametrelerinin eşit olduğunun varsayıldığı sınırlandırılmış (compact) modeldir. Sınırlandırılmış modelde odak ve referans grupların madde parametreleri eşit olacak şekilde kestirilir. İkinci model, DMF testi yapılan maddenin parametrelerinin odak ve referans grupta farklı, diğer maddelerin parametrelerinin eşit olduğu varsayımı altında kurulan genişletilmiş (augmented) modeldir. Genişletilmiş model için odak ve referans grupların parametreleri çalışma maddesi (DMF olup olmadığı incelenen madde) için sınırlandırılmadan, diğer maddeler için ise gruplarda eşit olacak şekilde kestirilir. Bu şekilde kurulan iki modelin olabilirlik değerlerinin doğal logaritması alınır ve -2 değeri ile çarpılır. (-2) Log-olabilirlik değerlerinin farkı \(\chi^2\) dağılımı gösteren \(G^2\) istatistiğiyle test edilir. Serbestlik derecesi, bir madde için test edilen parametre sayısıdır. \(G^2\) istatistiği Eşitlik (9.17)’de verilmiştir.

\[ G^2=-2logL_s-(-2)logL_g \tag{9.17} \]

Eşitlikte; \(L_s\): sınırlandırılmış modelin olabilirliği, \(L_g\): genişletilmiş modelin olabilirliğidir.

Model testine odak ve referans gruplar için tüm madde parametreleri aynı anda karşılaştırılarak başlanır. Hipotez testi sonucunda yokluk hipotezi kabul edilirse, yani odak ve referans grupların parametreleri arasında fark olmadığı belirlenirse maddede DMF olmadığına karar verilir ve analiz sonlandırılır. Yokluk hipotezi reddedilirse her parametre için ayrı ayrı test yapılır.

Örneğin 2PL modelde önce tüm parametrelerin testi için 2 serbestlik derecesinde \(\chi^2\) testi yapılır. Yokluk hipotezi reddedilirse parametre testlerine geçilir. Parametre testlerinde, genişletilmiş modelde test edilen parametre serbest olarak kestirilir, diğer iki parametre sınırlandırılmış modeldeki gibi kalır. Madde ayırıcılık parametresi için, a parametresi her iki grupta eşittir şeklinde kurulan yokluk hipotezi test edilir. DMF test edilen madde için a parametresinin serbest bırakıldığı genişletilmiş model sınırlandırılmış modelle karşılaştırılır. Daha sonra madde güçlük parametresinin testine geçilir. Bu aşamada da b parametresi her iki grupta eşittir yokluk hipotezi test edilir. İncelenen madde için b parametresinin serbest bırakıldığı genişletilmiş model, sınırlandırılmış modelle karşılaştırılır. Olabilirlik oranı testlerinin sonucunda b parametresi arasında farkın görülmesi tek biçimli DMF’yi, a parametresi arasında farkın görülmesi çok biçimli DMF’yi gösterir. Parametre testlerinde sd=1’dir.

Olabilirlik oranı testi MTK’ya dayalı bir yöntem olduğu için diğer yöntemlere göre daha büyük örneklem gerektirir. Yapılan araştırmalar örneklem büyüklüğü 1000’e yaklaştığında diğer yöntemlere göre I. tip hatayı daha iyi kontrol ettiğini ve gücünün daha yüksek olduğunu göstermiştir (Finch ve French, 2018).

9.1.6.1 Örnek

Olabilirlik oranı testiyle DMF analizinin yapılabilmesi için önce mirt paketinin aktif hale getirilmesi gerekmektedir. Paket aktif hale getirildikten sonra multipleGroup() fonksiyonuyla Rasch modeline göre çoklu grup MTK modeli kurulmuştur. Fonksiyon data, itemtype, model, SE ve group argümanları kullanılarak aşağıdaki örnek kodla çalıştırılmıştır. multipleGroup() fonksiyonunun çıktısı olan coklugrup nesnesi coef() fonksiyonuna ilk argüman olarak girilmiştir ve coef() fonksiyonuyla madde ve grup düzeyi katsayılarının bir listesi elde edilmiştir.

library(mirt)
#> Loading required package: stats4
#> Loading required package: lattice
grup <- as.character(grup)
coklugrup <- multipleGroup(data = veri[,2:37], itemtype = "Rasch", 
                           model = 1, SE = TRUE, group = grup, verbose = FALSE)
coef(coklugrup, simplify = T, IRTpars = T)
#> $`0`
#> $items
#>         a      b g u
#> madde1  1  0.964 0 1
#> madde2  1  0.149 0 1
#> madde3  1  0.178 0 1
#> madde4  1 -0.986 0 1
#> madde5  1 -0.498 0 1
#> madde6  1  0.347 0 1
#> madde7  1 -1.638 0 1
#> madde8  1 -0.427 0 1
#> madde9  1 -0.338 0 1
#> madde10 1 -1.594 0 1
#> madde11 1 -0.959 0 1
#> madde12 1 -0.350 0 1
#> madde13 1 -0.939 0 1
#> madde14 1 -0.926 0 1
#> madde15 1 -1.332 0 1
#> madde16 1 -1.638 0 1
#> madde17 1 -1.013 0 1
#> madde18 1 -0.268 0 1
#> madde19 1 -0.547 0 1
#> madde20 1 -1.190 0 1
#> madde21 1 -2.629 0 1
#> madde22 1 -1.394 0 1
#> madde23 1 -0.553 0 1
#> madde24 1 -1.125 0 1
#> madde25 1 -1.815 0 1
#> madde26 1 -1.805 0 1
#> madde27 1 -1.286 0 1
#> madde28 1 -1.451 0 1
#> madde29 1 -1.559 0 1
#> madde30 1 -2.384 0 1
#> madde31 1 -2.046 0 1
#> madde32 1 -1.674 0 1
#> madde33 1 -1.355 0 1
#> madde34 1 -3.515 0 1
#> madde35 1 -3.240 0 1
#> madde36 1 -2.002 0 1
#> 
#> $means
#> F1 
#>  0 
#> 
#> $cov
#>       F1
#> F1 0.687
#> 
#> 
#> $`1`
#> $items
#>         a      b g u
#> madde1  1  0.897 0 1
#> madde2  1  0.192 0 1
#> madde3  1  0.010 0 1
#> madde4  1 -0.952 0 1
#> madde5  1 -0.397 0 1
#> madde6  1  0.255 0 1
#> madde7  1 -0.978 0 1
#> madde8  1 -0.409 0 1
#> madde9  1 -0.356 0 1
#> madde10 1 -1.588 0 1
#> madde11 1 -1.115 0 1
#> madde12 1 -0.316 0 1
#> madde13 1 -0.828 0 1
#> madde14 1 -1.080 0 1
#> madde15 1 -1.398 0 1
#> madde16 1 -1.025 0 1
#> madde17 1 -0.938 0 1
#> madde18 1 -0.252 0 1
#> madde19 1 -0.715 0 1
#> madde20 1 -1.158 0 1
#> madde21 1 -2.648 0 1
#> madde22 1 -1.454 0 1
#> madde23 1 -0.532 0 1
#> madde24 1 -1.406 0 1
#> madde25 1 -1.790 0 1
#> madde26 1 -1.151 0 1
#> madde27 1 -1.201 0 1
#> madde28 1 -1.529 0 1
#> madde29 1 -1.571 0 1
#> madde30 1 -2.516 0 1
#> madde31 1 -2.134 0 1
#> madde32 1 -1.880 0 1
#> madde33 1 -1.438 0 1
#> madde34 1 -3.349 0 1
#> madde35 1 -3.233 0 1
#> madde36 1 -2.008 0 1
#> 
#> $means
#> F1 
#>  0 
#> 
#> $cov
#>       F1
#> F1 0.604

Elde edilen çıktıda odak ve referans gruplar için ayrı ayrı kestirilen madde parametreleri yer almaktadır. Madde ayırt edicilik gücünü gösteren a parametresi tüm maddeler için 1, en düşük yeteneğe sahip bireyin maddeyi doğru yanıtlama olasılığını veren g parametresi 0 olarak hesaplanmıştır.

Daha sonra DIF() fonksiyonu aşağıdaki örnek kodla çalıştırılarak hipotez testi gerçekleştirilmiştir. Fonksiyonun which.par argümanıyla gruplar arasında karşılaştırılacak parametreler belirlenmiştir. Ayrıca fonksiyonun plotdif argümanı örnek koddaki gibi TRUE değeriyle kullanılarak DMF gösteren maddeler için odak ve referans grupların madde karakteristik eğrileri elde edilmiştir. Bu grafiklerden maddelerin hangi grup lehine DMF gösterdiği görülebilir. DIF() fonksiyonunun çıktısı olan DMF_analiz nesnesinden sadece ki-kare, df ve p anlamlılık değerleri seçilmiştir ve değerler yüzde birler basamağına yuvarlanarak yazdırılmıştır.

library(dplyr)
library(mirt)
DMF_analiz <- DIF(MGmodel = coklugrup, which.par = c("d"), plotdif = TRUE)
round(DMF_analiz[,-(1:5)], 2) %>% knitr::kable()

	BIC	X2	df	p
madde1	7.07	0.31	1	0.58
madde2	7.24	0.14	1	0.71
madde3	5.21	2.16	1	0.14
madde4	7.30	0.08	1	0.78
madde5	6.62	0.76	1	0.38
madde6	6.73	0.65	1	0.42
madde7	-18.13	25.51	1	0.00
madde8	7.35	0.02	1	0.88
madde9	7.35	0.03	1	0.87
madde10	7.38	0.00	1	0.97
madde11	5.80	1.58	1	0.21
madde12	7.29	0.09	1	0.77
madde13	6.54	0.84	1	0.36
madde14	5.81	1.57	1	0.21
madde15	7.13	0.25	1	0.62
madde16	-14.43	21.81	1	0.00
madde17	7.00	0.37	1	0.54
madde18	7.36	0.02	1	0.89
madde19	5.34	2.03	1	0.15
madde20	7.32	0.06	1	0.80
madde21	7.37	0.01	1	0.92
madde22	7.18	0.20	1	0.65
madde23	7.35	0.03	1	0.86
madde24	2.65	4.73	1	0.03
madde25	7.35	0.03	1	0.86
madde26	-16.06	23.44	1	0.00
madde27	6.94	0.44	1	0.51
madde28	7.05	0.33	1	0.56
madde29	7.37	0.01	1	0.93
madde30	6.82	0.56	1	0.45
madde31	7.06	0.31	1	0.58
madde32	5.35	2.02	1	0.15
madde33	6.99	0.39	1	0.53
madde34	6.97	0.41	1	0.52
madde35	7.38	0.00	1	0.98
madde36	7.38	0.00	1	0.97

Elde edilen tabloya göre DMF sonuçları değerlendirilebilir. \(\chi^2\) değerlerinin manidar olduğu maddeler DMF içermektedir. Buna göre madde7, madde16, madde24 ve madde26’da DMF görülmektedir. `

Grafikler incelendiğinde madde7, madde16 ve madde26’da odak grup lehine; madde24’te referans grup lehine DMF olduğu görülmektedir. DMF’nin hangi grup lehine olduğu, odak ve referans grubu için elde edilen b parametreleri incelenerek de görülebilir. Bu tablolarda madde7, madde16 ve madde26’da b değerleri odak grupta referans gruba göre madde24’te referans grupta odak gruba göre daha yüksek kestirilmiştir.

9.1.7 Sonuçların Karşılaştırılması

Aynı veri üzerinde yöntemlerden elde edilen DMF sonuçları Tablo 9.4’te özetlenmiştir.

Tablo 9.4: Yöntemlere Göre Maddelerin DMF Gösterme Durumları

Maddeler	MH	LR	SIBTEST	Lord-\(\chi^2\)	Raju-UA	Raju-SA
madde1	A	A	A	-	-	-
madde2	A	A	A	DMF	DMF	DMF
madde3	A	A	A	-	-	-
madde4	A	A	A	-	DMF	-
madde5	A	A	DMF	DMF	-	-
madde6	A	A	A	-	-	-
madde7	C	A	C	DMF	DMF	-
madde8	A	A	A	DMF	DMF	-
madde9	A	A	A	DMF	DMF	-
madde10	A	A	A	-	-	-
madde11	A	A	A	-	DMF	-
madde12	A	A	A	-	-	-
madde13	A	A	A	DMF	DMF	-
madde14	A	A	A	DMF	DMF	-
madde15	A	A	A	-	-	-
madde16	C	A	C	DMF	DMF	-
madde17	A	A	A	DMF	-	-
madde18	A	A	A	DMF	DMF	DMF
madde19	A	A	A	-	-	-
madde20	A	A	A	-	-	-
madde21	A	A	A	-	-	-
madde22	A	A	A	-	-	-
madde23	A	A	A	DMF	DMF	-
madde24	A	A	A	-	-	-
madde25	A	A	A	-	-	-
madde26	C	A	C	DMF	DMF	-
madde27	A	A	A	DMF	DMF	-
madde28	A	A	A	-	-	-
madde29	A	A	A	-	-	-
madde30	A	A	A	-	-	-
madde31	A	A	A	-	-	-
madde32	A	A	A	-	-	-
madde33	A	A	A	DMF	DMF	-
madde34	A	A	A	-	-	-
madde35	A	A	A	DMF	-	-
madde36	A	A	A	-	-	-

Tablo 9.4’teki yöntemlerle DMF gösterdiği belirlenen maddelerde farklılıklar gözlenmektedir. LR yöntemiyle hiçbir maddede DMF belirlenmezken Lord-\(\chi^2\) ve Raju-UA yöntemleriyle 36 maddenin 15’inde DMF belirlenmiştir. MH yöntemi ve SIBTEST yöntemiyle üç, Raju-SA yöntemiyle iki, olabilirlik oranı testiyle dört maddede DMF belirlenmiştir. MH ve SIBTEST’in DMF’li olarak belirlediği üç maddede Lord-\(\chi^2\), Raju-UA ve olabilirlik oranı testiyle de DMF belirlenmiştir. Lord-\(\chi^2\) ve Raju-UA tarafından DMF’li olarak belirlenen maddelerin 13’ü ortaktır.

DMF belirleme yöntemlerinin bazıları odak ve referans grup arasındaki küçük farklılıklara daha duyarlı olabilirken, bazıları daha az duyarlı olabilmektedir. Bu nedenle bir testteki maddelerin DMF analizleri yapılırken birden fazla yöntem kullanılması ve yöntemlerin en az ikisinde DMF belirlenen maddelerin yanlılık açısından incelenmesi önerilebilir. Tablo 9.4’teki verilere göre Lord-\(\chi^2\) ve Raju-UA’nın diğer yöntemlere göre daha hassas olduğu, LR’nin ise hassasiyetinin daha düşük olduğu yorumu yapılabilir.

Bir yöntemin testteki DMF’li maddeleri DMF’li olarak belirleme oranı testin gücünü, DMF’li olmayan maddeleri DMF’li olarak tanımlaması da I. tip hatasını gösterir. Kullanılan yöntemlerin gücünün yüksek ve I. tip hatasının düşük (\(\alpha\)<=0.05) olması beklenir. Yöntemlerin I. tip hata ve güçlerinin değerlendirilmesi simülasyon çalışmalarıyla yapılmaktadır.

Alan yazında DMF yöntemlerinin I. tip hata ve güçlerini testteki toplam madde sayısı, DMF’li madde sayısı, etki büyüklüğü, odak ve referans grubun oranı, örneklem büyüklüğü gibi çeşitli değişkenlere göre değerlendiren çok sayıda simülasyon çalışması bulunmaktadır. Bir testteki maddelerin DMF analizleri için bu araştırmaların sonuçları da dikkate alınarak kullanılacak yöntemler seçilebilir.

• Bölüm atıf bilgisi: Kelecioğlu, H. (2025). Değişen madde fonksiyonu. N. Güler, B. Atar & K. Atalay-Kabasakal (Ed.), R ile psikometri içinde. Pegem Akademi.

Kaynaklar

Berrío, Á. I., Gómez-Benito, J. ve Arias-Patiño, E. M. (2020). Developments and trends in research on methods of detecting differential item functioning. Educational Research Review, 31, 100340. doi:10.1016/j.edurev.2020.100340

Camilli, &. S., G. (1994). Methods for identifying biased test items. Newbury Park, CA: Sage.

Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment, 48. doi:10.18637/jss.v048.i06

Choi, S. W., Gibbons, with contributions from L. E. ve Crane, P. K. (2016). lordif: Logistic Ordinal Regression Differential Item Functioning using IRT. https://CRAN.R-project.org/package=lordif adresinden erişildi.

Dorans, &. H., N. J. (1993a). DIF detection and description: Mantel-Haenszel and standardization. P. W. H. & H. Wainer (Ed.), Differential item functioning içinde (ss. 35-66). Lawrence Erlbaum Associates, Inc.

Dorans, &. H., N. J. (1993b). Detection of differential item functioning using the parameters of item response models. P. W. H. & H. Wainer (Ed.), Differential item functioning. içinde (ss. 67-113). Lawrence Erlbaum Associates, Inc.

Fidalgo, Á. M. ve Scalon, J. D. (2010). Using Generalized Mantel-Haenszel Statistics to Assess DIF Among Multiple Groups. Journal of Psychoeducational Assessment, 28(1), 60-69. doi:10.1177/0734282909337302

Finch, W. H. ve French, B. F. (2018). Educational and Psychological Measurement. Routledge. doi:10.4324/9781315650951

Hidalgo, M. D. ve Gómez-Benito, J. (2010). Differential Item Functioning. International encyclopedia of education,3rd ed. içinde (ss. 36-44). Elsevier. doi:10.1016/b978-0-08-044894-7.00242-6

Holland, &. T., P. W. (1988). Differential item performance and the Mantel-Haenszel procedure. H. W. & H. I. Braun (Ed.), Test Validity içinde (ss. 129-145). Lawrence Erlbaum Associates, Inc.

Jodoin, M. G. ve Gierl, M. J. (2001). Evaluating Type I Error and Power Rates Using an Effect Size Measure With the Logistic Regression Procedure for DIF Detection. Applied Measurement in Education, 14(4), 329-349. doi:10.1207/s15324818ame1404_2

Kamata, A. ve Vaughn, B. K. (2004). An Introduction to Differential Item Functioning Analysis. Learning Disabilities: A Contemporary Journal, 2(2), 49-69.

Karami, H. (2012). An introduction to differential item functioning. The International Journal of Educational and Psychological Assessment.

Kim, S.-H. ve Cohen, A. S. (1995). A Comparison of Lord’s Chi-Square, Raju’s Area Measures, and the Likelihood Ratio Test on Detection of Differential Item Functioning. Applied Measurement in Education, 8(4), 291-312. doi:10.1207/S15324818AME0804_2

Lord, F. M. (1980). Applications of Item Response Theory To Practical Testing Problems. Hillsdale, New Jersey: Lawrence Erlbaum Associates.

Magis, D., Beland, S., Tuerlinckx, F. ve De Boeck, P. (2010). A general framework and an R package for the detection of dichotomous differential item functioning, 42.

Mellenbergh, G. J. (1989). Item bias and item response theory. International Journal of Educational Research, 13(2), 127-143. doi:https://doi.org/10.1016/0883-0355(89)90002-5

Penfield, R. D. (2001). Assessing Differential Item Functioning Among Multiple Groups: A Comparison of Three Mantel-Haenszel Procedures. Applied Measurement in Education, 14(3), 235-259. doi:10.1207/S15324818AME1403\_3

Potenza, M. T. ve Dorans, N. J. (1995). DIF Assessment for Polytomously Scored Items: A Framework for Classification and Evaluation. Applied Psychological Measurement, 19(1), 23-37. doi:10.1177/014662169501900104

Raju, N. S. (1988). The area between two item characteristic curves. Psychometrika, 53(4), 495-502. doi:10.1007/bf02294403

Raju, N. S. (1990). Determining the Significance of Estimated Signed and Unsigned Areas Between Two Item Response Functions. Applied Psychological Measurement, 14(2), 197-207.

Roussos, L. A. ve Stout, W. F. (1996). Simulation Studies of the Effects of Small Sample Size and Studied Item Parameters on SIBTEST and Mantel-Haenszel Type I Error Performance. Journal of Educational Measurement, 33(2), 215-230. doi:10.1111/j.1745-3984.1996.tb00490.x

Shealy, &. S., R. (1993). An item response theory model for test bias. P. W. H. & H. Wainer (Ed.), Differential item functioning içinde (ss. 197-239). Lawrence Erlbaum Associates, Inc.

Swaminathan, &. R., H. (1990). Detecting differential item functioning using logistic regression procedures. Journal of Educational Measurement, 27(4), 361-370. doi:10.1111/j.1745-3984.1990.tb00754

Ukanda, F., Othuon, L., Agak, J. ve Oleche, P. (2019). Effectiveness of Mantel-Haenszel And Logistic Regression Statistics in Detecting Differential Item Functioning Under Different Conditions of Sample Size, Ability Distribution and Test Length. American Journal of Educational Research, 7(11), 878-887.

Wiberg, M. (2007). Measuring and detecting differential item functioning in criterion-referenced licensing test : A theoretic comparison of methods. https://api.semanticscholar.org/CorpusID:12021423 adresinden erişildi.

Wu, M., Tam, H. P. ve Jen, T.-H. (2016). Educational Measurement for Applied Researchers. Springer Singapore. doi:10.1007/978-981-10-3302-5

Zieky, M. (1993). Practical questions in the use of DIF statistics in test development. P. W. H. & H. Wainer (Ed.), Differential item functioning içinde (ss. 337-347). Lawrence Erlbaum Associates, Inc.

Zumbo, B. D. (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF) Logistic Regression Modeling as a Unitary Framework For Binary and Likert-Type (Ordinal) Item Scores. https://api.semanticscholar.org/CorpusID:41969422 adresinden erişildi.

Zumbo, B. D. (2007). Three Generations of DIF Analyses: Considering Where It Has Been, Where It Is Now, and Where It Is Going. Language Assessment Quarterly, 4(2), 223-233. doi:10.1080/15434300701375832