مقاله کامل نحوه محاسبه روایی و پایایی آزمون ها در SPSS

در این مقاله قصد دارم به بررسی روش‌های سنجش پایایی در نرم افزار spss بپردازم. تا انتهای این مقاله همراه باشید.
4 نوع پایایی در پژوهش

قابلیت اطمینان به شما می گوید که یک روش چقدر به طور مداوم چیزی را اندازه گیری می کند. هنگامی که روش مشابهی را برای نمونه مشابه در شرایط یکسان اعمال می کنید، باید همان نتایج را دریافت کنید. در غیر این صورت، روش اندازه گیری ممکن است غیر قابل اعتماد باشد یا ممکن است سوگیری در تحقیق شما رخنه کرده باشد. چهار نوع اصلی قابلیت اطمینان وجود دارد. هر یک را می توان با مقایسه مجموعه های مختلف نتایج حاصل از یک روش تخمین زد.

    Test-Retest همان آزمون در طول زمان: قابلیت اطمینان آزمون مجدد، آزمونی را انجام می دهد که دو بار در یک دوره معین داده می شود. نمرات هر دو آزمون با انجام اندازه گیری های آماری نتایج نشان می دهد که آزمون چقدر قابل اعتماد است.
    Interrater همان آزمایشی است که توسط افراد مختلف انجام شده است: قابلیت اطمینان بین ارزیاب، بازخورد شخصی را که آزمون داده شده را ارزیابی می کند، اندازه گیری می کند. ارزیابی اعتبار آزمون را تعیین می کند. اگر چند نفر در یک آزمون نمره دهند، در صورتی که نمرات آن ها سازگار باشد، آزمون قابل اعتماد است.
    فرم های موازی نسخه های مختلف یک آزمون که به صورت معادل طراحی شده اند: قابلیت اطمینان فرم های موازی دو آزمون مختلف را که به روشی مشابه طراحی شده اند اندازه گیری می کند. نتیجه نتایج از طریق معیارهای آماری برای تعیین پایایی همبستگی دارد.
    سازگاری درونی موارد منفرد یک آزمون: پایایی سازگاری داخلی به هر مورد در آزمونی نگاه می کند که محتوای یکسانی را اندازه گیری می کند. سازگاری موارد منفرد یک آزمون را اندازه گیری می کند.

Reliability measurement methods
قابلیت اطمینان Test-Retest

قابلیت اطمینان تست-آزمون مجدد، سازگاری نتایج را زمانی اندازه گیری می کند که همان آزمایش را روی یک نمونه در یک نقطه زمانی متفاوت تکرار کنید. زمانی از آن استفاده می کنید که چیزی را اندازه می گیرید که انتظار دارید در نمونه شما ثابت بماند.  عوامل زیادی می توانند نتایج شما را در مقاطع زمانی مختلف تحت تأثیر قرار دهند: برای مثال، پاسخ دهندگان ممکن است حالات مختلفی را تجربه کنند، یا شرایط خارجی ممکن است بر توانایی آنها برای پاسخ دقیق تأثیر بگذارد. پایایی آزمون-آزمون مجدد می تواند برای ارزیابی میزان مقاومت یک روش در طول زمان در برابر این عوامل استفاده شود. هرچه اختلاف بین دو مجموعه از نتایج کوچکتر باشد، قابلیت اطمینان تست-آزمون مجدد بالاتر است.

چگونه پایایی تست-آزمون مجدد را اندازه گیری کنیم؟

به منظور اندازه‌گیری قابلیت اطمینان مجدد آزمون-آزمون به طور مؤثر، باید آزمایش مشابهی را روی مجموعه‌ای از مخاطبان مشابه در دو زمان مختلف انجام دهید. با انجام این کار، کمی کردن همبستگی موجود بین دو مجموعه متفاوت از نتایج آسان می شود. بیایید یک مثال را در نظر بگیریم: شما یک پرسشنامه برای اندازه گیری ضریب هوشی گروه خاصی از افراد تنظیم کرده اید (به یاد داشته باشید که ضریب هوشی یک ویژگی است که بعید است با گذشت زمان تغییر کند). در انجام آزمایش روی یک گروه از افراد پس از دو ماه، متوجه می شوید که نتایج جمع آوری شده به طور قابل توجهی متفاوت است. این نشان می دهد که پایایی آزمون-آزمون مجدد پرسشنامه ای که ایجاد کرده اید پایین است.

چگونه Test-Retest را اندازه گیری کنیم؟

برای اندازه‌گیری قابلیت اطمینان آزمون-مجدد، شما یک آزمون را روی یک گروه از افراد در دو نقطه مختلف از زمان انجام می‌دهید. سپس شما همبستگی بین دو مجموعه از نتایج را محاسبه می کنید.
نمونه Test-Retest

شما یک پرسشنامه برای اندازه گیری ضریب هوشی گروهی از شرکت کنندگان طراحی می کنید (ویژگی که بعید است در طول زمان تغییر قابل توجهی کند). پایایی مجدد پرسشنامه IQ پایین است.
روش های بهبود Test-Retest

    هنگام طراحی آزمون ها یا پرسشنامه ها، سعی کنید سؤالات، اظهارات و وظایف را به گونه ای تنظیم کنید که تحت تأثیر خلق و خو یا تمرکز شرکت کنندگان قرار نگیرد.
    هنگام برنامه‌ریزی روش‌های جمع‌آوری داده‌ها، سعی کنید تأثیر عوامل خارجی را به حداقل برسانید و مطمئن شوید که همه نمونه‌ها در شرایط یکسان آزمایش می‌شوند.
    به یاد داشته باشید که می توان انتظار داشت که تغییرات یا سوگیری یادآوری در طول زمان در شرکت کنندگان رخ دهد و این موارد را در نظر بگیرید.

قابلیت اطمینان Interrater

قابلیت اطمینان بین ارزیاب (که به آن قابلیت اطمینان بین ناظر نیز گفته می شود) میزان توافق بین افراد مختلف را که یک چیز را مشاهده یا ارزیابی می کنند، اندازه گیری می کند. هنگامی که داده‌ها توسط محققانی که رتبه‌بندی، امتیاز یا دسته‌بندی را به یک یا چند متغیر اختصاص می‌دهند، از آن استفاده می‌کنید و می‌تواند به کاهش تعصب ناظر کمک کند. در یک مطالعه مشاهده‌ای که در آن تیمی از محققین داده‌های مربوط به رفتار کلاس را جمع‌ آوری می‌کنند، قابلیت اطمینان بین ارزیاب مهم است:

همه محققان باید در مورد نحوه طبقه‌ بندی یا رتبه‌بندی انواع مختلف رفتار توافق کنند. مردم درکی ذهنی دارند، بنابراین درک ناظران مختلف از موقعیت ها و پدیده ها به طور طبیعی متفاوت است. هدف تحقیق قابل اعتماد این است که ذهنیت را تا حد امکان به حداقل برساند تا محققی متفاوت بتواند همان نتایج را تکرار کند. هنگام طراحی مقیاس و معیارهای جمع‌ آوری داده‌ها، مهم است که مطمئن شوید که افراد مختلف یک متغیر را با حداقل سوگیری رتبه‌بندی می‌کنند. این امر به ویژه زمانی مهم است که چندین محقق در جمع آوری یا تجزیه و تحلیل داده ها دخیل باشند.
چرا قابلیت اطمینان بین ارزیاب اهمیت دارد؟

از آن جایی که افراد ذهنی هستند، ادراکات آن ها در رابطه با موقعیت های مختلف معمولاً متفاوت است. تحقیقات قابل اعتماد می تواند نقش محوری در به حداقل رساندن ذهنیت تا حد زیادی ایفا کند، به طوری که نتایج مشابه می تواند توسط یک محقق دیگر نیز تکرار شود. هنگامی که قصد دارید مقیاس و همچنین معیارهای جمع آوری داده ها را نهایی کنید، ضروری است اطمینان حاصل کنید که افراد مختلف متغیر مشابه را به طور مداوم با حداقل سوگیری رتبه بندی می کنند. زمانی که محققان متعددی در جمع آوری یا تجزیه و تحلیل داده های خاص کار می کنند، این امر بسیار مهم تر می شود.
 

چگونه قابلیت اطمینان بین ارزیاب را اندازه گیری کنیم؟  برای اندازه‌گیری قابلیت اطمینان بین‌سنجی، از محققان خواسته می‌شود که اندازه‌گیری یا مشاهده مشابهی را بر روی یک نمونه مشابه انجام دهند. سپس باید بر محاسبه همبستگی که بین مجموعه های مختلف نتایج تولید شده وجود دارد تمرکز کنید. اگر رتبه‌بندی‌های داده‌شده توسط همه محققین مشابه باشد، مشخص می‌شود که این آزمون از پایایی بین‌سنجی بالاتری برخوردار است. از گروهی از محققان خواسته می شود تا روند بهبود زخم را در بین بیماران در بیمارستان مشاهده کنند.

برای ثبت دقیق مراحل بهبودی، می‌توانید از مقیاس‌های رتبه‌بندی استفاده کنید و معیارهای خاصی را برای ارزیابی جنبه‌های مختلف زخم تعیین کنید. هنگامی که محققان مجموعه مشابهی از بیماران را ارزیابی کردند، نتایج به اشتراک گذاشته شده توسط آنها مقایسه می شود. اگر بین مجموعه‌های نتایج به اشتراک گذاشته شده همبستگی وجود داشته باشد، می‌توان در نظر گرفت که آزمون از پایایی بین‌سنجی بالایی برخوردار است.

در کل برای اندازه‌گیری قابلیت اطمینان بین‌سنجی، محققان مختلف اندازه‌گیری یا مشاهدات یکسانی را روی یک نمونه انجام می‌دهند. سپس شما همبستگی بین مجموعه های مختلف نتایج آن ها را محاسبه می کنید. اگر همه محققان رتبه‌بندی‌های مشابهی بدهند، آزمون از قابلیت اعتماد بین‌سنجی بالایی برخوردار است.

تحلیل آماری
مثال قابلیت اطمینان بین ارزیاب

تیمی از محققان پیشرفت بهبود زخم را در بیماران مشاهده می کنند. برای ثبت مراحل بهبودی، از مقیاس های درجه بندی با مجموعه ای از معیارها برای ارزیابی جنبه های مختلف زخم استفاده می شود. نتایج پژوهشگران مختلف که مجموعه‌ای از بیماران را ارزیابی می‌کنند، با هم مقایسه می‌شوند، و همبستگی قوی بین همه مجموعه‌های نتایج وجود دارد، بنابراین این آزمون از پایایی بین‌سنجی بالایی برخوردار است.
روش های بهبود قابلیت اطمینان بین ارزیاب

    متغیرهای خود و روش هایی که برای اندازه گیری آنها استفاده می شود را به وضوح تعریف کنید.
    معیارهای دقیق و عینی را برای نحوه رتبه بندی، شمارش یا طبقه بندی متغیرها ایجاد کنید.
    اگر چندین محقق درگیر هستند، اطمینان حاصل کنید که همه آنها دقیقاً اطلاعات و آموزش یکسانی دارند.

چگونه قابلیت اطمینان بین ارزیاب را افزایش دهیم؟

همیشه روی تعریف واضح متغیرهای خود و همچنین روش های مورد استفاده برای اندازه گیری آنها تمرکز کنید.
معیارهای مشخص و عینی را برای رتبه بندی، شمارش و دسته بندی متغیرها تعریف کنید.
اگر محققین مختلفی درگیر هستند، مطمئن شوید که همه آنها اطلاعات و سطح آموزش مشابهی دارند.

فرم های موازی قابلیت اطمینان

قابلیت اطمینان فرم های موازی همبستگی بین دو نسخه معادل یک آزمون را اندازه گیری می کند. زمانی از آن استفاده می کنید که دو ابزار ارزیابی متفاوت یا مجموعه سوالاتی داشته باشید که برای اندازه گیری یک چیز طراحی شده اند. اگر می‌خواهید از چندین نسخه مختلف آزمون استفاده کنید (مثلاً برای اینکه پاسخ‌دهندگان پاسخ‌های یکسانی را از حافظه تکرار نکنند)، ابتدا باید مطمئن شوید که تمام مجموعه‌های سؤالات یا اندازه‌گیری‌ها نتایج قابل اعتمادی ارائه می‌دهند. در ارزشیابی آموزشی، اغلب لازم است که نسخه های مختلفی از آزمون ها ایجاد شود تا اطمینان حاصل شود که دانش آموزان از قبل به سؤالات دسترسی ندارند. پایایی فرم های موازی به این معناست که اگر دانش آموزان یکسان دو نسخه متفاوت از یک آزمون درک مطلب را شرکت کنند، باید در هر دو آزمون نتایج مشابهی دریافت کنند.سلامت و مهر

چگونه پایایی فرم های موازی را اندازه گیری کنیم؟

رایج‌ ترین روش برای اندازه‌گیری قابلیت اطمینان فرم‌های موازی، تولید مجموعه بزرگی از سؤالات برای ارزیابی یک چیز است، سپس آنها را به‌طور تصادفی به دو مجموعه سؤال تقسیم می‌کنیم. همان گروه از پاسخ دهندگان به هر دو مجموعه پاسخ می دهند و شما همبستگی بین نتایج را محاسبه می کنید. همبستگی زیاد بین این دو نشان‌دهنده قابلیت اطمینان بالای فرم‌های موازی است.

نمونه قابلیت اطمینان فرم های موازی

مثلا در روش Parallel مجموعه ای از سوالات برای اندازه گیری ریسک گریزی مالی در گروهی از پاسخ دهندگان فرموله شده است. سوالات به طور تصادفی به دو دسته تقسیم می شوند و پاسخ دهندگان به طور تصادفی به دو گروه تقسیم می شوند. هر دو گروه هر دو آزمون را می گذرانند: گروه الف ابتدا آزمون الف را می گذرانند و گروه ب ابتدا آزمون ب را می گذرانند. نتایج دو آزمون مقایسه می‌شوند و نتایج تقریباً یکسان هستند که نشان‌دهنده قابلیت اطمینان بالای فرم‌های موازی است.

روش های بهبود قابلیت اطمینان فرم های موازی

    اطمینان حاصل کنید که تمام سؤالات یا موارد آزمون بر اساس یک تئوری و فرموله شده برای اندازه گیری یک چیز است.

روش سازگاری درونی برای بررسی پایایی

سازگاری درونی، همبستگی بین آیتم های متعدد را در آزمونی که برای اندازه گیری یک سازه در نظر گرفته شده است، ارزیابی می کند. شما می توانید سازگاری داخلی را بدون تکرار آزمون یا مشارکت سایر محققان محاسبه کنید، بنابراین زمانی که فقط یک مجموعه داده دارید، روش خوبی برای ارزیابی قابلیت اطمینان است. وقتی مجموعه‌ای از سؤالات یا رتبه‌بندی را طراحی می‌کنید که در یک نمره کلی ترکیب می‌شوند، باید مطمئن شوید که همه موارد واقعاً یک چیز را منعکس می‌کنند. اگر پاسخ‌ها به موارد مختلف با یکدیگر تناقض داشته باشند، ممکن است آزمون غیرقابل اعتماد باشد. برای اندازه گیری رضایت مشتری از فروشگاه آنلاین، می توانید پرسشنامه ای با مجموعه ای از اظهارات ایجاد کنید که پاسخ دهندگان باید با آن موافق یا مخالف باشند. سازگاری داخلی به شما می گوید که آیا اظهارات همه شاخص های قابل اعتماد رضایت مشتری هستند یا خیر.

تعریف سازگاری درونی

هنگام طراحی تحقیق، یک آزمون طراحی می شود. این آزمون می تواند دو نوع داده را برای حمایت از یافته های خود در یک آزمایش جمع آوری کند: داده های کمی و کیفی. اندازه گیری کمی محقق را ملزم به جمع آوری اعداد می کند. مشاهدات کیفی در طول آزمایش انجام می شود. هر دو نوع داده جمع آوری شده باید قابل اعتماد باشند تا معتبر در نظر گرفته شوند. قابلیت اطمینان به این معنی است که باید روشی پایدار برای ارزیابی معیارهای واقعی آزمایش باشد. یک آزمایش قابل اعتماد هر بار نتایج یکسانی را ایجاد می کند.  قابلیت اطمینان سازگاری داخلی تعیین می‌کند که یک آزمون چقدر آنچه را که می‌گوید اندازه‌گیری می‌کند. در اصل پایایی سازگاری درونی نوعی پایایی است که برای تعیین اعتبار موارد مشابه در یک آزمون استفاده می شود. همه سوالات در آزمونی که برای اندازه گیری محتوای خاص پیشنهاد می شود باید نتایج مشابه و یکسانی ایجاد کند.

محققان از قابلیت اطمینان سازگاری درونی استفاده می کنند تا اطمینان حاصل کنند که هر مورد در یک آزمون با موضوعی که در حال تحقیق هستند مرتبط است. اطمینان از مرتبط بودن آیتم‌های یک آزمون با مطالعه و اندازه‌گیری همان ساختار از معتبر بودن آزمون اطمینان می‌دهد. در نتیجه، سایر محققین می توانند به نتایج وابسته باشند. عدم وجود پایایی ثابت در یک مطالعه، نتایج آزمون را نامعتبر می کند. یک آزمون بدون پایایی سازگاری داخلی می تواند نتایج مشکوکی ایجاد کند که ممکن است داده های قابل استفاده ایجاد نکند.
انواع سازگاری درونی

سه نوع قابلیت اطمینان سازگاری داخلی وجود دارد. هر کدام یک معیار آماری است و از یک فرمول ریاضی برای تعیین اینکه آیا نتایج آزمون به محتوا مربوط می شود استفاده می کند. چهار معیار سازگاری درونی عبارتند از:

    آلفای کرونباخ
    میانگین بین آیتم ها
    آزمون تقسیم نیمه (Split-half)
    آزمون کودر-ریچاردسون

سنجش پایایی با استفاده از آلفای کرونباخ

آلفای کرونباخ اندازه‌گیری قابلیت اطمینان را با یافتن میزان نزدیکی یک آیتم در آزمون به گروهی از سؤالات تعیین می‌کند. این رایج ترین اندازه گیری سازگاری داخلی است. دارای دامنه 0-1 است. هرچه به 1 نزدیکتر باشد، ارزیابی قابل اعتمادتر است. مقیاس تعیین می کند که هر یک از آیتم ها در یک آزمون چقدر تطابق دارند. هرچه توافق بیشتر باشد، سؤال بیشتر تراز یا یکسان است. مقیاس به شرح زیر است:

    0.00-0.69 = تراز ضعیف
    0.70-0.79 = تراز منصفانه
    0.80-0.89 = تراز خوب
    0.90-0.99 = تراز عالی/قوی

مثال: در طی یک آزمایش، آزمونی با ده سوال داده شد. هر سوال در آزمون با دیگری سنجیده شد. امتیاز هم ترازی آن ها 0.070 بود. این بدان معنی است که سؤالات در آزمون نسبتاً با یکدیگر همسو بودند. اگر امتیاز به 1 نزدیکتر بود، این بدان معنی است که سؤالات خیلی شبیه هم هستند. اگر امتیاز به صفر نزدیکتر بود، سؤال ربطی ندارد. داشتن تراز ضعیف یا تراز قوی به آزمایشگر نشان می دهد که سؤالات باید بر اساس مقادیر بیشتر شبیه یا کمتر شبیه باشند. پایایی سازگاری داخلی می تواند به صورت آزمایش یا نظرسنجی باشد.
میانگین بین آیتم ها برای بررسی پایایی

اندازه گیری پایایی در یک آزمون تعیین می کند که سوالات مختلف بر اساس نتایج آزمون چقدر با یکدیگر همسو هستند.

قابلیت اطمینان تقسیم نیمه: این نوع اندازه گیری شامل تقسیم سؤالات یا موارد آزمون به دو گروه است. سپس، آیتم های هر نیمه را با یک آیتم همبسته از نیمه دیگر مطابقت دهید.
آزمون کودر-ریچاردسون

این آزمون پایایی را در آزمونی که دو پاسخ احتمالی دارد (باینری) اندازه گیری می کند.
چگونه سازگاری درونی را اندازه گیری کنیم؟

دو روش متداول برای اندازه گیری سازگاری داخلی استفاده می شود:

    میانگین همبستگی بین آیتم ها:

برای مجموعه ای از معیارهای طراحی شده برای ارزیابی یک سازه، همبستگی بین نتایج همه جفت های ممکن را محاسبه می کنید و سپس میانگین را محاسبه می کنید.
    قابلیت اطمینان تقسیم به نصف:

شما به طور تصادفی مجموعه ای از معیارها را به دو مجموعه تقسیم می کنید. پس از آزمایش کل مجموعه بر روی پاسخ دهندگان، همبستگی بین دو مجموعه پاسخ را محاسبه می کنید.

مثال سازگاری داخلی

به گروهی از پاسخ‌دهندگان مجموعه‌ای از اظهارات ارائه می‌شود که برای اندازه‌گیری ذهنیت‌های خوش‌بینانه و بدبینانه طراحی شده‌اند. آنها باید موافقت خود را با هر عبارت در مقیاسی از 1 تا 5 ارزیابی کنند. اگر آزمون از نظر درونی سازگار باشد، یک پاسخگوی خوش بین باید به طور کلی به شاخص های خوش بینی رتبه های بالایی و به شاخص های بدبینی رتبه های پایین بدهد. همبستگی بین تمام پاسخ‌ها به گزاره‌های «خوش‌بینانه» محاسبه می‌شود، اما همبستگی بسیار ضعیف است. این نشان می دهد که آزمون سازگاری داخلی پایینی دارد.محمد کفاش بهترین روانشناس
روش های بهبود سازگاری داخلی

هنگام ابداع پرسش‌ها یا معیارهایی مراقب باشید: آن‌هایی که قصد دارند یک مفهوم را منعکس کنند، باید بر اساس همان نظریه باشند و با دقت فرمول‌بندی شوند.

کدام نوع پایایی برای تحقیق من کاربرد دارد؟

مهم است که هنگام برنامه ریزی طرح تحقیق، جمع آوری و تجزیه و تحلیل داده ها و نوشتن تحقیق خود، قابلیت اطمینان را در نظر بگیرید. نوع پایایی که باید محاسبه کنید به نوع تحقیق و روش شما بستگی دارد.
قابلیت اطمینان سازگاری داخلی در SPSS

فرم آزمون مجدد و فرم موازی برای سنجش پایایی به ما می گوید که یک آزمون تا چه حد از نظر داخلی سازگار است یا تا چه حد تعادل یا همبستگی خوبی بین بخش های مختلف نمره وجود دارد. بخش هایی از نمرات به معنای شاخص ها و ابعاد امتیاز است. این به ما می گوید که اگر یک انسان را تصور کنیم، دست ها، چشم ها، گوش ها همه متعلق به یک فرد واحد هستند. ما افراد متفاوتی هستیم، بنابراین ممکن است دست های من در مقایسه با شما و غیره متفاوت باشد. قوام درونی به ما می گوید که چشم ها، گوش ها و دست هایی که در این موقعیت به دست آورده ایم متعلق به یک فرد است. این مزیت اندازه گیری در مقایسه با دو نوع قبلی قابلیت اطمینان است.

فرم های تست مجدد و موازی همبستگی بین دو موقعیت مختلف نمره را به ما می گویند. اما نمی گویند که آیا ما به همان سازه می پردازیم یا مدل اندازه گیری زیر در حال ایجاد است. در واقع، در مورد آزمون مجدد یا فرم موازی، هیچ نشانه ای از مدل اندازه گیری وجود ندارد. این یک همبستگی بین دو نوع مختلف موقعیت است. بنابراین به همین دلیل است که قابلیت اطمینان سازگاری داخلی بسیار محبوب است.

سازگاری درونی در یک مدل اندازه‌گیری مشخص می‌شود، و به ما می‌گوید که آیا شاخصی که استفاده می‌کنیم نسبتاً همبسته است یا خیر. آنها همان سازه را می سنجند که سازه ماست. وقتی می گوییم پایایی سازگاری داخلی مدل اندازه گیری مشخص شده را ارزیابی می کند، در آن صورت، میزان واقعی بودن نمره آزمون را در مقایسه با عبارت خطا اندازه گیری می کند. بنابراین این مفهوم سازی بسیار ساده است. اگر در آزمونی شرکت کنیم، نمره آزمون ما، هر نمره ای که گرفته ایم، برابر با نمره واقعی ما به اضافه مقدار خطا است. این می تواند مانند بگوییم به علاوه، منهای. بنابراین، نمره آزمون برابر است با نمره واقعی به اضافه مقدار خطا.

اگر خطا کمتر باشد، نمره آزمون به نمره واقعی نزدیکتر خواهد بود. در صورت عدم وجود خطا، نمره آزمون و نمره واقعی یکسان خواهد بود. با استفاده از قابلیت اطمینان سازگاری داخلی، می‌توانیم تعیین کنیم که نمرات آزمون و نمرات واقعی ما تا چه اندازه به یکدیگر نزدیک‌تر هستند. وقتی نوبت به اندازه‌گیری پایایی همسانی داخلی می‌رسد، محبوب‌ترین ضریب ضریب پایایی آلفای کرونباخ بوده است. طبق تحقیقات انجام شده، این رایج ترین ضریب پایایی گزارش شده است، به خصوص در روانشناسی و تحصیلات که مقاله تحقیقاتی رشته دیگر را دیده ام، اما اکثر محققین آلفای کرونباخ را گزارش می کنند. من به ندرت پایایی آزمون-آزمون مجدد یا پایایی فرم موازی را دیده ام. در واقع، پایایی فرم موازی کمتر گزارش شده است. رایج ترین آن آلفای کرونباخ است و گاهی اوقات پایایی آزمون-بازآزمایی را نیز می بینیم که توسط محققان گزارش شده است.

خلاصه سنجش پایایی

در این مقاله نگاهی به انواع قابلیت اطمینان انداختم. قبل از انجام تحقیقات کمی، توجه به پایایی روش های تحقیق خود و همچنین ابزارهای مورد استفاده برای اندازه گیری بسیار مهم است. با تمرکز بر قابلیت اطمینان، می‌توانید تعیین کنید که چگونه چیزی با یک روش اندازه‌گیری شده است. در اعمال روشی مشابه برای نمونه مشابه در شرایط مشابه، نتایج جمع آوری شده نیز باید مشابه باشند. اگر این اتفاق نیفتد، روش اندازه گیری می تواند غیرقابل اعتماد در نظر گرفته شود. قابلیت اطمینان به چهار نوع اصلی طبقه بندی می شود که عبارتند از:

    قابلیت اطمینان تست-آزمون مجدد
    قابلیت اطمینان Interrater
    فرم های موازی قابلیت اطمینان
    ثبات داخلی

قابلیت اطمینان تست-آزمون مجدد

قابلیت اطمینان تست-آزمون مجدد برای اندازه گیری یکنواختی نتایج استفاده می شود، به ویژه زمانی که یک آزمایش مشابه در یک نمونه مشابه در زمان متفاوتی تکرار شود. این نوع قابلیت اطمینان زمانی وارد عمل می شود که چیزی را اندازه گیری می کنید که باید در نمونه شما ثابت بماند. به عنوان مثال، انجام تست کوررنگی بر روی متقاضیان کارآموز خلبان احتمالاً از قابلیت اطمینان تست مجدد بالایی برخوردار است زیرا کوررنگی ثابت می ماند و با گذشت زمان تغییر نمی کند.

چرا قابلیت اطمینان تست مجدد اهمیت دارد؟ نتایجی که جمع‌آوری می‌کنید می‌توانند تحت تأثیر عوامل متعدد در مراحل مختلف زمانی قرار بگیرند. به عنوان مثال، پاسخ دهندگان ممکن است روزهای سختی را در زندگی شخصی خود تجربه کنند که به دلیل آن ممکن است نوسانات خلقی آنها را تجربه کنید. ممکن است برخی از عوامل خارجی نیز وجود داشته باشد که ممکن است بر توانایی پاسخ دهندگان برای پاسخ صحیح تأثیر بگذارد. پایایی آزمون-آزمون مجدد روشی عالی برای ارزیابی اثربخشی یک روش و میزان توانایی آن برای مقاومت در برابر چنین عواملی در یک مقطع زمانی ارائه می دهد. پایایی آزمون-آزمون مجدد با تفاوت بین مجموعه نتایج نسبت معکوس دارد. اگر شکاف کوچکی بین این دو وجود داشته باشد، قابلیت اطمینان تست مجدد بالا خواهد بود.

چگونه می توان قابلیت اطمینان تست مجدد را بهبود بخشید؟

    هنگام ایجاد پرسشنامه یا آزمون، سعی کنید سؤالات و عبارات را به گونه ای تنظیم کنید که تحت تأثیر خلق و خو یا وضعیت ذهنی پاسخ دهندگان قرار نگیرد.
    هنگام نهایی کردن روش‌های جمع‌آوری داده‌ها، سعی کنید تأثیر عوامل خارجی را کاهش دهید و اطمینان حاصل کنید که آزمایش نمونه‌ها در شرایط مشابه انجام می‌شود.
    همیشه به یاد داشته باشید که تغییرات ممکن است در طول زمان در پاسخ دهندگان رخ دهد، بنابراین فراموش نکنید که آن ها را در نظر بگیرید.

قابلیت اطمینان Interrater

قابلیت اطمینان بین ارزیاب که عموماً به عنوان قابلیت اطمینان بین رصدگر شناخته می شود، به اندازه گیری سطح توافق بین افراد مختلف که یک چیز مشابه را مشاهده یا ارزیابی می کنند کمک می کند. این نوع پایایی زمانی استفاده می‌شود که داده‌ها توسط محققانی که امتیازها یا حتی دسته‌ها را به متغیرهای منفرد یا چندگانه اختصاص می‌دهند جمع‌ آوری می‌کنند. به‌ ویژه در مطالعات مشاهده‌ای که محققان قرار است داده‌های مربوط به رفتار کلاس را جمع‌ آوری کنند، قابلیت اطمینان بین‌سنجی نقش محوری دارد. در چنین حالتی، کل تیم پژوهش گران باید در مورد روش های دسته بندی یا رتبه بندی انواع رفتارها به توافق برسند.
فرم های موازی قابلیت اطمینان

در فرم های موازی قابلیت اطمینان، همبستگی که بین دو نسخه آزمایشی معادل وجود دارد اندازه گیری می شود. وقتی دو مجموعه متنوع از سوالات وجود داشته باشد یا از ابزارهای ارزیابی برای اندازه‌گیری یک چیز استفاده شود، این موضوع به چشم می‌خورد.
چرا قابلیت اطمینان فرم های موازی اهمیت دارد؟

اگر ترجیح می‌دهید از نسخه‌های مختلف آزمون خاصی استفاده کنید (مثلاً برای جلوگیری از جمع‌ آوری پاسخ‌های تکراری از پاسخ‌ دهندگان)، اطمینان از اینکه همه مجموعه‌های مختلف سؤالات یا مقیاس‌های اندازه‌گیری باید نتایج قابل اعتمادی را به همراه داشته باشند، ضروری است. برای به اشتراک گذاشتن ارزیابی‌ها در مؤسسات آموزشی، لازم است نسخه‌های مختلف آزمون ایجاد شود تا اطمینان حاصل شود که دانش‌آموزان از قبل به سؤالات آزمون دسترسی ندارند. با توجه به پایایی فرم های موازی، اگر دانش آموزی در دو نسخه متفاوت از یک آزمون خاص شرکت کند، نتایج حاصل از هر دو آزمون باید یکسان باشد.
چگونه قابلیت اطمینان فرم های موازی را اندازه گیری کنیم؟

ایده‌ آل‌ترین و محبوب‌ترین روش برای اندازه‌گیری قابلیت اطمینان فرم‌های موازی، ایجاد مجموعه‌ای از سؤالات متعدد برای تجزیه و تحلیل یک چیز است. پس از انجام این کار، آن سوالات را به طور تصادفی به دو مجموعه مختلف تقسیم کنید. اکنون هر دو مجموعه سوال را با گروه مشابهی از پاسخ دهندگان به اشتراک بگذارید. پس از پاسخ به هر دوی آن ها، به راحتی می توانید همبستگی بین نتایج جمع آوری شده را تعیین کنید. اگر همبستگی بالایی بین آن ها وجود داشته باشد، قابلیت اطمینان فرم های موازی بالا است.
چگونه قابلیت اطمینان فرم های موازی را بهبود دهیم؟

به منظور بهبود قابلیت اطمینان فرم‌های موازی، باید مطمئن شوید که سؤالات مختلف یا موارد آزمونی که استفاده می‌کنید مبتنی بر نظریه‌ای مشابه هستند و بر اندازه‌گیری موارد مشابه تمرکز دارند.
ثبات داخلی در پایایی

سازگاری درونی برای ارزیابی همبستگی بین آیتم‌های مختلف در آزمونی که هدف آن اندازه‌ گیری ساختار مشابه است، استفاده می‌شود. برای محاسبه سازگاری داخلی نیازی به تکرار آزمون ندارید. همچنین، به شما امکان می‌دهد محققان دیگر را درگیر کنید که آن را راهی عالی برای ارزیابی قابلیت اطمینان می‌کند، به‌خصوص زمانی که تنها یک مجموعه داده درگیر باشد.