Нормы и интерпретация результатов теста

школ. Часть выпускников каждой школы сдавали экзамены в вузы. Из первой

школы сдавали экзамены 100 человек, из них 82 успешно, не сдали 18. Таково

распределение численности в первой выборке. Из второй школы сдавали

экзамены в вузы 87 человек, выдержали 44 человека, не сдали — 43. Таково

распределение численностей во второй выборке. Достаточно ли этих данных,

чтобы утверждать, что подготовленность к вузовским экзаменам выпускников

этих школ неодинакова? На первый взгляд, разница налицо:

лучше подготовлены выпускники первой школы. Однако при таком раскладе

численностей возможно влияние случайности. Поэтому встает вопрос, можно ли,

считаясь с представленными распределениями, прийти к статистически

обоснованному выводу о мере подготовленности к экзаменам в вузы той и

другой выборки.

Метод, с помощью которого подвергаются статистическому анализу описанные

распределения численностей, получил название хи-квадрат, его обозначают

греческой буквой x2 с показателем степени. Он был разработан математиком

Пирсоном. Метод x2 весьма универсален, применим во многих исследованиях,

пригоден для статистического анализа распределения численностей

разнообразных количественных материалов, относящихся ко всем статистическим

шкалам, в том числе и к шкале наименований.

Техника вычисления хи-квадрата довольно проста. Рассмотрим пример со

сдачей экзаменов в вузы выпускниками первой и второй школ. В условии

сказано, что всего намерены были сдавать экзамены 187 человек: 100 учащихся

(53,5%) из первой школы и 87 (46,5%) из второй. Предположим, что выпускники

обеих школ подготовлены одинаково, тогда и доли сдавших и не сдавших будут

такие же, как доли их представленности в общем числе сдающих. Всего сдало

экзамены 126 выпускников (82 + 44). Согласно высказанному предположению,

53,5% от этого числа должны бы были прийтись на 1-ю школу — это составит

66,9 от 126 — и 46,5% на 2-ю школу, что составит 58,9 от 126. Такое же

рассуждение повторяем и относительно несдавших. Их всего 61 человек (18 +

43). На 1-ю школу, как нам известно, должно, по предположению, прийтись

53,5% от этого числа, т.е. 33,0 от 61, а на долю 2-й школы — 46,5%, т.е.

28,1 от 61. Нуль-гипотеза, имеющая в данном раскладе тот смысл, что между

выпускниками нет различия, при таком соотношении сдавших и несдавших

подтвердилась бы. Однако в условиях этого исследования показано другое

распределение. Количество выпускников 1-й школы, сдавших экзамены,

составляет 82, а не 66,9, как можно было бы предположить, исходя из нуль-

гипотезы. Соответственно количество выпускников 2-й школы, сдавших

экзамены, составляет в действительности всего 44, а не 58,9. Точно также,

сравнивая количество несдавших (по условию с предполагаемым распределением)

найдем по 1-й школе 18, а не 33, а по 2-й школе — 43, а не 28,1.

Расхождения между действительными распределениями и распределениями,

которые могли бы иметь место, если исходить из нуль-гипотез, налицо. Они-то

и учитываются при вычислении x2. Все сказанное удобно представить в виде

таблицы-графика распределения численностей (табл. 7). Количества, которые

были бы получены при принятии нуль-гипотезы, заключены в скобки. В правом

углу буквенное обозначение клетки.

Таблица 7

|Первая |82 |18 |100 |53,5 |

| |А |В |(100) | |

| |(66,9) |(33,0) | | |

|Вторая |44 |43 |87 |46,5 |

| |С |Д |(87) | |

| |(58,9) |(28,1) | | |

|Всего |126 |61 |187 |100 |

Получены разности по клеткам (знак разности несущественен). Клетки:

А fA = 82—66,9= 15,1;

В fB = 18 — 33 = 15,0;

С fC = 44 — 58,9 = 14,9;

Д fD= 43—28,1= 14,9. Формула хи-квадрат:

[pic]

где f0— наблюдаемые численности; fe — предполагаемые (теоретические)

численности.

В рассмотренном материале x2 = 15,12/66,9 + 152/33 + 14,92/58,9 +

14,92/28,1= 288/66,9 + 225/33 + 222/58,9 + 222/28,1= 3,4 + 6,8 + 3,8 + 7,9

= 21,9

Для получения числа степеней свободы нужно воспользоваться формулой

(только для хи-квадрат): fd = (k - 1)(с - 1) = (2 - 1) х (2 - 1) = 1

степень свободы, где k — число столбцов, с — число строк в таблице с

анализируемым материалом.

Обратимся к таблице уровней значимости для одной степени свободы для хи-

квадрат: x20,99 = 6,6. Следовательно, полученная величина вполне достаточна

для отклонения h0. Есть все основания для содержательного вывода о

различной степени подготовленности выпускников обеих школ к экзаменам в

вузы.

Все вычисления, приводимые в этой главе, ведутся с точностью до первого

знака, т.е. вычисляются целые и десятые. Этим объясняется та, в общем-то,

несущественная разница при вычислениях одной и той же величины разными

способами. Никакого практического значения встречающиеся расхождения в

величинах не имеют.

Полезно знать, что коэффициент хи-квадрат и коэффициент четырехпольной

корреляции взаимосвязаны и, поскольку известна численность и распределение

сопоставляемых выборок, указанные коэффициенты могут быть определены один

через другой.

Как показывает само название этого метода, числовой материал, подлежащий

статистическому анализу, может быть распределен в таблице-графике, имеющей

четыре поля. Такое расположение материала облегчает все последующие

действия с ним. Чтобы рассмотреть технику вычисления коэффициента

четырехпольной корреляции — он обозначается символом ? (фи), — можно

воспользоваться тем примером, где речь шла о вычислении коэффициента x2.

Выпускники двух школ сравнивались между собой по подготовленности к

вузовским экзаменам.

|Первая |82 a |18 b |100 a + b |

|Вторая |44 c |43 d |87 c + d |

|Итого: |126 а + с |61 b + d |187 |

[pic]

Заменив буквенные обозначения числами, получим:

[pic]

Для получения коэффициента х2 нужно воспользоваться формулой х2 = ?2 · n.

В данном примере х2 = 0,342 · 187 = 0,1156 · 187 = = 21,7. Этот же

коэффициент х2 вычислялся другим приемом. Получено значение 21,9.

Расхождение вызвано разницей в технике вычислений.

Коэффициент четырехпольной корреляции ? может принимать значения от 0 до

1, причем знак получаемого ? не принимается во внимание.

Психологу, намеренному воспользоваться для статистического анализа своих

материалов методом хи-квадрат, нужно знать о некоторых обязательных

требованиях этого метода; о них не упоминалось в приведенных примерах. При

вычислении коэффициента х2 необходимо брать для анализа только абсолютные

численности выборок, но не относительные, в частности, не проценты.

Необходимость учитывать это свойство объясняется тем, что значение

коэффициента х2 зависит от абсолютных величин рассматриваемых

распределений. Так, сравнение выборок с численностями 60 и 40 даст

совершенно не тот результат, что сравнение выборок с численностями 6 и 4,

хотя процентное отношение распределений в обоих случаях одинаково (60 и

40%).

Далее, для вычисления коэффициента х2 нужно, чтобы в каждой клетке таблицы-

графика было не менее пяти наблюдений. Наконец, нужно со вниманием

относиться к определению числа степеней свободы; неверное определение этого

числа повлечет за собой неверное определение уровня значимости коэффициента

по таблице.

Этим заканчивается рассмотрение статистических методов, относящихся ко

второму типу задач.

В этих задачах независимо от того, будут ли они практического или

теоретического содержания, психолог сопоставляет, сравнивает между собой

несколько выборок. При этом не следует забывать, что цель исследования не

всегда состоит в том, чтобы при сопоставлении отвергнуть нуль-гипотезу.

Иногда конечная или промежуточная цель исследования состоит в том, чтобы,

допустим, сравнивая выборки, подтвердить нуль-гипотезу. Самый простой

пример: исследователь желает составить большую выборку, для чего необходимо

объединить в ней учащихся нескольких школ. Естественно, решающее значение

имеет доказательство того, что группы учащихся из разных школ относятся к

одной совокупности, нужно, чтобы примененные критерии подтвердили это, а

значит, статистика должна подтвердить при сравнении групп нуль-гипотезу.

Подтвердить или отвергнуть нуль-гипотезу при сопоставлении выборок — в этом

и состоит назначение статистических критериев; наиболее простые из них были

изложены в предшествующем тексте. Конечно, информация, которую выявят

статистические методы, может быть противоречива утверждениям, которые

намерен защищать исследователь. В таком случае ему придется внести поправки

в свои утверждения или отказаться от них.

Переходим к задачам третьего типа — задачам, рассматривающим динамические,

временные ряды.

Предположим, что психологу дано задание собрать информацию о состоянии

умственной работоспособности школьников 8-х классов, начиная со второй

недели учебного года и до девятой недели включительно. Одной из методик, с

помощью которых можно фиксировать состояние умственной работоспособности,

считается тест Крепелина. Он состоит из большого количества примеров, в

каждом из них нужно складывать два двузначных числа; учитывается общее

число правильно решенных примеров. Каждые 3 минуты испытуемые по сигналу

экспериментатора отмечают черточкой сделанное. Общая длительность

эксперимента в зависимости от возраста составит 9, 12 или 15 минут. Этой

методикой и воспользовался психолог. Он начал с того, что сформировал из

учащихся, средние успехи которых оценивались за предыдущее полугодие

баллами 4 и 5, выборку из 10 человек. Все они изъявили желание участвовать

в эксперименте. С этими учащимися психолог в течение первой недели учебного

года провел по 12 тренировочных занятий; это было необходимо, иначе рост

продуктивности вследствие упражняемости замаскировал бы изменения в

динамике работоспособности. Затем начался эксперимент: по субботам после

уроков учащиеся этой выборки в течение 12 минут работали с тестом

Крепелина. Эксперимент, как было сказано, продолжался 8 недель. Были

получены следующие данные, средние по всей выборке (рис. 4).

Визуальная оценка полученного динамического ряда свидетельствует о

снижении умственной работоспособности, в чем, конечно, нет ничего

удивительного. Однако снижение идет не вполне равномерно. Это ясно видно из

графика.

|Недели эксперимента |I |II |III |IV |V |VI |VII |VIII|

|Средняя продуктивность по тесту |92 |94 |90 |92 |81 |74 |78 |70 |

Основная тенденция изменения умственной работоспособности вполне ясна.

Наблюдаемые, в общем, незначительные отклонения от этой тенденции могут

быть на графике устранены методом сглаживания. В этом случае применим метод

скользящей средней. Для сглаживания суммируются три показателя у — в данном

примере это показатели продуктивности по тесту, — далее, опуская по одному

показателю, суммируются одна за другой триады. Средняя каждой триады

принимается за показатель сглаженной ломанной, если ориентироваться по

графику. Смысл проводимого действия состоит в том, что основная тенденция

выступает более отчетливо.

| |92 |92 |88 |82 |77 |74 |— средние по триадам|

|92 |94 |90 |92 |81 |74 |78 |70 |

В только что рассмотренном примере сглаживание имеет такой вид:

Результаты сглаживания приобретают большую наглядность при нанесении их на

график. Выступает основная тенденция динамики умственной работоспособности.

Судя по показателям, полученным после сглаживания, в течение первых трех

экспериментальных недель значительного снижения работоспособности не

наблюдается, а далее идет непрерывное и резкое ее снижение. Сглаживание,

как видно на графике, устранило колебания в работоспособности, отмеченные

на первичном графике после V недели. При сглаживании по триадам общее число

точек уменьшается на 2.

Какое значение имеет выделение посредством сглаживания основной тенденции?

Если условия, благодаря которым возникла основная тенденция, сохранятся, то

и эта тенденция с высокой вероятностью сохранится и, таким образом, по

основной тенденции может быть построен прогноз, как будут развиваться

изучаемые явления. Но такой прогноз возможен только при стабильности

определенных условий. Для его построения нужен не только формальный, но и

содержательный анализ; он же позволяет раскрыть значение факторов,

вызвавших отклонения в ту или другую сторону от основной тенденции.

е Техника метода скользящей средней дает возможность выбирать различные

способы объединения показателей для сглаживания. Таковыми могут быть не

только триады, но при достаточно большом числе показателей (порядка 30—40 и

более) для выведения скользящей средней могут быть выбраны пентады

(объединения пяти показателей) и даже септиды (семь показателей).

Нужно иметь в виду, что наглядный и простой метод скользящей средней

малопригоден для сглаживания динамики процессов, развитие которых во

времени не имеет линейной формы (см.: рис. 3, схема 5, с. 265). Сглаживание

методом скользящей средней в таких случаях может привести к искажению

действительной тенденции развивающегося процесса. Исследователю следует

внимательно всмотреться в материал, подлежащий сглаживанию, чтобы решить,

имеет ли он право воспользоваться этим методом. Если криволинейная

зависимость отражена в достаточно больших отрезках кривой, то каждый из

этих отрезков в отдельности может быть подвергнут сглаживанию. Таково

ограничение в использовании метода скользящей средней.

Анализируя выраженную на графике основную тенденцию в ее приближении к

прямой, можно заметить, что метод не дает меры наклона, угла, который

образуется между полученной после сглаживания приближающейся к прямой

ломаной и осью абсцисс. Между тем, узнав величину этого угла, исследователь

получит информацию о том, с какой скоростью изменяются изучаемые явления во

времени: чем круче наклон и соответственно чем меньше внешний угол

сглаженной кривой с осью абсцисс, тем больший путь проходит за единицу

времени изменяющийся процесс. Это хорошо видно на рис. 5.

[pic]

Рис.5

Точные сведения о мере наклона отрезка прямой, полученного после

сглаживания, дает метод наименьших квадратов.

Для получения параметров отрезка прямой нужно обратиться к отношению

единиц времени (х) и показателей развивающего процесса (у).

Для нахождения параметров отрезка прямой, который после сглаживания

представит основную тенденцию изменяющегося ряда, проделываются вычисления

по определенным формулам.

Формула прямой: у = а + bх, где у означает показатели ряда, х — единицы

времени, по которым прослеживаются изменения изучаемого ряда. Надлежит

узнать величины а и b. Величина а необходима для установления точки, с

которой берет свое начало отрезок прямой, b — необходимо для установления

степени наклона отрезка прямой по отношению к оси абсцисс (оси иксов).

Для вычисления вышеуказанных параметров а и b имеется система двух

уравнений с двумя неизвестными:

па + Sxb = Sу;

Sxa + Sx2b = Sху;

х и у в этой формуле рассчитываются из фактических данных изучаемого ряда.

Порядок вычислений. Шестиклассники Саня и Толя в течение пяти дней

упражнялись в бросках мяча в корзину. Показатели Сани приведены в таблице

(х — единица времени, у число попаданий мячом в корзину. В таблице

приведены вычисления и других, требуемых формулой, величин; п = 5).

|х |у |х2 |ху |

|1 |3 |1 |3 |

|2 |4 |4 |8 |

|3 |6 |9 |18 |

|4 |5 |16 |20 |

|5 |8 |25 |40 |

Sx = 15; Sу = 26; Sx2 = 55; Sху = 89 5a + 15b = 26;

15a + 55b = 89.

Нахождение неизвестных а и b производится обычным способом исключения

одного неизвестного. Члены первого уравнения для этого умножаются на 3

15a + 45b = 78.

Из второго уравнения вычитается первое, вычисляем b:

10b = 11; b = 1,1.

Подставив числовое значение b в первое уравнение, можно получить числовое

значение а:

5a + 16,5 = 26;

5a = 9,5; a = 1,9.

Поскольку известны оба параметра отрезка прямой, можно определить все

значения параметров по пяти точкам, по формуле у = 1,9 + 1,1х.

y1 = 1,9 + 1,1 =3,0;

y2 = 1,9 + 2,2=4,1;

y3 = 1,9 + 3,3=5,2;

y4 = 1.9 + 4,4 = 6,3;

y5 =1,9 + 5,5=7,4.

Как было сказано ранее, сверстник Сани Толя упражнялся в том же умении.

Так же, как и у Сани, количество дней упражнения было равно 5. Ниже

приводятся результаты Толи и показаны все другие величины, которые

необходимы для вычисления величин, требуемых формулой.

|х |у |х2 |ху |

|1 |3 |1 |3 |

|2 |6 |4 |12 |

|3 |5 |9 |15 |

|4 |8 |16 |32 |

|5 |10 |25 |50 |

Sx = 15; Sy = 32; Sx2 = 55; Sxy =112.

Обозначения здесь такие же, что и в предыдущем примере. Буквы заменяются

их числовыми значениями.

5a + 15b = 32;

15a + 55b = 112.

Члены первого уравнения умножаются на 3

15a + 45b = 96.

Из второго уравнения вычитается первое, получим значение b:

10b= 16; b= 1,6.

Из первого уравнения получаем значение а:

5a + 24 = 32;

5a = 8; a = 1,6.

Можно получить сглаженные показатели по дням упражнений у Толи. y1 = 1,6 +

1,6=3,2;

y2 = 1,6+3,2=4,8;

y3 = 1,6 + 4,8 = 6,4;

y4 = 1,6 + 6,4 = 8,0;

y5 = 1,6+ 8,0=9,6.

На рис. 6 показаны только результаты сглаживания. Следует обратить

внимание на то, как различаются отрезки прямой по их наклону по отношению к

оси абсцисс. Данные Толи изображены пунктирной прямой.

Таковы способы обработки задач третьего типа.

Задачи, встающие перед психологом, который работает в области

психологической диагностики, составляют четвертый тип задач.

Они относятся к конструированию диагностических методик, к их применению и

обработке. Американская психологическая ассоциация (АПА) периодически

издает «Стандартные требования к педагогическим и психологическим тестам»,

специальный кодекс требований к диагностическим методикам; это пособие

полезно как для авторов методик, так и для тех, кто методиками пользуется.

Некоторые из этих требований могут считаться дискуссионными, но полезность

кодекса в целом несомненна. Его выполнение, с одной стороны, обеспечивает

объективность методик и их обоснованность, а с другой — препятствует

проникновению в арсенал методик психологической диагностики дилетантских

поделок, произвольных наборов всевозможных заданий, заимствованных из

популярных журналов или сочиненных самим автором. Самые общие и самые

необходимые к исполнению требования можно было бы свести всего к двум:

диагностические методики должны быть надежными и валидными. Значение этих

терминов было дано в предыдущих главах. Реализация этих требований

осуществляется посредством прочно вошедших в психологическую диагностику

статистических методов (Как было показано в гл. XI, при работе с

критериально-ориентированными методиками при их конструировании и проверке

возможны другие подходы).

Чтобы получить коэффициент надежности, характеризующий гомогенность

методики, ее внутреннюю согласованность, прибегают к приему, называемому

расщеплением. Эксперимент проводится с выборкой желательно порядка 100, но

не менее 50 испытуемых. Полученные от каждого участника выборки ответы на

вопросы или решения заданий делятся на четные и нечетные — по их нумерации

в методике. По каждой половинке методики выписывается число правильно

выполненных каждым испытуемым заданий. Два эти ряда коррелируют между

собой.

Допустим, что методика состоит из 24 заданий. Тогда максимальное число

выполненных заданий в каждой половинке будет равно 12. Приводим результаты

первых 16 испытуемых и технику вычисления коэффициента надежности

(гомогенности) ? (табл. 8).

Таблица 8

ВЫЧИСЛЕНИЕ КОЭФФИЦИЕНТА НАДЕЖНОСТИ МЕТОДИКИ А (ГОМОГЕННОСТЬ)

|А |10 |11 |10,5 |13,5 |3 |9 |

|Б |8 |8 |8 |8,5 |0,5 |0,25 |

|В |3 |7 |3 |6,5 |3,5 |12,25 |

|Г |3 |3 |3 |2 |1 |1 |

|Д |11 |12 |12,5 |15,5 |3 |9 |

|Е |12 |10 |15 |11 |4 |16 |

|Ж |12 |12 |15 |15,5 |0,5 |0,25 |

|3 |9 |8 |9 |8,5 |0,5 |0,25 |

|И |7 |7 |6,5 |6,5 |0 |0 |

|К |6 |6 |6 |6 |0 |0 |

|Л |7 |5 |6,5 |4 |2,5 |6,25 |

|M |11 |10 |12,5 |11 |1,5 |2,25 |

|Н |3 |4 |3 |3 |1 |1 |

|О |2 |2 |1 |1 |0 |0 |

|П |10 |11 |10,5 |13,5 |3 |9 |

|Р |12 |10 |15 |11 |4 |16 |

Sd2

= 82,5

[pic]

Проделана обычная ранговая корреляция. По таблице уровней значимости ?0,99

= 0,64; полученный коэффициент превышает эту величину. Принято считать, что

коэффициент надежности не должен быть ниже 0,8. Полученный коэффициент

удовлетворяет этому требованию (Применение коэффициента корреляции для

нахождения коэффициента надежности-гомогенности путем сопоставления числа

правильных решений по четным заданиям и числа правильных решений по

нечетным заданиям некоторые авторы находят недостаточно корректным,

поскольку порядок, в котором представлены коррелируемые ряды, может быть

случайным, он может быть произвольно изменен. Однако никакого другого

приема для установления этого вида надежности в «Стандартных требованиях к

педагогическим и психологическим тестам» не дается. Нахождение коэффициента

надежности-стабильности указанной недостаточной корректностью не грешит).

Есть поправочная формула Спирмена—Брауна к коэффициенту надежности-

гомогенности, получаемому путем расщепления. Поскольку при прочих равных

условиях получаемый коэффициент будет тем выше, чем больше заданий

содержится в методике, следует принять во внимание, что прием расщепления

уменьшает число заданий вдвое — на этом основывается данный прием.

Поправочная формула

[pic]

в нашем примере

[pic]

где rSB — коэффициент с учетом поправки, а — коэффициент,

вычисленный при коррелировании двух половинок методики. Если этот последний

равен 0,88, то после поправки Спирмена—Брауна коэффициент будет равен 0,94.

Поправочную формулу Спирмена—Брауна можно применять только в тех случаях,

когда методика делится на половинки (расщепление). Если же в методике в

процессе обработки не меняют число заданий, то поправочная формула не

применяется.

Величина коэффициента надежности-гомогенности зависит от социально-

психологических особенностей той выборки, по результатам испытания которой

этот коэффициент устанавливался. Поэтому при опубликовании методики,

приводя ее основные характеристики, автору следует указать, на каком

контингенте проводилась проверка надежности.

При вычислении коэффициента надежности методики, характеризующего

стабильность данных, получаемых с помощью этой методики, первый

коррелируемый ряд представляет собой результаты первого, а второй —

повторного испытания: его рекомендуют проводить примерно через шесть недель

после первого. При необходимости этот срок может изменяться. Эти два ряда

коррелируют между собой. Корреляция проводится по обычным правилам, о них

сообщалось выше. Это прием «тест-ретест».

Для установления надежности методики существуют и некоторые другие приемы.

Так, для получения коэффициента надежности практикуется прием параллельных

форм. Авторы, конструирующие методику, создают две ее формы; условно

назовем их формой А и формой Б. Обе формы должны быть однородны по

психологической направленности, по доступности содержания заданий и по их

трудности. В одном варианте формы Л и Б предъявляются испытуемым одна за

другой, причем в одной половине выборки испытуемым сначала предлагается

форма А, а за ней форма Б, а в другой половине выборки, наоборот, сначала

форма Б, а затем А. Результаты, полученные по той и другой форме,

коррелируют между собой, и полученный коэффициент трактуется как

коэффициент надежности. Нетрудно заметить, что этот прием близок приему

расщепления с той разницей, что методика как бы удвоена и сравниваются не

четные и нечетные задания, а две половины этой удвоенной методики. Это дает

право трактовать получаемый коэффициент скорее как коэффициент надежности-

гомогенности, а не надежности-стабильности. Поскольку проверке подвергается

набор заданий в целом, поправочную формулу Спирмена—Брауна применять не

следует.

Другой вариант использования приема параллельных форм состоит- в том, что

одна из форм предлагается испытуемым через какой-то интервал времени после

другой, что сближает этот прием с приемом «тест-ретест». При проведении

этого приема необходимо убедиться в том, что обе формы высоко коррелируют

между собой, согласно только что изложенному приему по надежности-

Гомогенности. Результаты обоих испытаний затем коррелируют. Полученный

коэффициент может трактоваться как коэффициент надежности-стабильности.

Выше указывалось, что в приеме «тест-ретест» рекомендуется интервал между

испытаниями шесть недель. Для этого варианта приема параллельных форм этот

интервал может быть уменьшен, так как испытуемый при выполнении заданий не

сможет опираться на память.

Из предшествующего изложения явствует, что в приемах установления

надежности главную роль играет статистический метод корреляций. Несколько

по-иному обстоят дела при проверке валидности методики.

Если показатели того критерия, который взят для получения коэффициента

внешней валидности, имеют примерно ту же меру рассеяния, меру

вариативности, что и мера рассеяния показателей самой методики, то

применение корреляции правомерно. Допустим, автор методики намерен

установить ее валидность, сравнивая успешность выполнения методики с

учебной деятельностью. Валидность устанавливается на выборке школьников. В

этом случае, как показывает практика, суммарные оценки за одну учебную

четверть или за полугодие покажут примерно тот же размах колебаний, что и

размах колебаний по методике; методика состоит из 20 заданий, и при ее

выполнении показан размах колебаний от 3 до 20. Суммарные оценки

успеваемости, после того как они подсчитаны за полгода, имеют размах

колебаний порядка от 14 до 36. Такие ряды вполне возможно коррелировать.

Но в некоторых случаях для получения коэффициента валидности приходится

сравнивать успешность выполнения диагностической методики, допустим, в тех

же пределах колебаний — от 3 до 20, и производственные достижения, которые

имеют всего три ступени оценок: ниже средних, средние и выше средних.

Корреляцией в этом случае воспользоваться нельзя, если иметь в виду

линейную корреляцию, о которой идет речь в этой главе. Однако могут быть

использованы некоторые другие статистические методы, показывающие

существование или отсутствие связи между распределением двух рядов

численностей. Простейший способ получения коэффициента валидности в

описываемом случае и в других подобных случаях — метод «хи-квадрат». Всех

испытуемых, прошедших диагностический эксперимент, делят на три равные

группы — их и сопоставляют с тремя группами, на которые были поделены

испытуемые при оценке их профессиональной успеваемости.

В изучаемой выборке — 90 человек. Они делятся по профессиональным

достижениям на три группы: первая — в ней 30 испытуемых — лица с

профессиональными достижениями ниже среднего уровня; вторая — 40 испытуемых

— это лица со средними достижениями, и третья — 20 испытуемых, их

достижения выше среднего уровня. Первая группа составляет 33,3% выборки,

вторая — 44,4 и третья — 22,2%.

Приводим технику вычисления (табл. 9).

Таблица 9

|Психологическа|Оценка профессиональных достижений |Всего |

|я оценка | | |

|Ниже среднего |А |В |С |30 |

| |20 |5 |5 | |

| |(10) |(13,3) |(6,7) | |

|Средняя |D |Е |F |30 |

| |5 |15 |10 | |

| |(10) |(13,3) |(6,7) | |

|Выше среднего |G |Н |J |30 |

| |5 |20 |5 | |

| |(10) |(13,3) |(6,7) | |

|Итого: |30 |40 |20 |90 |

Эксперимент, данные которого представлены в табл. 8, предпринимался, чтобы

установить валидность психологической оценки. Нуль-гипотеза формулируется

так: психологическая оценка не имеет никакого значения для профессиональных

достижений; поэтому она никак не скажется на распределении численностей в

таблице-графике «хи-квадрат»;

Принятие нуль-гипотезы может произойти в том случае, если в каждой из

групп по профессиональной успешности испытуемые будут распределены

независимо от их психологической оценки. Тогда испытуемые, получившие

психологическую оценку «ниже среднего», распределятся по всем трем группам

в тех же процентных отношениях, в каких они распределились и по

профессиональным достижениям. Напомним эти отношения: 33,3 — 44,4 — 22,2.

Психологическую оценку «ниже среднего» получили всего 30 испытуемых. 33,3%

этого числа (10 человек) должны были бы попасть в группу с

профессиональными достижениями ниже среднего уровня, с достижениями

среднего уровня — 44,4% (в среднем 13,3), с достижениями выше среднего

уровня — 22,2% (6,7).

Те же рассуждения повторяются и относительно испытуемых, имеющих

психологические оценки «среднюю» и «выше среднего». Однако наблюдается иное

распределение. Возникает вопрос: можно ли, учитывая фактическое

распределение, отвергнуть нуль-гипотезу и признать, что психологическая

оценка влияет на профессиональные достижения? Это раскроет методика «хи-

квадрат».

В клетках таблицы представлены как фактически наблюдаемые численности, так

и предполагаемые согласно нуль-гипотезе; они заключены в скобки.

Как известно, формула хи-квадрат такова:

[pic]

где f0 — фактически наблюденные численности, fe — предполагаемые

численности.

Для получения значения хи-квадрат нужно суммировать по клеткам:

[pic]

Клетки

[pic]

x2 = 10 + 5,2 + 0,4 + 2,5 + 0,2 + 1,6 + 2,5 + 3,7 + 0,4 = 26,5, fd —

число степеней свободы.

В этом примереc = (к - 1)(с - 1) = (3 - 1)(3 - 1) = 4.

x20,99 при 4 степенях свободы равно 11,34.

Сравнивая полученную в эксперименте величину x2 с величиной x20,99,

указанной в таблице значимостей, можно заключить: полученная в эксперименте

величина (x2 = 26,5) свидетельствует о валидности примененной

психологической методики.

Величина хи-квадрат с указанием ее значимости служит в подобных случаях

показателем или коэффициентом валидности. Этот же метод применяется, если

оценка дается не по трем ступеням, как в рассмотренном примере, а по пяти

(значительно ниже средней, ниже средней, средняя, выше средней, значительно

выше средней и т.д.). Техника вычислений при такой дифференциации оценок

аналогична показанной выше.

Были изложены четыре типа задач и показаны статистические методы,

применяемые для каждого типа. В современной диагностике применяются не

только перечисленные в этой главе статистические методы, но и многие

другие. Однако можно полагать, что, ограничив свою цель изложением

простейших статистических методов, нет необходимости обращаться к сложным и

сложнейшим. Читатели, заинтересовавшиеся проблемами статистических методов

в диагностике, могут обратиться к другим пособиям и источникам.

Элементы планирования в психологических исследованиях. Нельзя начинать

исследование, не уяснив его цель. Это аксиома. Однако наблюдения

показывают, что не все ее принимают. Нередко можно обнаружить смешение двух

категорий целей: цель исследования и цель исследователя. Но полное

доминирование цели исследователя и безразличное отношение к цели

исследования не должны иметь места. Планирование должно исходить из цели

исследования.

Есть два главных источника, стимулирующих возникновение исследований: либо

они отвечают на запросы, выдвигаемые практикой, которую обслуживает данная

наука, либо они возникают из нужд самой науки и имеют целью

совершенствовать познание тех сфер жизни, которым посвящена данная наука.

Стоит отметить, что детальное планирование необходимо и в том, и в другом

случае. Мнение, будто практические исследования могут проводиться без

заранее продуманного плана, безусловно, ошибочно; только правильно

спланированное исследование может в своих выводах дать ответ на те вопросы,

ради решения которых оно и задумывалось.

Различают планирование исследований, не нуждающихся в эксперименте, и

исследований, включающих эксперимент как необходимую часть. Что касается

первых, то их планы в принципе не отличаются от планов исследований в

других науках. В вводной части (она будет примерно такой же и в

экспериментальных исследованиях) очерчивается место данного исследования в

потоке современной науки, кратко реферируются работы, затрагивающие ту же

проблематику, указываются источники и формулируется замысел исследования и

его цель. Далее планируется само исследование. Все без исключения

исследования вообще могут рассматриваться как система доказательств,

обосновывающих выводы, в которых содержится и цель, поставленная автором.

Этот план не должен рассматриваться как обязательный. Особенности работы

могут заставить автора в той или иной степени отойти от него, дополнить его

или сократить. В исследованиях, включающих эксперимент, во вводной части

должно быть показано, зачем оказался нужным эксперимент и каковы принципы

его построения.

Планирование эксперимента в психологическом исследовании предполагает

предварительное обсуждение следующих пяти пунктов.

А. Каков планируемый объект эксперимента, другими словами, какова та

выборка испытуемых, которых намерен привлечь автор? В зависимости от того,

каких испытуемых возьмет автор, ему придется обдумать и следующий пункт.

Б. Если необходимо работать со школьниками, то эксперимент должен быть

согласован со школьными режимами — годовым, еженедельным и ежедневным, с

учетом умственной нагрузки школьников. Необходимо считаться и с периодом

подготовки к экзаменам и их сдачей. С первыми двумя пунктами тесно связан

третий.

В. Нужны методики, которые, с одной стороны, учитывали бы особенности

исследуемого контингента, а с другой — непосредственно вели бы к цели

исследования. Когда намечены методики и время их проведения, возникает

следующий пункт плана.

Г. Материалы эксперимента нуждаются в адекватной обработке и почти всегда

в привлечении статистики. Планируются такие статистические методы,

результаты которых непосредственно направлены на достижение цели

исследования. Все перечисленные пункты подготавливают планирование

последнего пункта.

Д. Сколько и какой квалификации работников нужно для проведения

эксперимента, какая понадобится аппаратура и каких средств потребует

эксперимент?

Цель исследователя (а не исследования) должна подсказать, в каком виде

нужно представить полученный материал: это может быть отчет, статья, часть

книги или диссертация и т.д. Исследователь, обдумывая предстоящий

эксперимент, должен иметь в виду, что полученные выводы будут относиться не

только к выборке испытуемых, непосредственно участвующих в эксперименте, но

и к той совокупности, к которой принадлежит эта выборка. Чтобы этот расчет

оправдался, нужно с достаточной определенностью представить, что же это за

совокупность. Поэтому важно вести эксперимент не со случайным набором

испытуемых, а с испытуемыми, образующими репрезентативную выборку,

воспроизводящую все характерные психологические признаки совокупности. С

этих же позиций репрезентативности нужно рассмотреть вопрос об объеме

выборки. Не всегда целесообразно планировать участие большой выборки в

несколько сотен или тысяч испытуемых. В такой выборке почти неизбежно

утратится репрезентативность, в ней, возможно, будет представлено несколько

совокупностей, каждая из которых так или иначе повлияет на результаты

эксперимента: их интерпретация потеряет ясность. Поэтому предпочтительнее

работать с малыми и средними выборками, объемом до 30—100 испытуемых. Чтобы

решить, сколько же конкретно следует взять участников эксперимента,

придется провести пилотажный, или подготовительный, мини-эксперимент.

Проведение такого эксперимента поможет выявить два необходимых момента:

гомогенность выборки, ее сравнительно малую вариативность по тем признакам,

которые, при прочих равных условиях, изучаются в эксперименте, и такой ее

объем, который обеспечит получение всех показателей как внутри выборки, так

и в ее сопоставлениях на должном уровне статистической значимости. О

последнем моменте свидетельствует следующее наблюдение: допустим, что в

пилотажном эксперименте на выборке 10 испытуемых получен коэффициент

корреляции между двумя признаками, равный 0,55. Этот коэффициент

свидетельствует о том, что коррелируемые ряды связаны между собой, однако

он ниже уровня 0,95 значимости, который принят в психологических

исследованиях. При увеличении выборки до 12 человек коэффициент окажется на

приемлемом уровне значимости — несколько выше коэффициента общепринятого

уровня, а он равен 0,576. Вывод, который придется сделать исследователю:

выборка должна состоять не из 10 испытуемых, а минимум из 12-15. Этот объем

позволит получить значимый коэффициент. Но определить объем выборки без

пилотажного эксперимента не представляется возможным. Если автор претендует

на более высокий уровень значимости, то по таблице уровней значимости он

установит и объем выборки. Чем выше гомогенность выборки, тем яснее ее

отнесенность к той или другой совокупности. Вместе с тем высокая

гомогенность может рассматриваться как предпосылка того, что желательные

уровни статистической значимости действительно могут быть достигнуты с

увеличением выборки.

При планировании эксперимента исследователю надлежит обратить внимание на

то, чтобы в подборе испытуемых для своей выборки он избежал ошибок,

порождаемых стремлением работать с выборкой, обеспечивающей получение

желательных результатов. Надежным заслоном против таких ошибок является

обращение к Таблице случайных чисел. Так, исследователю предстоит отобрать

из двух классов одну выборку: число учеников в обоих классах составляет 60

человек, а выборку исследователь намерен составить из 15 человек. Возможно,

что ему посоветуют взять лучших, или дисциплинированных, или усердных и

т.п. Но те признаки, которыми советуют руководствоваться исследователю,

несущественны для его цели. Допустим, что он намерен изучить наиболее яркие

проявления гуманитарных способностей. Чем руководствоваться исследователю

при отборе испытуемых в свою выборку? Ему следует обратиться к Таблице

случайных чисел.

Чтобы воспользоваться этой таблицей, сначала нужно выписать подряд, одну

за другой, в любой последовательности фамилии учеников, из числа которых

исследователь намерен образовать нужную ему выборку. Далее, открыв Таблицу

случайных чисел на любой странице, следует взять, например, два первых

двузначных числа из любого из десяти столбцов, напечатанных на этой

станице. Идя сверху вниз, нужно последовательно приписывать эти двузначные

числа к фамилиям учеников. В выборку попадут ученики, к чьим фамилиям будут

приписаны первые пятнадцать чисел, начиная с наименьшего. Исследователь

волен взять не первые два числа, а два последних или два средних и идти не

сверху вниз, а снизу вверх. Необходимо только сохранять тот порядок,

который был избран для работы с Таблицей случайных чисел в данном

конкретном исследовании.

Вот фрагмент одной из страниц Таблицы случайных чисел:

|5489 |5583 |3156 |0835 |1988 |3912 |0938 |7460 |0869 |4420 |

|3522 |0935 |7877 |5665 |7020 |9555 |7379 |7124 |7878 |5544 |

|7555 |7579 |2550 |2487 |9477 |0864 |2349 |1012 |8250 |2633 |

|5759 |3564 |5080 |9074 |7001 |6249 |3294 |6368 |9102 |2672 |

и т.д.

Допустим, исследователь решил, идя сверху вниз, воспользоваться первыми

двумя числами третьего столбца. Тогда идущий первым по порядку ученик

получит приписанное к своей фамилии число 31, второй по порядку — число 78,

третий —25, четвертый — 50 и далее, следуя вниз по столбцу. После того как

числа будут приписаны всем 60 ученикам, будут отобраны те, кто получил

первые по порядку 15 чисел. Эта несложная процедура исключает

произвольность в отборе испытуемых.

Рекомендации, содержащиеся выше, помогут спланировать пилотажный

эксперимент, а затем и исследование в его окончательном варианте (Вопрос о

конструировании эксперимента как такового в этой главе не затрагивается).

Такое построение работы поможет сэкономить силы, средства и время и в

конечном счете прийти к поставленной цели, либо доказав и подтвердив

гипотезу автора, либо отказаться от нее. В том и другом случае прояснится

дальнейший путь развития исследований, уточняющих и углубляющих разработку

проблемы.

Дело, однако, не только в этом. Неточно спланированное исследование,

сколько бы сил в него ни вложили, вряд ли продвинет вперед науку и поможет

практике. Всегда останется сомнение в действенности его выводов. А это

приведет к тому, что возникнет необходимость в новых, тождественных по

целям исследованиях, станут вероятными противоречивые выводы.

Поэтому умение планировать экспериментальное исследование составляет

важное и необходимое звено в профессиональной подготовке и надлежащей

квалификации психолога.

-----------------------

Рис. 1. РАСПРЕДЕЛЕНИЕ УЧАСТНИКОВ МЕЖДУНАРОДНОЙ КОНФЕРЕНЦИИ:

1 — русские; 2 — датчане; 3 — англичане; 4 — французы; 5 — немцы

1. Положительная связь

2. Слабая положительная связь

3. Отсутствие связи

4. Отрицательная связь

5. Нелинейная зависимость

Недели эксперимента

Рис. 4

Относительно медленное движение

Относительно быстрое движение

Единица времени

Страницы: 1, 2, 3

Рефераты

Нормы и интерпретация результатов теста