Что такое обратная шкала в тесте

Шкалирование результатов тестирования

Шкалирование результатов тестирования

Стивенс (1946) определил 4 уровня шкал измерения, отличающиеся по степени, в которой принадлежащие им оценки сохраняют свойства множестве вещественных чисел. Это шкалы:

— номинальная (или номинативная, шкала наименований)

Интерпретация результатов тестирования

В тестах с нормативно-ориентированной интерпретацией главная задача – определение сравнительного места каждого из тестируемых в общей группе испытуемых. Очевидно, что место каждого испытуемого зависит от того, на фоне какой группы его оценивают. Один и тот же результат может быть отнесен к категории довольно высоких, если группа слабая, и к категории довольно низких, если группа – сильная. Именно поэтому необходимо по возможности использовать нормы, отражающие результаты выполнения теста большой репрезентативной (от фр. выборкой испытуемых.

Установление норм выполнения теста

Чтобы устранить зависимость интерпретации от результатов других участников тестирования используют специальные нормы выполнения теста, и таким образом, первичный балл отдельного испытуемого сопоставляется с нормами выполнения теста. Нормы – это множество показателей, которые устанавливаются эмпирически по результатам выполнения теста четко определенной выборкой испытуемых. Разработка и процедуры получения этих показателей составляют процесс нормирования (или стандартизации) теста. Наиболее распространенными нормами являются среднее значение и стандартное отклонение по множеству индивидуальных баллов. Соотнесение первичного балла испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста.

Виды шкал, используемых для преобразования первичных баллов

Наиболее известные преобразования первичных баллов:

— процентильный ранг, отражающий процент испытуемых в нормативной группе, результата которых ниже или равен данному значению первичного балла;

— линейная Z-оценка, определяемая как отношение индивидуального отклонения тестового балла к стандартному отклонению по группе испытуемых;

— оценки, которые являются линейным преобразованием z-оценки (Т-шкала, оценки стандартного IQ и т. д.);

— шкалы станайнов и стенов, которые получаются делением шкалы первичных баллов на различные интервалы.

Шкала процентильных рангов

Процентили позволяют установить ранг первичного показателя испытуемого в нормативной группе. Процентильный ранг, соответствующий данному первичному баллу, показывает процент испытуемых в нормативной выборке, результаты которых не выше данного первичного балла.

Процентили не следует смешивать с процентными показателями, представляющими процент правильно выполненных заданий испытуемым группы. В отличие от последнего — первичного — процентиль является производным показателем, указывающим на долю от общего числа испытуемых группы.

Помимо удобств, связанных с простотой интерпретации, процентильные ранги имеют существенные недостатки. Шкала процентильных рангов нелинейна, т. е. в различных областях шкалы первичных баллов увеличение на 1 балл может соответствовать различным увеличениям на шкале процентилей. Поэтому процентили не только не отражают, а даже искажают реальные различия результата выполнения теста.

Поэтому использование процентилей довольно ограничено. В силу удобства и простоты их применяют в основном в нормативно-ориентированных тестах для самооценки знаний учащихся, сообщения результатов самим учащимся и их родителям.

Осуществляет перевод индивидуальных результатов в стандартную шкалу с общим средним баллом и общей мерой дисперсией. Z—оценку i—го ученика находят по формуле:

где первичный балл i—го испытуемого; — среднее значение индивидуальных баллов N испытуемых группы (i=1,2,…,N); —стандартное отклонение по множеству первичных баллов.

Z-шкала является стандартной с нулевым средним значением и единичным стандартным отклонением. С ее помощью можно привести баллы учеников, полученные по различным тестам, к одному удобному для сравнения виду.

Величина Z-оценки равна расстоянию между рассматриваемым первичным баллом и средним значением оценок по группе, выраженному в единицах стандартного отклонения: в пределах скольких стандартных отклонений первичный балл испытуемого находится ниже или выше среднего значения группы.

Преобразования Z-оценок имеют целью перевод их в значения, которые легче записывать и объяснять. При этом, используемое преобразование должно быть линейным, чтобы сохранить форму распределения Z-оценок. Общая формула такого преобразования имеет вид

где Z1 – преобразованная оценка, М – новое среднее значение (среднее значение оценок после преобразования), — новое стандартное отклонение. Различные преобразования отличаются значениями М и . Приведем несколько наиболее известных преобразований Z-оценок.

T-шкала (McCall, 1939, для сообщения о результатах выполнения детьми теста ментальных способностей). Выбирается среднее значение М = 50 и стандартное отклонение σ = 10. Получим: Z1=50 + 10·Z

Шкала СЕЕВ (ETS, для сообщения абитуриентам о результатах приемных экзаменов в колледжи). Выбирается среднее значение М = 500 и стандартное отклонение σ = 100. Получим: Z1=500 + 100·Z

Шкала IQ (Weshler, 1939, для интерпретации оценок по шкале интеллекта для взрослых). Выбирается среднее значение М = 100 и стандартное отклонение σ = 15. Получим: Z1=100 + 15·Z

Шкалы станайнов и стенов

Иногда при сообщении результатов используют шкалы, состоящие из отдельных целых чисел, например, от 1 до 9 или от 1 до 10. Это удобно для сообщения тестовых результатов, т. к. такие шкалы обладают очевидной простотой.

Разбиение нормального распределения на 9 интервалов приводит к шкале станайнов, имеющей 9 стандартных единиц. В этой шкале среднее значение равно 5, а стандартное отклонение – примерно 2. При оценке результатов испытуемых по любому тесту с любым числом заданий 4% самых худших результатов присваивается станайн 1, а самых лучших — станайн 9. Следующим за худшими и лучшими 7% результатов присваивают станайны 2 и 8 соответственно. Следующим за ними 12% результатов — станайны 3 и 7. Следующим 17% присваивают станайны 4 и 6 и, наконец, 20% средних результатов соответствует станайн 5.

В шкале стенов, называемой часто шкалой Кэттела, весь массив результатов делится на 10 частей с интервалом 0,5 стандартного отклонения. В шкале стенов среднее арифметическое принимается равным 5,5, а расстояние между двумя соседними стандартными единицами равно 0,5.

Иногда из шкалы станайнов получают одиннадцатибалльную шкалу путем выявления по одному проценту самых сильных и самых слабых испытуемых и присвоения им соответственно максимального и минимального балла.

Установление проходного балла

Известно много методов установления проходного балла при критериально-ориентированном тестировании. Все методы делятся на абсолютные и относительные. Почти все методы вовлекают в процедуру определения проходного балла экспертов. Рассмотрим некоторых из известных методов.

Методы, центрированные на заданиях

Метод Nedelsky (1954) – для закрытых заданий.

Каждый эксперт должен проанализировать все задания и вычеркнуть для каждого задания номера ответов, от которых будет в состоянии отказаться минимально компетентный испытуемый. Для каждого задания эксперт указывает число, обратное числу оставшихся ответов. Например, если в задании с пятью ответами эксперт два вычеркнул, то он укажет число 1/3 для этого задания. Затем все эти обратные величины суммируются. Полученное число может рассматриваться как вероятная оценка минимально компетентного испытуемого этим экспертом. Затем оценки всех экспертов усредняются.

Метод Angoff (1971). Экспертов просят представить себе группу минимально компетентных испытуемых и для каждого задания оценить долю испытуемых этой группы, правильно ответивших на задание. (Это то же самое, как оценить вероятность того, что минимально компетентный испытуемый ответит на задание правильно.) Данные вероятности складываются по каждому эксперту и усредняются по всем экспертам.

Методы, центрированные на испытуемых (Nedelsky, 1954; Zieky, Livingston, 1977)

Метод контрастных групп

Эксперты договариваются о том, что является результатом выполнения теста на уровне минимальной компетентности. Затем эксперты делят всех испытуемых на две группы – компетентных и некомпетентных (исключая тех, кто, по их мнению, находится на границе). Далее строятся графики распределения баллов для каждой из группы на одном чертеже. Точка пересечения графиков принимается за проходной балл.

Метод граничных групп

В отличие от предыдущего метода экспертов просят определить испытуемых, кто, по их мнению, находится на границе между двумя контрастными группами, отличающимися по компетентности. Медиана распределения баллов отобранной группы принимается за проходной балл.

Критики данного подхода указывают, что установление проходного балла, основанного на выполнении теста испытуемыми, не соответствует по сути основной цели критериально-ориентированного тестирования, т. к. этот подход не связан с содержанием теста.

Источник

Правило прямого и обратного перевода ответов испытуемого в баллы

При анализе результатов следует учитывать, что ситуация, возникающая при предъявлении задания субъекту, является слож-нопроблемной. Среда порождает в субъекте многокомпонентный мотивационный отклик, на основе которого строится сложно-функциональная система постановки и решения задачи. Проблемная ситуация приводит к актуализации целого ряда потребностей, среди которых познавательные, социальные, а также потребности более высокого уровня индивидуальности, уровня самосознания, в частности, потребность сохранения и повышения самоуважения или ценности своего «Я».

На основе этих потребностей субъект оценивает значимость и трудность задания, затраты времени и сил, прогнозирует возможные последствия. Первоначальные оценки могут меняться, корректироваться по ходу работы над заданием. Поэтому мотивация, соответствующая напряженной деятельности, связанной с достижением цели определенного уровня трудности, включает целый ряд элементов, характеризующих особенности взаимодействия субъекта со средой. Прежде всего потенциальную структуру мотивации образуют элементы, соответствующие актуализированным в ситуации выполнения задания потребностям. В связи с особенностями учебной деятельности, а также в целях необходимой обобщенности описания, исследовались только следующие мотивационные элементы, или мотивы.

Внутренний мотив (компонент 1), связанный непосредственно с процессом деятельности, является обобщенным и выражает увлеченность заданием самим по себе, те аспекты, которые придают выполнению задания привлекательность. Познавательный мотив (компонент 2), характеризующий интерес субъекта к результатам своей деятельности, также является обобщенным, так как за ним может стоять достаточно широкий круг более частных мотивов, удовлетворение которых опосредованно результатом. Мотиву избегания (компонент 3) свойственна отрицательная побуждающая ценность результата, а именно боязнь показать низкий результат и вытекающие из этого последствия, в

отличие от предыдущего, содержание которого составляет положительное стремление к результату.

Состязательный мотив (компонент 4) выделяется из совокупности мотивов, связанных с результатом, как более специальный. Содержание этого мотива определяется тем, насколько субъект придает значение такой характеристике результата, как превышение уровня результатов других субъектов. За этим мотивом может также стоять группа более частных мотивов, таких, как мотив престижа, власти и др. Мотив к смене текущей деятельности (компонент 5) раскрывает переживаемую субъектом тенденцию к прекращению работы, которой он занят в данный момент и переключению на другую. Мотив самоуважения (компонент 6) выражается в стремлении субъекта ставить перед собой все более и более трудные цели в однотипной деятельности.

Рассмотренная группа элементов представляет собой отражение тех характеристик ситуации, которые выступают в роли факторов, непосредственно побуждающих субъекта к тому или иному образу действия и являются движущими силами развития деятельности.

Другую группу образуют элементы, которые находятся с мо-тивационными в причинно-следственных отношениях и выступают в качестве необходимых условий деятельности, связанной с достижением достаточно трудных целей. Часть этих элементов относится к текущему положению дел и представляет собой результаты таких процессов, как придание личностной значимости результатам деятельности (компонент 7), оценка сложности выполняемого задания (компонент 8), оценка степени выраженности волевого усилия в ходе работы над заданием (компонент 9), оценка уровня уже достигнутых результатов, соотнесенных со своими возможностями в этом виде деятельности (компонент 10), оценка своего потенциала (компонент 11).

Третья группа элементов отражает предвидимый или планируемый субъектом ход последующих событий: намеченный уровень мобилизации усилий, необходимый для достижения результатов (компонент 12), и ожидаемый уровень результатов деятельности (компонент 13). Важное значение для развертывания целостной мотивационной структуры имеет понимание субъектом причинных факторов, являющихся инструментальными в ходе развития взаимодействия. К ним относятся понимание субъектом того соотношения, в котором находится зависимость результата от случая и от его собственных возможностей (компонент 14), а также понимание того, насколько постановка задач является инициативной и насколько директивной (компонент 15).

Таким образом, первая группа элементов связана с оценочными процессами, вторая — с процессами прогнозирования и третья — с процессами интерпретации.

Перечисленные элементы представляют собой потенциальные компоненты реальных индивидуальных мотивационных структур, возникающих в ходе выполнения заданий. В этих структурах центральное место занимают мотивационные компоненты, а среди них — компонент самоуважения. Однако актуализация компонента самоуважения происходит на основе других «опорных» мотивационных компонентов. Предполагается, что выраженность компонента самоуважения соответствует экспериментальной оценке уровня притязаний. Но опросник позволяет выявить некоторые особенности внутреннего мира субъекта, которые обычно остаются неизвестными при использовании экспериментальных показателей. К ним относятся «опорные» мотивы, на основе которых происходит вовлечение «Я» субъекта в деятельность и формирование его уровня притязаний, эффекты разнообразных когнитивных и регулятивных процессов, составляющих вместе с мотивами внутренний механизм уровня притязаний.

Так как нормативных данных для опросника нет, то каждый индивидуальный результат может быть оценен в сравнении с данными группы. Кроме того, оценки каждого компонента мотива-ционной структуры позволяют построить индивидуальный профиль, в котором представлены количественные соотношения между всеми рассмотренными компонентами.

4.3.2. Измерение мотивации достижения

Модификация теста-опросника АМехрабиана для измерения мотивации достижения (ТМД) предложена М.Ш.Магомед-Эмино-вым. ТМД предназначен для диагностики двух обобщенных устойчивых мотивов личности: мотива стремления к успеху и мотива избегания неудачи. При этом оценивается, какой из этих двух мотивов у испытуемого доминирует. Методика применяется для исследовательских целей при диагностике мотивации достижения у старших школьников и студентов. Тест представляет собой опросник, имеющий две формы — мужскую (форма А) и женскую (форма Б).

Инструкция: «Тест состоит из ряда утверждений, касающихся отдельных сторон характера, а также мнений и чувств по поводу некоторых жизненных ситуаций. Чтобы оценить степень Вашего согласия или несогласия с каждым из утверждений, используйте следующую шкалу:

+3 — полностью согласен

+ 1 — скорее согласен, чем не согласен О — нейтрален

—1 — скорее не согласен, чем согласен

—3 — полностью не согласен

Прочтите утверждение теста и оцените степень своего согласия (или несогласия). При этом на бланке для ответов против номера утверждения поставьте цифру, которая соответствует степени Вашего согласия (+3, +2, +1, 0, —1, —2, —3). Давайте тот ответ, который первым приходит Вам в голову. Не тратьте времени на его обдумывание.

При обработке результатов производится подсчет баллов по определенной системе, а не анализ содержания отдельных ответов. Результаты теста будут использоваться только для научных целей и дается полная гарантия о неразглашении полученных данных. Если у Вас возникли какие-то вопросы, задайте их прежде, чем выполнять тест. Теперь приступайте к работе!»

ТЕКСТ ОПРОСНИКА (ФОРМА А)

1. Я больше думаю о получении хорошей оценки, чем опасаюсь получения плохой.

2. Если бы я должен был выполнить сложное, незнакомое мне задание, то предпочел бы сделать его вместе с кем-нибудь, чем трудиться над ним в одиночку.

3. Я чаще берусь за трудные задачи, даже если не уверен, что смогу их решить, чем за легкие, которые знаю, что решу.

4. Меня больше привлекает дело, которое не требует напряжения и в успехе которого я уверен, чем трудное дело, в котором возможны неожиданности.

5. Если бы у меня что-то не выходило, я скорее приложил бы все силы, чтобы с этим справиться, чем перешел бы к тому, что у меня может хорошо получиться.

6. Я предпочел бы работу, в которой мои функции четко определены и зарплата выше средней, работе со средней зарплатой, в которой я должен сам определять свою роль.

7. Я трачу больше времени на чтение специальной литературы, чем художественной.

8. Я предпочел бы важное трудное дело, хотя вероятность неудачи в нем равна 50%, делу достаточно важному, но не трудному.

9. Я скорее выучу развлекательные игры, известные большинству людей, чем редкие игры, которые требуют мастерства и известны немногим.

10. Для меня очень важно делать свою работу как можно лучше, даже если из-за этого у меня возникают трения с товарищами.

11. Если бы я собрался играть в карты, то скорее сыграл бы в развлекательную игру, чем в трудную, требующую размышлений.

12. Я предпочитаю соревнования, где я сильнее других, тем, где все участники приблизительно равны по силам.

13. В свободное от работы время я овладею какой-нибудь игрой скорее для развития своих умений, чем для отдыха и развлечений.

14. Я скорее предпочту сделать какое-то дело так, как я считаю нужным, пусть даже с 50% риска ошибиться, чем делать его, как мне советуют другие.

15. Если бы мне пришлось выбирать, то я скорее выбрал бы работу, в которой начальная зарплата будет 100 руб. и может остаться в таком размере неопределенное время, чем работу, в которой начальная зарплата равна 80 руб. и есть гарантия, что не позднее, чем через 5 лет я буду получать более 180 руб.

16. Я скорее стал бы играть в команде, чем соревноваться один на один.

17. Я предпочитаю работать, не щадя сил, пока полностью не удовлетворюсь полученным результатом, чем стремлюсь закончить дело побыстрей и с меньшим напряжением.

18. На экзамене я предпочел бы конкретные вопросы по пройденному материалу, вопросам, требующим для ответа высказывания своего мнения.

19. Я скорее выбрал бы дело, в котором имеется некоторая вероятность неудачи, но есть и возможность достигнуть большего, чем такое, в котором мое положение не ухудшится, но и существенно не улучшится.

20. После успешного ответа на экзамене я скорее с облегчением вздохну («пронесло!»), чем порадуюсь хорошей оценке.

21. Если бы я мог вернуться к одному из двух незавершенных дел, то я скорее вернулся бы к трудному, чем к легкому.

22. При выполнении контрольного задания я больше беспокоюсь о том, как бы не допустить какую-нибудь ошибку, чем думаю о том, как правильно его решить.

23. Если у меня что-то не выходит, я лучше обращусь к кому-либо за помощью, чем стану сам продолжать искать выход.

24. После неудачи я скорее становлюсь еще более собранным и энергичным, чем теряю всякое желание продолжать дело.

25. Если есть сомнение в успехе какого-либо начинания, то я скорее не стану рисковать, чем все-таки приму в нем активное участие.

26. Когда я берусь за трудное дело, я скорее опасаюсь, что не справлюсь с ним, чем надеюсь, что оно получится.

27. Я работаю эффективнее под чьим-то руководством, чем когда несу за свою работу личную ответственность.

28. Мне больше нравится выполнять сложное незнакомое задание, чем задание знакомое, в успехе которого я уверен.

29. Я работаю продуктивнее над заданием, когда мне конкретно указывают, что и как выполнять, чем когда передо мной ставят задачу лишь в общих чертах.

30. Если бы я успешно решил какую-то задачу, то с большим удовольствием взялся бы еще раз решить аналогичную задачу, чем перешел бы к задаче другого типа.

31. Когда нужно соревноваться, у меня скорее возникает интерес и азарт, чем тревога и беспокойство.

32. Пожалуй, я больше мечтаю о своих планах на будущее, чем пытаюсь их реально осуществить.

ТЕКСТ ОПРОСНИКА (ФОРМА Б)

1. Я больше думаю о получении хорошей оценки, чем опасаюсь получения плохой.

2. Я чаще берусь за трудные задачи, даже если не уверена, что смогу их решить, чем за легкие, которые знаю, что решу.

3. Меня больше привлекает дело, которое не требует напряжения и в успехе которого я уверена, чем трудное дело, в котором возможны неожиданности.

4. Если бы у меня что-то не выходило, я скорее приложила бы все силы, чтобы с этим справиться, чем перешла бы к тому, что у меня может хорошо получиться.

5. Я предпочла бы работу, в которой мои функции четко определены и зарплата выше средней, работе со средней зарплатой, в которой я сама должна определять свою роль.

6. Более сильные переживания у меня вызываются страхом неудачи, чем надеждой на успех.

7. Научно-популярную литературу я предпочитаю литературе развлекательного жанра.

8. Я предпочла бы важное трудное дело, где вероятность неудачи равна 50%, делу достаточно важному, но не трудному.

9. Я скорее выучу развлекательные игры, известные большинству людей, чем редкие игры, которые требуют мастерства и известны немногим.

10. Для меня очень важно делать свою работу как можно лучше, даже если из-за этого у меня возникают трения с товарищами.

11. После успешного ответа на экзамене я скорее с облегчением вздохну, что «пронесло», чем порадуюсь хорошей оценке.

12. Если бы я собралась играть в карты, то я скорее сыграла бы в развлекательную игру, чем в трудную, требующую размышлений.

13. Я предпочитаю соревнования, где я сильнее других, тем, где все участники приблизительно равны по силам.

14. После неудачи я становлюсь еще более собранной и энергичной, чем теряю всякое желание продолжать дело.

15. Неудачи отравляют мою жизнь больше, чем приносят радость, успехи.

16. В новых неизвестных ситуациях у меня скорее возникает волнение и беспокойство, чем интерес и любопытство.

17. Я скорее попытаюсь приготовить новое интересное блюдо, хотя оно может плохо получиться, чем стану готовить привычное блюдо, которое обычно хорошо выходило.

18. Я скорее займусь чем-то приятным и необременительным, чем стану выполнять что-то, как мне кажется, стоящее, но не очень увлекательное.

19. Я скорее затрачу все свое время на осуществления одного дела, чем постараюсь выполнить быстро за это же время два-три дела.

20. Если я заболела и вынуждена остаться дома, то я использую время скорее для того, чтобы расслабиться и отдохнуть, чем почитать и поработать.

21. Если бы я жила с несколькими девушками в одной комнате, и мы решили устроить вечеринку, я предпочла бы сама организовать ее, чем чтобы это сделала какая-нибудь другая.

22. Если у меня что-то не выходит, я лучше обращусь к кому-то за помощью, чем стану сама продолжать искать выход.

23. Когда нужно соревноваться, у меня скорее возникает интерес и азарт, чем тревога и беспокойство.

24. Когда я берусь за трудное дело, я скорее опасаюсь, что не справлюсь с ним, чем надеюсь, что оно получится.

25. Я работаю эффективнее под чьим-то руководством, чем тогда, когда несу за свою работу личную ответственность.

26. Мне больше нравится выполнять сложное незнакомое задание, чем то, в успехе которого я уверена.

27. Если бы я успешно решила какую-то задачу, то с большим удовольствием взялась бы решать еще раз аналогичную, чем перешла бы к задаче другого типа.

28. Я работаю продуктивнее над заданием, когда передо мной ставят задачу лишь в общих чертах, чем тогда, когда мне конкретно указывают, что и как выполнять.

29. Если при выполнении важного дела я допускаю ошибку, то чаще я теряюсь и впадаю в отчаяние, вместо того, чтобы быстро взять себя в руки и пытаться исправить положение.

30. Пожалуй, я больше мечтаю о своих планах на будущее, чем пытаюсь их реально осуществить.

Для определения суммарного балла ответам на прямые пункты опросника (отмечены знаком «+» в ключе) приписываются баллы на основе следующего соотношения:

Ответам испытуемых на обратные пункты опросника (отмечены в ключе знаком «—») приписываются баллы на основе соотношения:

На основе суммарного балла определяют, какая мотивацион-ная тенденция доминирует у испытуемого. Баллы всей выборки испытуемых, участвующих в эксперименте, ранжируют и выделяют две контрастные группы: верхние 27% выборки характеризуются мотивом стремления к успеху, а нижние 27% — мотивом избегания неудачи.

Источник