Что такое внешний критерий

Эффективности, действенности, практической значимости, обычно используется

независимый внешний критерий – показатель проявления изучаемого свойства в

повседневной жизни. Таким критерием может быть успеваемость (для тестов

способностей к обучению, тестов достижений, тестов интеллекта), производственные

достижения (для методик профессиональной направленности), эффективность реальной

деятельности – рисования, моделирования и т.д. (для тестов специальных способностей),

субъективные оценки (для тестов личности).

Американские исследователи Тиффин и Маккормик (1968), проведя анализ

используемых для доказательства валидности внешних критериев, выделяют четыре их

1) критерии исполнения(в их число могут входить такие, как количество

выполненной работы, успеваемость, время, затраченное на обучение, темп роста

2) субъективные критерии(они включают различные виды ответов, которые

отражают отношение человека к чему-либо или к кому-либо. его мнение, взгляды,

предпочтения; обычно субъективные критерии получают с помощью интервью,

3) физиологические критерии(они используются при изучении влияния

окружающей среды и других ситуационных переменных на организм и психику человека;

замеряется частота пульса, давление крови, электросопротивление кожи, симптомы

4) критерии случайностей(применяются, когда цель исследования касается,

например, проблемы отбора для работы таких лиц, которые менее подвержены

Внешний критерий должен отвечать трем основным требованиям; он должен быть

релевантным, свободным от помех (контаминации) и надежным.

Под релевантностьюимеется в виду смысловое соответствие

диагностического инструмента независимому жизненно важному критерию Другими

словами, должна быть уверенность в том, что в критерии задействованы именно те

особенности индивидуальной психики, которые измеряются и диагностической

методикой. Внешний критерий и диагностическая методика должны находиться между

собой во внутреннем смысловом соответствии, быть качественно однородными по

психологической сущности (К.М. Гуревич, 1985). Если, например, тест измеряет

индивидуальные особенности мышления, умение выполнять логические действия с

определенными объектами, понятиями, то и в критерии нужно искать проявление именно

этих умений. Это в равной степени относится и к профессиональной деятельности. Она

имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет

свои условия к выполнению. Из этого вытекает существование нескольких критериев

выполнения профессиональной деятельности. Поэтому не следует u1087 проводить

сопоставление успешности по диагностическим методикам с производственной

эффективностью в целом. Необходимо найти такой критерий, который по характеру

выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому

свойству или нет, то сопоставление с ним результатов психодиагностической методики

становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам,

которые могли бы дать оценку валидности методики.

Требования свободы от контаминациивызываются тем, что, например, учебная

или производственная успешность зависит от двух переменных: от самого человека, его

индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы,

труда, которые могут привнести помехи, “загрязнить” применяемый критерий. Чтобы в

какой-то мере избежать этого, следует отбирать для исследования такие группы людей,

которые находятся в более или менее одинаковых условиях. Можно использовать и

другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит

обычно статистический характер. Так, например, производительность следует брать не по

абсолютным значениям, а в отношении к средней производительности рабочих,

работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную

надежность, это означает, что он должен отражать постоянство и устойчивость

Поиски адекватного и легко выявляемого критерия относятся к очень важным и

сложным задачам валидизации. В западной тестологии много методик

дисквалифицировано только потому, что не удалось найти подходящего критерия для их

проверки. Например, у большей части анкет данные по их валидности сомнительны, так

как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методики может носить количественный и качественный

Для вычисления количественного показателя – коэффициента валидности –

сопоставляются результаты, полученные при применении диагностической методики, с

данными, полученными по внешнему критерию, тех же лиц. Используются разные виды

линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности? Практика показала, что

их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос,

какой должна быть величина коэффициента валидности, чтобы она считалась

приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности

был статистически значим. Низким признается коэффициент валидности порядка 0,20–

0,30, средним – 0,30–0,50 и высоким – свыше 0,60.

Но, как подчеркивают А. Анастази (1982), К.М. Гуревич (1970) и др., не всегда для

вычисления коэффициента валидности правомерно использовать линейную корреляцию.

Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности

прямо пропорционален успеху в выполнении диагностической пробы. Позиция

зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором,

чаще всего сводится к безоговорочному признанию того, что для профессии больше

подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха

в деятельности нужно обладать свойством на уровне 40% решения теста. Дальнейший

успех в тесте уже не имеет никакого значения для профессии. Наглядный пример из

монографии К.М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной

скоростью или с очень большой скоростью – это уже не имеет профессионального

значения. При таком соотношении показателей методики и внешнего критерия наиболее

адекватным способом установления валидности u1084 может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует

профессия, служит помехой профессиональному успеху. Так Ф. Тейлор нашел, что

наиболее развитые работницы производства имеют невысокую производительность труда.

То есть высокий уровень их умственного развития мешает им высокопроизводительно

трудиться. В этом случае для вычисления коэффициента валидности более подошел бы

дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая

процедура не в состоянии полностью отразить многообразие индивидуальных

оценок. Поэтому часто для доказательства валидности методик используют другую

модель – клинические оценки. Это не что иное, как качественное описание сущности

изучаемого свойства. В этом случае речь идет об использовании приемов, не

опирающихся на статистическую обработку.

Существует несколько видов валидности, обусловленных особенностями

диагностических методик, а также временным статусом внешнего критерия. Во многих

работах (А. Анастази, 1982; Л.Ф. Бурлачук, С.М. Морозов, 1989; К.М. Гуревич, 1970; Б.В.

Кулагин, 1984; В. Черны, 1983; “Общая психодиагностика”, 1987 и др.) называются чаще

1. Валидность “по содержанию”. Этот прием используется в основном в тестах

достижений. Обычно в тесты достижений включается не весь материал, который прошли

учащиеся, а какая-то его небольшая часть (3–4 вопроса). Можно ли быть уверенным в том,

что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего

материала? На это и должна ответить проверка валидности по содержанию. Для этого

проводится сопоставление успешности по тесту с экспертными оценками учителей (по

данному материалу). Валидность “по содержанию” также подходит к критериально-

ориентированным тестам. Иногда этот прием называют логической валидностью.

2. Валидность “по одновременности”, или текущая валидность, определяется с

помощью внешнего критерия, по которому информация собирается одновременно с

экспериментами по проверяемой методике. Другими словами, собираются данные,

относящиеся к настоящему времени: успеваемость в период испытания,

производительность в этот же период и т.д. С ним коррелируют результаты успешности

3. “Предсказывающая” валидность (другое название – “прогностическая”

валидность). Определяется также по достаточно надежному внешнему критерию, но

информация по нему собирается некоторое время спустя после испытания. Внешним

критерием обычно бывает выраженная в каких-нибудь оценках способность человека к

тому виду деятельности, для которой он отбирался по результатам диагностических

испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик –

предсказанию будущей успешности, применять его очень трудно. Точность прогноза

находится в обратной зависимости от времени, заданного для такого прогнозирования.

Чем больше проходит времени после измерения, тем большее количество факторов

требуется учитывать при оценке прогностической значимости методики. Однако учесть

все факторы, влияющие на предсказание, практически невозможно.

4. “Ретроспективная” валидность.Она определяется на основе критерия,

отражающего события или состояние качества в прошлом. Может быть использована для

быстрого получения сведений о предсказательных возможностях методики. Так, для

проверки того, в какой мере хорошие результаты теста способностей соответствуют

быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые

экспертные заключения и т.д. у лиц с высокими и низкими на данный момент

При приведении данных о валидности разработанной методики важно точно

указать, какой вид валидности имеется в виду (по содержанию, по одновременности и

т.д.). Желательно также сообщать сведения о численности u1080 и особенностях индивидов, на

которых проводилась валидизация. Такая информация позволяет пользующемуся

методикой исследователю решить, насколько валиден этот прием для той группы, к

которой он собирается его применять. Как и в случае с надежностью, необходимо

помнить, что в одной выборке методика может обладать высокой валидностью, а в другой

– низкой. Поэтому если исследователь планирует использовать методику на выборке

испытуемых, существенно отличающейся от той, на которой проводилась проверка

валидности, ему необходимо заново провести такую проверку. Приводимый в

руководстве коэффициент валидности применим только к группам испытуемых,

подобным тем, на которых он определялся.

Раздел 3. ТИПЫ ДИАГНОСТИЧЕСКИХ МЕТОДИК

Средства, которыми располагает современная психодиагностика, по своему

качеству подлежат разделению на две группы: методики высокого уровня формализации,

или строго формализированные, и методики малоформализованные.

К строго формализованным методикам относятся тесты, опросники, методики

проективной техники и психофизиологические методики. Для них характерны

определенная регламентация, объективизация процедуры обследования или испытания

(точное соблюдение инструкций, строго определенные способы предъявления

стимульного материала, невмешательство исследователя в деятельность испытуемого и

др.), стандартизация (установление единообразия проведения обработки и представления

результатов диагностических экспериментов), надежность и валидность. Эти методики

позволяют собрать диагностическую информацию в относительно короткие сроки и в

таком виде, который дает возможность количественно и качественно сравнивать

индивидов между собой.

К малоформализованнымметодикам следует отнести наблюдения, беседы и

интервью, анализ продуктов деятельности. Эти методики дают очень ценные сведения

об испытуемом, особенно когда предметом изучения выступают такие психические

процессы и явления, которые мало поддаются объективизации (например, плохо

осознаваемые субъективные переживания, личностные смыслы) или являются

чрезвычайно изменчивыми по содержанию (динамика целей, состояний, настроений и т.

д.). Следует иметь в виду, что малоформализованные методики очень трудоемки

(например, наблюдения за обследуемым осуществляются иногда в течение нескольких

месяцев) и в большей степени основаны на профессиональном опыте, психологической

подготовленности самого психодиагноста. Только высокий уровень культуры проведения

психологических наблюдений, бесед помогает избежать влияния случайных и побочных

факторов на результаты обследования или испытания.

Малоформализованные диагностические методики не следует противопоставлять

строго формализованным методикам. Как правило, они взаимно дополняют друг друга. В

полноценном диагностическом обследовании необходимо гармоничное сочетание тех и

других методик. Так, сбору данных с помощью тестов должен предшествовать период

ознакомления с обследуемыми (например, с их биографическими данными, склонностями,

мотивацией деятельности и т. д.). С этой целью могут быть использованы интервью,

3.1. Строго формализованные методики

В эту группу входят четыре главных класса методик: тесты (которые, в свою

очередь, делятся на несколько подклассов), опросники, методики проективной техники и

Нередко все методики определения индивидуально-психологических различий

именуются тестами, а пособия по диагностике называются пособиями по тестологии.

Однако по своей психологической сущности u1090 тесты и, например, опросники очень

несходны между собой. Методики проективного характера также представляют собой

особый инструмент, не похожий ни на один из перечисленных. Поэтому для лучшего

понимания того, что дает диагностирование, их следует отделить друг от друга по

названиям. Особое место должны занять в этой классификации психофизиологические

методики. Это оригинальные средства диагностики, возникшие в нашей стране.

Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет

Источник

Мир психологии

психология для всех и каждого

Виды валидности

Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

Проверка валидности методики называется валидизацией.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности — рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

4 типа внешних критериев:

Эмпирическая валидность.

Конструктная валидность.

Конструктная валидность имеет отношение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение при выполнении теста. Как особый тип конструктная валидность канонизирована в статье Кронбаха и Миля (1955). Авторы оценивали с помощью этого типа валидности все тестовые исследования, которые не были прямо направлены на предсказание некоторых значимых критериев. Исследование содержало информацию о психологических конструктахл.

Валидность «по содержанию».

Содержательная валидность требует того, чтобы каждое задание, задача или вопрос, принадлежащие к определенной области, имели равные шансы стать заданиями теста. Валидность по содержанию оценивает соответствие содержания теста (заданий, вопросов) измеряемой области поведения. Тесты, составленные двумя командами разработчиков, проводятся на выборке испытуемых. Надежность тестов подсчитывается путем расщепления заданий на две части, в результате чего получают индекс содержательной валидности.

«Прогностическая» валидность.

«Прогностическая» валидность определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

«Ретроспективная» валидность.

Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Конвергентная и дискриминантная валидность.

Таким образом, по отношению к факторам, которые концептуально определяются как ортогональные к измеряемому (встречающиеся с ним во всех комбинациях), составитель теста должен при отборе пунктов применить стратегию искусственного балансирования.

Соответствие пунктов измеряемому фактору обеспечивает конвергентную валидность теста. Сбалансированность пунктов относительно иррелевантных факторов обеспечивает дискриминантную валидностъ. Эмпирически она выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.

Источник

Валидность

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методи­ки решается лишь после того, как установлена достаточная ее надеж­ность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практи­чески бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» [10, т. 1 с. 126].

Валидность по своей сути — это комплексная характеристика, вклю­чающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сто­рону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидно­сти включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой мето­дике, т. е. это валидность измерительного инструмента. Такая провер­ка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

♦ при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

♦ при прагматической валидизации суть предмета измерения (пси­хологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое мето­дикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматиче­ской, порой оказывается значительно труднее. Не вдаваясь пока в кон­кретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравнива­ются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической зна­чимости, эффективности, действенности диагностической методики.

Для определения теоретической валидности найти какой-либо не­зависимый критерий, лежащий вне методики, гораздо труднее. Поэто­му на ранних стадиях развития тестологии, когда концепция валидно­сти только складывалась, бытовало интуитивное представление о том, что тест измеряет:

1) методика называлась валидной, так как то, что она измеряет, про­сто очевидно;

2) доказательство валидности основывалось на уверенности иссле­дователя в том, что его метод позволяет понять испытуемого;

3) методика рассматривалась как валидная (т. е. принималось ут­верждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, очень хорошая.

Принятие на веру голословных утверждений о валидности методи­ки не могло продолжаться длительное время. Первые проявления дей­ствительно научной критики развенчали такой подход: начались по­иски научно обоснованных доказательств.

Таким образом, провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то дру­гие особенности (например, личность, характер и т. п.). Таким образом, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Это показывает, насколько замысел автора и результаты методики со­впадают.

Не столь сложно провести теоретическую валидизацию новой ме­тодики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и ана­логичной уже проверенной методикой указывает на то, что разра­ботанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более ком­пактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инстру­мент вместо старого.

Но теоретическая валидность доказывается не только путем сопо­ставления с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, устано­вить степень связи с родственной методикой (конвергентная валид­ность) и отсутствие этой связи с методиками, имеющими другое тео­ретическое основание (дискриминантная валидность).

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации о изуча­емом свойстве, анализ теоретических предпосылок и эксперименталь­ных данных, значительный опыт работы с методикой позволяет рас­крыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельно­сти. Но здесь особенно важно, чтобы методика была тщательно прора­ботана в теоретическом плане, т. е. чтобы имелась прочная, обосно­ванная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то ин­терпретация полученных показателей становится более ясной и од­нозначной, а название методики соответствует сфере ее применения. Что касается прагматической валидизации,то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой име­ет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в опре­деленных видах деятельности. Ей придают большое значение особен­но там, где встает вопрос отбора.

Если опять обратиться к истории развития тестологии [1; 10; 31; 62; 88 и др.], то можно выделить такой период (20-30-е гг. XX в.), когда научное содержание тестов и их теоретический багаж интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомен­дациям. Нельзя было точно назвать те особенности, качества, которые тесты выявляли. По существу они являлись слепыми пробами.

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. XX в. не только в США, но и в других странах. Те­оретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке тестов призывали опираться не только на голую эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-практическая оценка валидности методик воспринимается как наибо­лее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни. Таким кри­терием может быть и успеваемость (для тестов способностей к обу­чению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эф­фективность реальной деятельности — рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

1) критерии исполнения (в их число могут входить такие, как коли­чество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении вли­яния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давле­ние крови, электросопротивление кожи, симптомы утомления И т. д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, ко­торые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

♦ он должен быть релевантным;

♦ свободным от помех;

Под релевантностью имеется в виду смысловое соответствие диаг­ностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в крите­рии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний крите­рий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородны­ми по психологической сущности. Если, например, тест измеряет ин­дивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъяв­ляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагно­стическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняе­мых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполез­ным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от помех вызываются тем, что, например, учеб­ная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут при­внести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие груп­пы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический ха­рактер. Так, например, производительность следует брать не по абсо­лютным значениям, а в отношении к средней производительности ра­бочих, работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достовер­ную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии мно­го методик дисквалифицировано только потому, что не удалось найти подходящего критерия для их проверки. Например, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методик может носить количественный и каче­ственный характер.

Для вычисления количественного показателя — коэффициента ва­лидности — сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреля­ции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности?

Практика показала, что их не должно быть меньше 50, однако луч­ше всего более 200. Часто возникает вопрос, какой должна быть вели­чина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валид­ности был статистически значим. Низким признается коэффициент валидности порядка 0,20-0,30, средним — 0,30-0,50 и высоким — свы­ше 0,60.

Но, как подчеркивают А. Анастази [10, т. 1], К. М. Гуревич [31] и др., не всегда для вычисления коэффициента валидности правомерно ис­пользовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорцио­нален успеху в выполнении диагностической пробы. Позиция зару­бежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии. Нагляд­ный пример из монографии К. М. Гуревича [31]: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень боль­шой скоростью — это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наи­более адекватным способом установления валидности может быть кри­терий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре XX в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошел бы диспер­сионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна стати­стическая процедура не в состоянии полностью отразить многообра­зие индивидуальных оценок. Поэтому часто для доказательства валид­ности методик используют другую модель — клинические оценки. Это не что иное, как качественное описание сущности изучаемого свой­ства. В этом случае речь идет об использовании приемов, не опира­ющихся на статистическую обработку.

Вопросы и задания

1. Дайте определение понятию «стандартизация методик».

2. Что такое репрезентативная выборка? Как она строится?

3. Назовите приведенные в главе критерии оценки результатов ди­агностических испытаний.

4. Что такое надежность методики? Назовите виды надежности.

5. Что такое валидность методики? Назовите ее основные виды.

Рекомендуемая литература

2. Бурлачук Л. Ф. Психодиагностика. — СПб., 2003.

3. Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психоло­гической диагностике. — Киев, 1989.

4. Гайда В. К., Захаров В. П. Психологическое тестирование. — Л., 1982.

5. Гуревич К. М. О надежности психофизиологических показате­лей // Проблемы дифференциальной психофизиологии. Т. 6. — М., 1969.

6. Гуревич К. М. Надежность психологических тестов // Психоло­гическая диагностика. Ее проблемы и методы. — М., 1975.

7. Гуревич К. М. Статистика — аппарат доказательства психологи­ческой диагностики // Проблемы психологической диагности­ки. — Таллин, 1977.

8. Гуревич К. М. Что такое психологическая диагностика. — М., 1985.

9. Гуревич К. М. Проблемы дифференциальной психологии. — М.; Воронеж, 1998.

10. Носс И. Н. Введение в технологию психодиагностики. — М., 2003.

12. Основы психодиагностики / Под ред. А. Г. Шмелева. — Ростов н/Д, 1996.

Источник