Что такое валидные данные в тестировании

Валидация моделей машинного обучения

На связи команда Advanced Analytics GlowByte и сегодня мы разберем валидацию моделей.
Иногда термин «валидация» ассоциируется с вычислением одной точечной статистической метрики (например, ROC AUC) на отложенной выборке данных. Однако такой подход может привести к ряду ошибок.

В статье разберем, о каких ошибках идет речь, подробнее рассмотрим процесс валидации и дадим ответы на вопросы:

Расширяем понятие валидации

Что не так с валидацией как вычислением одной точечной статистической метрики на отложенной выборке данных?

Аргумент против № 1: одна метрика не может учесть все аспекты качества модели. Качество модели измеряется не только предсказательной способностью, но и, например, стабильностью во времени.

Аргумент против № 2: количественные оценки не всегда согласуются с бизнес-метриками и поэтому вводятся дополнительные. Например, мы можем разработать модель с хорошей интегральной оценкой, но при попытке интерпретации модели в разрезе отдельных факторов может выясниться, что фактор, который по бизнес-логике при увеличении значения должен снижать прогнозный показатель, в разработанной модели, наоборот, его повышает.

Аргумент против № 3: точечная оценка может варьировать в зависимости от состава валидационной выборки, особенно это касается не сбалансированных выборок (с соотношением классов 1:50 или более значимым перекосом). Поэтому стоит дополнительно делать интервальные оценки.

Аргумент против № 4: актуальные данные могут отличаться от исторических, на которых была построена модель, поэтому валидацию стоит делать и на актуальном срезе данных.

Аргумент против № 5: реальные проекты обычно представляют собой набор неоднородных (по сложности и перечню используемых технологий) скриптов, в которых могут быть неточности или неучтенные варианты поведения. Поэтому для корректной работы всего проекта необходимо проводить дополнительную проверку реализации модели, подготавливаемой к развертыванию, причем стоит учитывать не только зависимости между скриптами в проекте, но и порядок их запуска: при несоблюдении порядка они могут отработать без ошибок, но сформировать абсолютно неверный результат.

Валидация и жизненный цикл модели

Валидация — комплексный процесс, который осуществляется на протяжении всего жизненного цикла модели. Ее можно декомпозировать на составные части в соответствии с этапами жизненного цикла. На схеме ниже обозначено:

Профилирование (аудит витрины) осуществляется на этапе подготовки данных. Здесь проверяется соответствие собранных данных поставленной задаче, а также с помощью простых метрик (например, число пропусков в данных, диапазон значений в разрезе отдельных атрибутов) определяется качество витрины.

Когда модель построена, выполняется первичная валидация, чтобы доказать работоспособность и оценить целесообразность внедрения разработанной модели.

На этапе внедрения проводится два вида проверок.

Тут может появиться вопрос, чем валидация отличается от мониторинга. Если коротко, то мониторинг — более легковесный процесс, проводимый с большей частотой.

Методика валидации

Все используемые при валидации тесты можно разделить на две группы: количественные и качественные.

В качестве артефакта по результатам валидации предоставляется отчет:

Рассмотрим детальнее список тестов для моделей бинарной классификации на примере модели прогноза вероятности дефолта (PD-модели) по кредитному договору (подробнее о PD-моделях см. [1]).

Количественная оценка

К группе относятся расчеты метрик и статистические тесты, которые оценивают качество модели на разных этапах и разных уровнях (перечисляем не все, возможны и другие).

1. Дискриминационная способность модели

После разработки модели первый вопрос, который интересует бизнес-заказчика: а насколько хорошо модель справляется со своей задачей? Если мы построили PD-модель, то этот вопрос звучит так: насколько хорошо модель отделяет клиентов, которые уйдут в дефолт, от тех, кто в дефолт не уйдет, и насколько лучше эта модель, чем случайное угадывание?

Чтобы ответить на это вопрос, проводим тесты:

В случае бинарного целевого события коэффициент Джини рассчитывается как отношение площадей двух фигур:

Альтернативный способ определения метрики — пузырьковая сортировка (подробнее см. [2]). Пусть имеется список значений целевого события, порядок в котором совпадает с порядком значений вероятности, прогнозируемых моделью. Тогда показатель Swaps будет обозначать количество перестановок соседних элементов для приведения списка целевых событий к отсортированному виду без инверсий.

На примере ниже число таких перестановок Swaps = 2.

где: – число перестановок для валидируемой модели, – для случайной модели.

Однако, как видно из такой интерпретации, рост коэффициента Джини не всегда означает повышение пользы модели для бизнеса, поскольку не подразумевает изменения в ранжировании в сегменте пользователей, который интересен с точки зрения бизнеса. Ведь при подсчете перестановок не учитываются позиции элементов. Например, в кредитном скоринге перестановки до порога отсечки по PD с точки зрения бизнеса важнее перестановок после порога отсечки, так как клиенты с высокой вероятностью дефолта в дальнейшем рассмотрении не участвуют. Поэтому наравне с Джини нужны другие метрики — о них дальше.

О расчете коэффициента Джини для небинарных целевых событий см. в статье из цикла про риск-моделирование ([3]).

Если выборки не сбалансированы, то используется интервальная оценка с помощью техники бутстрэп. На основе исходной выборки генерируется B (

1000 и более) подвыборок, для каждой из которых рассчитывается коэффициент Джини. Затем проверяется, что заданный заранее перцентиль полученного распределения не пересекает фиксированный порог (например, если 2.5% перцентиль распределения коэффициентов Джини на уровне одного из факторов модели меньше 3%, то по тесту может быть выставлена оценка в виде красного сигнала).

Однако формирование подвыборок с помощью бутстрэпа – вычислительно сложная задача, которая может занять длительное время. С целью ее ускорения используется пуассоновский бутстрэп.

Извлечение с повторением элементов выборки размера n с фиксированной вероятностью можно заменить на сэмплирование с помощью биномиального распределения частот появления каждого элемента выборки. При условии достаточно большого размера выборки выполняется следующий переход от биномиального распределения к пуассоновскому [4]:

2. Оценка стабильности

Мы разработали модель, проверили ее дискриминационную способность, задеплоили, но спустя несколько месяцев показатели нашей модели ухудшились. После выяснения причин оказалось, что для обучения были отобраны нерепрезентативные данные. Вернемся назад во времени, попробуем предотвратить такую ситуацию и добавим еще один блок в отчет о валидации: стабильность.

где: — доля наблюдений с i-м значением фактора; — количество наблюдений, соответствующих i-му значению фактора; — общее количество наблюдений в выборке ( — валидационная выборка, — выборка для разработки). (Если вы хотите почитать, в каких случаях еще используется PSI, см. например, статью про моделирование компоненты LGD из цикла про риск-моделирование [3].)

Один из способов интерпретации PSI – через дивергенцию Кульбака–Лейблера [5], меру удаленности двух распределений P и Q:

Мера несимметрична () и из двух срезов данных мы не можем выбрать априорное распределение, с которым будет проводиться сравнение, поэтому для симметричности оценки можно использовать сумму двух мер от P до Q и от Q до P:

Когда мы убедились в стабильности модели, надо проверить, что уверенность модели в сформированных прогнозах соответствует моделируемым значениям целевого события. Для этого применяется калибровка. Здесь мы кратко остановимся на том, как она работает, подробности будут описаны в статье, которая выйдет чуть позже (stay tuned).

Модель считается хорошо откалиброванной, если фактический уровень целевого события (доля наблюдений с фактическим целевым событием = 1) близок к средней прогнозируемой моделью вероятности. Для оценки качества калибровки модели можно проверять попадание наблюдаемого уровня целевого события в доверительный интервал предсказанных моделью вероятностей целевого события: в целом по модели или в рамках бакетов предсказанной вероятности.

Примеры тестов и метрик:

Для проведения биномиального теста диапазон всех вероятностей целевого события разбивается на бакеты по принятой в финансовой организации шкале (мастер-шкале) или по перцентилям. Для каждого бакета рассчитывается доверительный интервал по предсказаниям модели и определяется, попадает ли фактический уровень дефолта в доверительный интервал.

Для формирования итогового решения о стратегии взаимодействия с клиентом может возникнуть необходимость определять разряд по заранее заданной шкале на основе значения вероятности дефолта, спрогнозированного моделью. В таком случае стоит проверить, что в распределении наблюдений по разрядам рейтинговой шкалы отсутствует перекос. Иными словами, чтобы предотвратить попадание большинства всех наблюдений в один-два разряда из всего набора.

Для проверки концентрации используется индекс Херфиндаля–Хиршмана как в целом по выборке, так и в разрезе отдельных сегментов.

Рассчитывается по формуле:

Подводя итог этого раздела, приведем пример пороговых значений метрик валидации моделей бинарной классификации и соответствующие им риск-зоны. В таблице для каждой метрики указаны пороговые значения риск-зон.

Мы перечислили тесты, применимые к моделям в разных доменных областях. Но могут быть метрики, которые отражают специфику конкретного продукта. Например, при моделировании операционных рисков может быть установлено дополнительное ограничение, связанное с пропускной способностью подразделения, проводящего расследования по признанным моделью подозрительными наблюдениям. После того как модель присвоила скоры всем пользователям, топ 1% или 5% пользователей по скору передается для проверки такому подразделению, другие пользователи не будут проверяться. Поэтому необходимо, чтобы максимальное число клиентов с y_true=1 попали в топ 1% или топ 5%.

Также для отдельных моделей могут быть предусмотрены специфические тесты. Например, для LGD-моделей Loss Shortfall.

Loss Shortfall – метрика, указывающая, насколько потери от фактического дефолта оказались ниже, чем было предсказано моделью (методика расчета описана в [3]). По шкале выставления оценки для метрики Loss Shortfall видно (см. рисунок ниже), что оценка риска в данном случае производится консервативно, модель считается хорошей только в тех случаях, когда предсказанные потери выше, чем наблюдаемые.

Качественные тесты

Не все аспекты качества модели можно оценить количественно, поэтому вместе с ними при валидации применяются качественные тесты. Что можно проверять с их помощью?

1. Качество документации модели. Для обеспечения воспроизводимости модели необходима хорошая документация.

Оценить качество документации можно, определив, насколько хорошо задокументированы:

2. Дополнительно можно проверить качество использованных при разработке данных:

Заказчик может дополнительно запросить интерпретацию модели: если это регрессионная модель, то коэффициенты факторов; если decision tree/decision list, то набор правил; если более сложные модели, то отчет интерпретаторов SHAP/LIME.

Эта информация поможет пройти приемку модели, поскольку наглядно показывает, что все важные фичи, на которых модель делает выводы, подкреплены бизнес-логикой.

Model performance predictor (MPP)

В определенных задачах бывает необходимо прогнозировать события, которые произойдут спустя месяцы. Например, клиент не выполнит свои обязательства по кредитному договору в течение года. Из-за этого лага возникает проблема: как понять, что модель стала хуже работать, до того как мы сможем увидеть это, до получения фактических значений целевого события?

Для решения такой проблемы наряду с основной строится дополнительная модель — Model Performance Predictor (MPP) [6].

Схема обучения MPP-модели

Для разработки MPP-модели используется тестовая выборка основной модели. Шаги по построению MPP-модели.

Заключение

В завершение сформулируем принципы, которые гарантируют, что валидация модели будет эффективна:

Бинарное целевое событие:

Материал подготовили: Илья Могильников (EienKotowaru), Александр Бородин (abv_gbc)

Источник

Что такое валидация: основные виды и этапы, отличия от верификации + кто может проводить валидацию

Здравствуйте! В этой статье мы поговорим про валидацию.

Валидация, верификация и прочие связанные с ними сложные слова трудны для восприятия, особенно когда пытаешься вникнуть в суть и разобраться в причинах, почему один процесс называется так, а практически такой же — по-другому. Я решил в этом разобраться и помочь таким же интересующимся людям. Из этой статьи вы узнаете, что такое валидация, чем она отличается от верификации, какой бывает и кто её проводит.

Содержание

Что такое валидация

Сначала давайте разберемся, что это такое по официальным источникам:

Валидация — это подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного применения, полностью выполнены.

Звучит сложно. Проще разбирать это определение по частям и вывести из него более простое. Итак, по порядку. Валидация — факт подтверждения, что какой-то объект соответствует ожиданиям и области применения. То есть это не сам процесс подтверждения, когда сравниваются качества какого-то предмета и то, каким он должен быть для применения, а именно свершившееся действие. И если говорить простыми словами, то выходит следующее:

Валидация — факт подтверждения того, что какой-то объект соответствует своей области применения и ожиданиям относительно его свойств для конкретного случая.

Давайте разберем на конкретном примере. Покупатель приходит в магазин за новым телефоном. У него есть какие-то требования к гаджету. Он сравнивает характеристики, камеру, железо и все в таком духе. Если телефон соответствует ожиданиям — значит, он прошел процесс валидации для конкретного человека. И так практически в любой сфере, где есть определенный объект, и его нужно сравнить с теми требованиями, которые к нему предъявляются. Если он соответствует, значит, этот предмет прошел процесс валидации.

Основные отличия от верификации

Понятия верификации и валидации похожи. И формулировки в определениях практически одинаковые. Но если копнуть чуть глубже, сразу же становятся понятны различия. Первое отличие видно при переводе с английского языка. С английского «verification» — проверка, а вот «validation» — придание законной силы.

Верификация — общая проверка требований. Когда мы что-то тестируем, у нас есть список требований — в соответствии с ним мы проводим процесс верификации. И если объект прошел их, значит, он верифицирован.

Лучше всего отличия показывает пример в медицине. Если какой-то препарат прошел все положенные тесты, работает в своей области и не вызывает сильных побочных изменений, значит, он верифицирован. Он прошел все проверки и соответствует ожиданиям. Значит ли это, что его может применять конкретный больной? Нет. Нужно пройти еще конкретный процесс валидации для определенного человека. Переносимость отдельных компонентов, аллергические реакции и т. д. И только если после такой проверки препарат подойдет, тогда можно сказать, что лекарство прошло валидацию для конкретного человека.

Вот краткий список отличий:

Что может быть объектом валидации

Объектом валидации может быть:

Давайте подробно остановимся на каждом из вариантов.

Валидация оборудования

Есть заявленные технические характеристики оборудования. При покупке каждый будет обращать на это внимание и стараться учитывать их в работе. Но разница между тем, что написано на бумаге и тем, как себя ведет конкретное оборудование в определенных условиях — огромна.

Чтобы проверить, как оборудование будет вести себя в реальных условиях, нужно провести валидацию. Обычно это просто процедура запуска и выполнения разных задач в реальных условиях.

Такая валидация проводится либо самим продавцом по заказу покупателя (в случае с производственным оборудованием) либо самим покупателем уже после заказа. Такая валидация должна проходить после каждого перемещения или перерыва в использовании оборудования.

Валидация производственных процессов

Вот здесь сложная процедура валидации. Касается она в основном медицинской сферы, но также применяется и в других областях, где результат зависит от того, как соблюдается процесс производства. Насколько хорошо себя показывает та самая пошаговая инструкция, которая изначально используется для создания продукта.

Валидацию проводит либо сама компания и сверяет соответствие своих ожиданий и норм, либо специальная проверяющая компания по согласованию с производителем. Причем валидация чаще всего проводится для процессов, которые не поддаются верификации. То есть какие-то бетонные перекрытия можно проверить уже после того, как они были сделаны. Даже через несколько лет. А вот еду уже вряд ли, потому что она испортится. Значит, придется повторять тот же самый процесс производства, что был изначально, при готовке.

Валидация конкретного продукта

Валидация продукта — это своеобразное продолжение валидации процесса. Если процесс правильно организован, то и продукт будет сделан качественно. Но он может не всегда подходить конкретному клиенту. Ярче всего это видно в фармацевтической среде. Чтобы получить то действие, которое ожидает конкретный клиент, нужно протестировать препарат.

Получая какой-то продукт, пользователь может быть доволен характеристиками и прошедшим процессом верификации, но вот для конкретной ситуации он ему не подойдет. И чтобы этого избежать, проводится дополнительная валидация продукта на соответствие определенным условиям.

При валидации продукта основное внимание уделяют недостаткам. Нужно определить, что именно мешает производить тот продукт, который полностью соответствует ожиданиям клиента. Валидацию продукта проводят, как только запускают производственную линию, а также при любых изменениях в производственный процесс или состав.

Валидация системы навыков и методик

Валидация или аттестация навыков знакома всем, кто работает в государственных сферах. Периодически приходят разные проверки на соответствие занимаемой должности. Нужно знать теоретическую базу, добиться определенных успехов в ее практическом применении и пройти все тесты, которые пришлет контролирующий орган.

На Западе аттестация навыков показывает хорошие результаты и позволяет подниматься по карьерной лестнице. Если сотрудник хорошо выполняет работу, значит, он может идти вверх и осваивать новые знания, постепенно останавливаясь и набираясь опыта на каждой из ступеней. В России, особенно в государственных структурах, валидация навыков — скорее, процесс для галочки, когда можно убрать людей, которые вообще не соответствуют должности.

Валидация методики — более сложный процесс. Он выявляет результаты по конкретной методологии. Будет ли она эффективна в конкретной сфере с конкретными условиями, или же нужно придумывать новые способы, или вносить изменения в существующие. Валидация методологии чаще всего используется при образовательной работе с детьми, которые имеют определенные отклонения. Для каждой конкретной группы нужно подобрать индивидуальную методологию.

Валидация пользователя

Это понятие используется чаще всего в интернете и при использовании платежных систем. Пользователь, который зарегистрировался в системе, должен подтвердить, что это он, с помощью определенных кодов. Это можно увидеть как в онлайн-играх, где нужно вводить логин-пароль, а иногда даже четырехзначный код, а также при использовании банкоматов, когда каждый раз нужно вводить пин-код карты.

Если код введен неправильно, то пользователь не проходит валидацию, и ему не дают доступ к аккаунту.

Валидация пользователя применяется даже в общественном транспорте. Вы покупаете билет, прикладываете его к электронному устройству (валидатору), а оно считывает все данные и дает разрешение на поездку. Так можно себя валидировать как пассажира.

С валидацией пользователя 5-7 лет назад были связаны неприятные вещи. Если пользователь ПК ловил вирусную программу, выскакивало окно валидации, где нужно было ввести свои данные, чаще всего кошелька или банковской карты. После чего выскакивает ошибка валидации, а у злоумышленников остаются все данные.

Недавно я тоже поймал подобную штуку на компьютер. Открывал браузер и высветилась страница с призами от Гугла. Нужно было ввести номер карты и CVC-код.

Еще есть несколько более редких видов валидации — валидация данных и валидация очистки.

Валидация данных — это определение, являются ли эти данные релевантными в определенном исследовании, споре или доказательстве. Если да, то их можно использовать, они валидные. Если нет — это ошибочные данные, которые не относятся к предмету изучения или дискуссии. Определять валидность данных важно для составления правильных статистических отчетов и прогнозов, а также при работе с историческими документами.

Валидация очистки — оценка чистоты оборудования. Она необходима для тех сфер, где нужно тщательно следить за всеми мелкими деталями и чистотой параметров. Важна в науке и наукоемком производстве, например, в создании компьютерных деталей, телефонов и прочего. Валидация очистки позволяет оценить, насколько важна чистота оборудования при производстве конечного продукта.

Виды валидации

Есть четыре вида валидации:

Виды валидации в большей степени отличаются подходом и сферами применения. Перспективная валидация нужна в тех сферах, где от качества продукта зависит слишком многое. Не только денежный и репутационный вред, но и реальная угроза жизни и здоровью. Именно поэтому перспективная валидация чаще всего проходит в медицинской сфере, а также в любых наукоемких производствах, где на исследования тратится гораздо больше денег, чем на конечное производство.

При сопутствующей валидации наименьшее количество затрат можно получить только тогда, когда весь процесс контроля качества не мешает самому производству. Это существенно снижает как человеческие ресурсы, так и денежные. Гораздо проще, если работник будет отслеживать все показатели самостоятельно, чем нанимать для этого отдельную команду.

Ретроспективную валидацию иногда еще используют для B2C сегмента, где слишком много разных клиентов, и ожидания каждого из них будут отличаться. И можно только постфактум узнать о проблемах и недостатках собственного продукта.

Кросс-валидация

Кросс-валидация — отдельный вид, который обычно не входит в общие. Это перекрестная проверка, суть которой сводится к тестированию определенных систем, состоящих из разного количества массивов данных. Чаще всего такой метод применяется при создании обучающих систем. Суть этого метода в следующем:

Нужно разбить всю обучающую программу на любое количество частей. После этого нужно запустить программу без 1 из этих частей и использовать для обучения. После этого нужно заменить части, одну из тех, которые тестировали, отправить на тест, а другую часть перенести.

Валидация формы

Это одна из составляющих валидации пользователя. Когда мы заходим на любой сайт и в любое приложение, то видим формы для заполнения. В них нужно ввести свои данные и после этого можно получить доступ в личный кабинет, на сайт, форум или в онлайн-игру. Если форма заполнена корректно, значит, система признает её валидной. Если нет, нужно заполнить её повторно.

Валидация формы — актуальный способ проводить проверку вводимых данных.

Кто может проводить валидацию

Валидация — сложный процесс, который требует от проверяющих максимальных знаний в своей нише. Именно поэтому в большинстве компаний есть специальный отдел по контролю качества, который и занимается процессами проверок, определяет пригодность оборудования и продуктов, а также делает статистические выборки по тому, что можно заменить и как это повлияет на процесс.

В небольших компаниях валидацией занимается либо руководство, либо начальники направлений. Это делается для того, чтобы не тратить денежные и человеческие ресурсы или не распылять работников на такие «бесполезные» должности, как аналитика и проверка качества. При этом компании могут некорректно проводить процесс валидации и сталкиваться с браком и несоответствием стандартам, но это уже осознанное решение, которое связано с меньшими финансовыми потерями. Как в случае с автомобилями, когда бывает дешевле выплатить компенсацию и выдать замену, чем снимать с производства целую линию из-за маловероятной ошибки.

Валидация методик и квалификации обычно проводится вышестоящими органами. Если это частная компания, скорее всего будут тестировать сотрудников филиалов и нижних работников-исполнителей. Руководители тестирования на пригодность будут разрабатывать методики проверки и после этого внедрять их в работу. Сотрудники получают уведомления о том, что будет тестирование или любой другой способ проверки профпригодности, готовятся к нему и получают свои показатели.

Первоначальную валидацию могут проводить и HR-специалисты, которые составляют бланки собеседований и после этого проводят тесты на знание компании.

Официальные этапы валидации

Валидация — сложный процесс, который требует четкой методологии. Официально выделяют 6 этапов валидации, которые соответствуют мировым стандартам:

По каждому из официальных этапов валидации составляются специальные протоколы, а из них потом собирается один общий документ с итогами. Его подписывают все специалисты, которые проводили валидацию, а также руководитель компании. Если это делала специальная компания на аутсорсе, она передает данные в компанию, последняя сравнивает показатели со своими данными, а представители ставят подписи.

Результатом такой проверки может быть список рекомендаций, который позволит улучшить производственный процесс и конечный продукт. И если их применить, продукт можно считать валидными. Потом в дело вступают финансовые аналитики, которые сравнивают риски ликвидации невалидного товара с потенциальными затратами на его доработку. И только после этого принимается решение о доработке или же выпуске на рынок.

Источник