Что такое среднеквадратичная ошибка

Среднеквадратическая ошибка (MSE)

Среднеквадратичная ошибка (Mean Squared Error) – Среднее арифметическое (Mean) квадратов разностей между предсказанными и реальными значениями Модели (Model) Машинного обучения (ML):

MSE как среднее дистанций между предсказаниями и реальными наблюдениями

Рассчитывается с помощью формулы, которая будет пояснена в примере ниже:

MSE практически никогда не равен нулю, и происходит это из-за элемента случайности в данных или неучитывания Оценочной функцией (Estimator) всех факторов, которые могли бы улучшить предсказательную способность.

Пример. Исследуем линейную регрессию, изображенную на графике выше, и установим величину среднеквадратической Ошибки (Error). Фактические координаты точек-Наблюдений (Observation) выглядят следующим образом:

Мы имеем дело с Линейной регрессией (Linear Regression), потому уравнение, предсказывающее положение записей, можно представить с помощью формулы:

Параметры M и b уравнения нам, к счастью, известны в данном обучающем примере, и потому уравнение выглядит следующим образом:

$$y = 0,5252 * x + 17,306$$

Зная координаты реальных записей и уравнение линейной регрессии, мы можем восстановить полные координаты предсказанных наблюдений, обозначенных серыми точками на графике выше. Простой подстановкой значения координаты x в уравнение мы рассчитаем значение координаты ỹ:

Рассчитаем квадрат разницы между Y и Ỹ:

Сумма таких квадратов равна 4 445. Осталось только разделить это число на количество наблюдений (9):

$$MSE = \frac<1> <9>× 4445 = 493$$

Само по себе число в такой ситуации становится показательным, когда Дата-сайентист (Data Scientist) предпринимает попытки улучшить предсказательную способность модели и сравнивает MSE каждой итерации, выбирая такое уравнение, что сгенерирует наименьшую погрешность в предсказаниях.

MSE и Scikit-learn

Среднеквадратическую ошибку можно вычислить с помощью SkLearn. Для начала импортируем функцию:

Инициализируем крошечные списки, содержащие реальные и предсказанные координаты y:

Интересно, что конечный результат на 3 отличается от расчетов с помощью Apple Numbers:

Ноутбук, не требующий дополнительной настройки на момент написания статьи, можно скачать здесь.

Источник

Средняя квадратичная ошибка

Оценка точности результатов измерений

Оценить точность каких-либо измерений – это значит определить на основе полученных результатов сравнимые числовые (количественные) характеристики, выражающие качественную сторону самих измерений и условий их проведения. Количественные характеристики измерений или критерии оценки точности измерений устанавливаются теорией вероятности и теорией ошибок (в частности, способом наименьших квадратов). Согласно этим теориям оценка точности результатов измерений производится только по случайным ошибкам.

Показателями точности измерений могут служить:

— средняя квадратическая ошибка измерений;

— относительная ошибка измерений;

— предельная ошибка измерений.

Понятие средней квадратичной ошибки введено Гауссом, и в настоящее время она принята в качестве основной характеристики точности измерений в геодезии.

Средней квадратичной ошибкой называется среднее квадратичное значение из суммы квадратов ошибок отдельных измерений. Для ее вычисления используют либо истинные ошибки измерений, либо уклонения результатов измерений от среднего арифметического.

Обозначим истинное значение измеряемой величины через X, результат измерения через l_i.

Истинными ошибками измерений Δ_i называются разности результатов измерений и истинных значений, т. е.

В этом случае среднюю квадратичную ошибку m отдельного результата вычисляют по формуле:

(11)

где n – количество равноточных измерений.

Однако в большинстве случаев практики, если не считать редких случаев специальных исследований, истинное значение измеряемой величины и, следовательно, истинные ошибки остаются неизвестными. В этих случаях для нахождения окончательного значения измеряемой величины и оценки точности результатов измерений используют принцип среднего арифметического.

называется средним арифметическим из измеренных значений этой величины.

Разность каждого отдельного результата измерения и среднего арифметического значения называется уклонением результатов измерений от среднего арифметического и обозначается буквой v:

v_i = l_i – .

Пример. Отдельный угол измерен четырьмя приемами, и получены результаты:

Уклонения результатов измерений от среднего арифметического обладают двумя важными свойствами:

— для любого ряда равноточных измерений алгебраическая сумма уклонений равна нулю [v] = 0;

— для любого ряда равноточных измерений сумма квадратов уклонений минимальна, т. е. меньше суммы квадратов уклонений отдельных измерений от любого другого значения, принятого, вместо среднего арифметического значения, [v 2 ] = min.

Первое свойство уклонений служит надежным контролем вычисления среднего арифметического значения из результатов измерений. Второе свойство уклонений используют для оценки точности результатов измерений.

Если ошибки отдельных измерений вычисляют относительно среднего арифметического значения из результатов измерений, среднюю квадратичную ошибку отдельного результата вычисляют по формуле

. (12)

Пример. Используя данные предыдущего примера, найдем среднюю квадратичную ошибку измерения угла одним приемом:

.

При определении средних квадратичных ошибок измерений необходимо руководствоваться следующими правилами:

;

2) средняя квадратичная ошибка произведения измеренной величины на постоянное число равна произведению средней квадратичной ошибки этой величины на то же самое число, т. е. для выражения L = kl;

;

3) средняя квадратичная ошибка результатов равноточных измерений прямо пропорциональна средней квадратичной ошибке одного измерения m и обратно пропорциональна корню квадратному из числа измерений, т.е.

;

или с учетом формулы (12):

Примеры: 1. Угол β получен как разность двух направлений, определенных с ошибками m₁ = ± 3″ и m₂ = ± 4″.

По первому правилу находим .

2. Радиус окружности измерен со средней квадратичной ошибкой m_R = ±5 см.

По второму правилу находим среднюю квадратичную ошибку длины окружности

m₀ = 2πm_R = 2 × 3,14 × 5 = ± 31 см.

3. Средняя квадратичная ошибка измерения угла одним приемом равно m = ± 8″. Какова точность измерения угла четырьмя приемами?

По третьему правилу

.

Источник

Как правильно выбрать метрику оценки для моделей машинного обучения: часть 1 Регрессионные метрики

Дата публикации Aug 26, 2018

Каждая модель машинного обучения пытается решить проблему с другой целью, используя свой набор данных, и, следовательно, важно понять контекст, прежде чем выбрать метрику. Обычно ответы на следующий вопрос помогают нам выбрать подходящий показатель:

Ну, в этом посте я буду обсуждать полезность каждой метрики ошибки в зависимости от цели и проблемы, которую мы пытаемся решить. Часть 1 фокусируется только на показателях оценки регрессии.

Метрики регрессии

Средняя квадратическая ошибка (MSE)

Это, пожалуй, самый простой и распространенный показатель для оценки регрессии, но, вероятно, наименее полезный. Определяется уравнением

гдеyᵢфактический ожидаемый результат иŷᵢэто прогноз модели.

MSE в основном измеряет среднеквадратичную ошибку наших прогнозов. Для каждой точки вычисляется квадратная разница между прогнозами и целью, а затем усредняются эти значения.

Чем выше это значение, тем хуже модель. Он никогда не бывает отрицательным, поскольку мы возводим в квадрат отдельные ошибки прогнозирования, прежде чем их суммировать, но для идеальной модели это будет ноль.

Преимущество:Полезно, если у нас есть неожиданные значения, о которых мы должны заботиться. Очень высокое или низкое значение, на которое мы должны обратить внимание.

Обратите внимание, чтоесли мы хотим иметь постоянный прогноз, лучшим будетсреднее значение целевых значений.Его можно найти, установив производную нашей полной ошибки по этой константе в ноль, и найти ее из этого уравнения.

Среднеквадратическая ошибка (RMSE)

Теперь очень важно понять, в каком смысле RMSE похож на MSE, и в чем разница.

Что это значит для нас?

Это означает, что, если целевым показателем является RMSE, мы все равно можем сравнивать наши модели, используя MSE, поскольку MSE упорядочит модели так же, как RMSE. Таким образом, мы можем оптимизировать MSE вместо RMSE.

На самом деле, с MSE работать немного проще, поэтому все используют MSE вместо RMSE. Также есть небольшая разница между этими двумя моделями на основе градиента.

Это означает, что путешествие по градиенту MSE эквивалентно путешествию по градиенту RMSE, но с другой скоростью потока, и скорость потока зависит от самой оценки MSE.

Таким образом, хотя RMSE и MSE действительно схожи с точки зрения оценки моделей, они не могут быть сразу взаимозаменяемыми для методов на основе градиента. Возможно, нам нужно будет настроить некоторые параметры, такие как скорость обучения.

Средняя абсолютная ошибка (MAE)

Что важно в этой метрике, так это то, что онанаказывает огромные ошибки, которые не так плохо, как MSE.Таким образом, он не так чувствителен к выбросам, как среднеквадратическая ошибка.

MAE широко используется в финансах, где ошибка в 10 долларов обычно в два раза хуже, чем ошибка в 5 долларов. С другой стороны, метрика MSE считает, что ошибка в 10 долларов в четыре раза хуже, чем ошибка в 5 долларов. MAE легче обосновать, чем RMSE.

Теперь градиент не определен, когда предсказание является совершенным, потому что, когда Y_hat равен Y, мы не можем оценить градиент. Это не определено.

Таким образом, формально, MAE не дифференцируемо, но на самом деле, как часто ваши прогнозы точно измеряют цель. Даже если они это сделают, мы можем написать простое условие IF и вернуть ноль, если это так, и через градиент в противном случае. Также известно, что вторая производная везде нулевая и не определена в нулевой точке.

Обратите внимание, чтоесли мы хотим иметь постоянный прогноз, лучшим будетсрединное значение целевых значений.Его можно найти, установив производную нашей полной ошибки по этой константе в ноль, и найти ее из этого уравнения.

R в квадрате (R²)

А что если я скажу вам, что MSE для моих моделей предсказаний составляет 32? Должен ли я улучшить свою модель или она достаточно хороша? Или что, если мой MSE был 0,4? На самом деле, трудно понять, хороша наша модель или нет, посмотрев на абсолютные значения MSE или RMSE. Мы, вероятно, захотим измерить, как Во многом наша модель лучше, чем постоянная базовая линия.

Когда R² отрицательно, это означает, что модель хуже, чем предсказание среднего значения.

MSE модели рассчитывается, как указано выше, в то время как MSE базовой линии определяется как:

гдеYс чертой означает среднее из наблюдаемогоyᵢ.

Чтобы сделать это более ясным, этот базовый MSE можно рассматривать как MSE, чтопростейшиймодель получит. Простейшей возможной моделью было бывсегдапредсказать среднее по всем выборкам. Значение, близкое к 1, указывает на модель с ошибкой, близкой к нулю, а значение, близкое к нулю, указывает на модель, очень близкую к базовой линии.

Распространенное заблуждение:Многие статьи в Интернете утверждают, что диапазон R² лежит между 0 и 1, что на самом деле не соответствует действительности. Максимальное значение R² равно 1, но минимальное может быть минус бесконечность.

Например, рассмотрим действительно дрянную модель, предсказывающую крайне отрицательное значение для всех наблюдений, даже если y_actual положительно. В этом случае R² будет меньше 0. Это крайне маловероятный сценарий, но возможность все еще существует.

MAE против MSE

Я заявил, что MAE более устойчив (менее чувствителен к выбросам), чем MSE, но это не значит, что всегда лучше использовать MAE. Следующие вопросы помогут вам решить:

Взять домой сообщение

В этой статье мы обсудили несколько важных метрик регрессии. Сначала мы обсудили среднеквадратичную ошибку и поняли, что наилучшей константой для нее является среднее целевое значение. Среднеквадратичная ошибка и R² очень похожи на MSE с точки зрения оптимизации. Затем мы обсудили среднюю абсолютную ошибку и когда люди предпочитают использовать MAE вместо MSE.

Спасибо за чтение, и я с нетерпением жду, чтобы услышать ваши вопросы 🙂Наслаждайтесь!

Источник

СОДЕРЖАНИЕ

Определение и основные свойства

Предсказатель

СКО также можно вычислить по q точкам данных, которые не использовались при оценке модели, либо потому, что они не использовались для этой цели, либо потому, что эти данные были получены заново. В этом процессе (известном как перекрестная проверка ) MSE часто называют среднеквадратической ошибкой предсказания и вычисляют как

Оценщик

Это определение зависит от неизвестного параметра, но MSE априори является свойством оценщика. MSE может быть функцией неизвестных параметров, и в этом случае любая оценка MSE, основанная на оценках этих параметров, будет функцией данных (и, следовательно, случайной величиной). Если оценщик получен как статистика выборки и используется для оценки некоторого параметра совокупности, то ожидание относится к распределению выборки статистики выборки. θ ^ <\ displaystyle <\ hat <\ theta>>>

СКО может быть записано как сумма дисперсии оценочного устройства и квадрата смещения оценщика, обеспечивая полезный способ вычисления СКО и подразумевая, что в случае несмещенных оценщиков СКО и дисперсия эквивалентны.

Доказательство отношения дисперсии и предвзятости

В качестве альтернативы у нас есть

В регрессе

Примеры

Иметь в виду

Икс ¯ знак равно 1 п ∑ я знак равно 1 п Икс я <\ displaystyle <\ overline > = <\ frac <1>> \ sum _ ^ X_ >

Дисперсия

Обычной оценкой дисперсии является скорректированная выборочная дисперсия :

Это несмещенное значение (его ожидаемое значение равно ), поэтому оно также называется несмещенной дисперсией выборки, а его MSE равно σ 2 <\ displaystyle \ sigma ^ <2>>

Это сводится к минимуму, когда

Гауссово распределение

В следующей таблице приведены несколько оценок истинных параметров совокупности μ и σ 2 для гауссовского случая.

Интерпретация

Как анализ дисперсии, так и методы линейной регрессии оценивают MSE как часть анализа и используют оцененную MSE для определения статистической значимости изучаемых факторов или предикторов. Цель экспериментального плана состоит в том, чтобы построить эксперименты таким образом, чтобы при анализе наблюдений MSE была близка к нулю относительно величины по крайней мере одного из оцененных эффектов лечения.

При одностороннем дисперсионном анализе MSE можно вычислить путем деления суммы квадратов ошибок и степени свободы. Кроме того, значение f представляет собой отношение среднего квадрата обработки и MSE.

MSE также используется в нескольких методах пошаговой регрессии как часть определения того, сколько предикторов из набора кандидатов включить в модель для данного набора наблюдений.

Приложения

Функция потерь

Критика

Источник

Содержание

Определение и основные свойства

MSE либо оценивает качество предсказатель (т.е. функция, отображающая произвольные входные данные в выборку значений некоторых случайная переменная) или оценщик (т.е. математическая функция отображение образец данных для оценки параметр из численность населения из которого берутся данные). Определение MSE различается в зависимости от того, описывается ли предсказатель или оценщик.

Предсказатель

MSE также можно вычислить на q точки данных, которые не использовались при оценке модели, либо потому, что они были задержаны для этой цели, либо потому, что эти данные были получены заново. В этом процессе (известном как перекрестная проверка), MSE часто называют среднеквадратичная ошибка прогноза, и вычисляется как

Оценщик

Это определение зависит от неизвестного параметра, но MSE априори свойство оценщика. MSE может быть функцией неизвестных параметров, и в этом случае любой оценщик MSE на основе оценок этих параметров будет функцией данных (и, следовательно, случайной величиной). Если оценщик θ ^ < displaystyle < hat < theta>>> выводится как статистика выборки и используется для оценки некоторого параметра совокупности, тогда ожидание относится к распределению выборки статистики выборки.

MSE можно записать как сумму отклонение оценщика и квадрата предвзятость оценщика, обеспечивая полезный способ вычисления MSE и подразумевая, что в случае несмещенных оценок MSE и дисперсия эквивалентны. [4]

Доказательство отношения дисперсии и предвзятости

Но в реальном случае моделирования MSE можно описать как добавление дисперсии модели, систематической ошибки модели и неснижаемой неопределенности. Согласно соотношению, MSE оценщиков может быть просто использована для эффективность сравнение, которое включает информацию о дисперсии и смещении оценки. Это называется критерием MSE.

В регрессе

В регрессионном анализе «среднеквадратичная ошибка», часто называемая среднеквадратичная ошибка прогноза или «среднеквадратичная ошибка вне выборки», также может относиться к среднему значению квадратичные отклонения прогнозов на основе истинных значений в тестовом пространстве вне выборки, сгенерированных моделью, оцененной в конкретном пространстве выборки. Это также известная вычисляемая величина, которая зависит от образца и тестового пространства вне образца.

Примеры

Иметь в виду

Икс ¯ = 1 п ∑ я = 1 п Икс я < displaystyle < overline > = < frac <1>> sum _ ^ X_ >

Для Гауссово распределение, это лучший объективный оценщик (то есть с самой низкой MSE среди всех несмещенных оценок), но не, скажем, для равномерное распределение.

Дисперсия

Обычной оценкой дисперсии является исправлено выборочная дисперсия:

Это объективно (его ожидаемое значение σ 2 < displaystyle sigma ^ <2>> ), поэтому также называется объективная дисперсия выборки, и его MSE [7]

Это сводится к минимуму, когда

Гауссово распределение

Интерпретация

Обе линейная регрессия методы, такие как дисперсионный анализ оценить MSE как часть анализа и использовать оценочную MSE для определения Статистическая значимость изучаемых факторов или предикторов. Цель экспериментальная конструкция состоит в том, чтобы построить эксперименты таким образом, чтобы при анализе наблюдений MSE была близка к нулю относительно величины по крайней мере одного из оцененных эффектов лечения.

MSE также используется в нескольких пошаговая регрессия методы как часть определения того, сколько предикторов из набора кандидатов включить в модель для данного набора наблюдений.

Приложения

Функция потерь

Критика

подобно отклонение, среднеквадратичная ошибка имеет тот недостаток, что выбросы. [10] Это результат возведения в квадрат каждого члена, который фактически дает больший вес большим ошибкам, чем малым. Это свойство, нежелательное для многих приложений, заставило исследователей использовать альтернативы, такие как средняя абсолютная ошибка, или основанные на медиана.

Источник