Что такое стандартное отклонение простыми словами
Дисперсия, среднеквадратичное (стандартное) отклонение, коэффициент вариации в Excel
Из предыдущей статьи мы узнали о таких показателях, как размах вариации, межквартильный размах и среднее линейное отклонение. В этой статье изучим дисперсию, среднеквадратичное отклонение и коэффициент вариации.
Дисперсия
Дисперсия случайной величины – это один из основных показателей в статистике. Он отражает меру разброса данных вокруг средней арифметической.
Сейчас небольшой экскурс в теорию вероятностей, которая лежит в основе математической статистики. Как и матожидание, дисперсия является важной характеристикой случайной величины. Если матожидание отражает центр случайной величины, то дисперсия дает характеристику разброса данных вокруг центра.
Формула дисперсии в теории вероятностей имеет вид:
То есть дисперсия — это математическое ожидание отклонений от математического ожидания.
На практике при анализе выборок математическое ожидание, как правило, не известно. Поэтому вместо него используют оценку – среднее арифметическое. Расчет дисперсии производят по формуле:
s 2 – выборочная дисперсия, рассчитанная по данным наблюдений,
X – отдельные значения,
X̅– среднее арифметическое по выборке.
Стоит отметить, что у такого расчета дисперсии есть недостаток – она получается смещенной, т.е. ее математическое ожидание не равно истинному значению дисперсии. Подробней об этом здесь. Однако при увеличении объема выборки она все-таки приближается к своему теоретическому аналогу, т.е. является асимптотически не смещенной.
Простыми словами дисперсия – это средний квадрат отклонений. То есть вначале рассчитывается среднее значение, затем берется разница между каждым исходным и средним значением, возводится в квадрат, складывается и затем делится на количество значений в данной совокупности. Разница между отдельным значением и средней отражает меру отклонения. В квадрат возводится для того, чтобы все отклонения стали исключительно положительными числами и чтобы избежать взаимоуничтожения положительных и отрицательных отклонений при их суммировании. Затем, имея квадраты отклонений, просто рассчитываем среднюю арифметическую. Средний – квадрат – отклонений. Отклонения возводятся в квадрат, и считается средняя. Теперь вы знаете, как найти дисперсию.
Расчет дисперсии в Excel
Генеральную и выборочную дисперсии легко рассчитать в Excel. Есть специальные функции: ДИСП.Г и ДИСП.В соответственно.
В чистом виде дисперсия не используется. Это вспомогательный показатель, который нужен в других расчетах. Например, в проверке статистических гипотез или расчете коэффициентов корреляции. Отсюда неплохо бы знать математические свойства дисперсии.
Свойства дисперсии
Свойство 1. Дисперсия постоянной величины A равна 0 (нулю).
Свойство 2. Если случайную величину умножить на постоянную А, то дисперсия этой случайной величины увеличится в А 2 раз. Другими словами, постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат.
Свойство 3. Если к случайной величине добавить (или отнять) постоянную А, то дисперсия останется неизменной.
Свойство 4. Если случайные величины X и Y независимы, то дисперсия их суммы равна сумме их дисперсий.
Свойство 5. Если случайные величины X и Y независимы, то дисперсия их разницы также равна сумме дисперсий.
Среднеквадратичное (стандартное) отклонение
Если из дисперсии извлечь квадратный корень, получится среднеквадратичное (стандартное) отклонение (сокращенно СКО). Встречается название среднее квадратичное отклонение и сигма (от названия греческой буквы). Общая формула стандартного отклонения в математике следующая:
На практике формула стандартного отклонения следующая:
Как и с дисперсией, есть и немного другой вариант расчета. Но с ростом выборки разница исчезает.
Расчет cреднеквадратичного (стандартного) отклонения в Excel
Для расчета стандартного отклонения достаточно из дисперсии извлечь квадратный корень. Но в Excel есть и готовые функции: СТАНДОТКЛОН.Г и СТАНДОТКЛОН.В (по генеральной и выборочной совокупности соответственно).
Среднеквадратичное отклонение имеет те же единицы измерения, что и анализируемый показатель, поэтому является сопоставимым с исходными данными.
Коэффициент вариации
Значение стандартного отклонения зависит от масштаба самих данных, что не позволяет сравнивать вариабельность разных выборках. Чтобы устранить влияние масштаба, необходимо рассчитать коэффициент вариации по формуле:
По нему можно сравнивать однородность явлений даже с разным масштабом данных. В статистике принято, что, если значение коэффициента вариации менее 33%, то совокупность считается однородной, если больше 33%, то – неоднородной. В реальности, если коэффициент вариации превышает 33%, то специально ничего делать по этому поводу не нужно. Это информация для общего представления. В общем коэффициент вариации используют для оценки относительного разброса данных в выборке.
Расчет коэффициента вариации в Excel
Расчет коэффициента вариации в Excel также производится делением стандартного отклонения на среднее арифметическое:
Коэффициент вариации обычно выражается в процентах, поэтому ячейке с формулой можно присвоить процентный формат:
Коэффициент осцилляции
Еще один показатель разброса данных на сегодня – коэффициент осцилляции. Это соотношение размаха вариации (разницы между максимальным и минимальным значением) к средней. Готовой формулы Excel нет, поэтому придется скомпоновать три функции: МАКС, МИН, СРЗНАЧ.
Коэффициент осцилляции показывает степень размаха вариации относительно средней, что также можно использовать для сравнения различных наборов данных.
Таким образом, в статистическом анализе существует система показателей, отражающих разброс или однородность данных.
Ниже видео о том, как посчитать коэффициент вариации, дисперсию, стандартное (среднеквадратичное) отклонение и другие показатели вариации в Excel.
Стандартное отклонение (Standard Deviation)
Стандартное отклонение (σ, s) – это мера разброса в наборе числовых данных. Выражаясь простыми словами, насколько далеко от Cреднего арифметического (Mean) находятся точки данных. Его также можно назвать мерой центральной тенденции: чем меньше стандартное отклонение, тем более «сгруппированы» данные вокруг центра (среднего). Чем отклонение больше, тем больше разброс значений.
Стандартное отклонение в статистике
Метрика рассчитывается с помощью следующей формулы:
Пример. Мы располагаем Выборкой (Sample) из 10 наблюдений, где указано, сколько килограммов томатов собрали дачники в этом месяце:
Средним значением выборки будет 7,7:
$$\bar
Следуя формуле, вычислим квадрат разницы между i-м элементом выборки и средним значением. К примеру, для первого вхождения это будет:
Причина, по которой мы возводим разницы в квадрат, заключается в том, что большие отклонения от среднего как бы «наказываются» более сурово. Возведение в квадрат также приводит одинаковому учету отклонений в обоих направлениях (положительном и отрицательном), то есть расстояние от среднего значения у отрицательного и положительного числа будет рассчитано верно в обоих случаях.
Суммой значений правого столбца является число 64,1. Итак, согласно формуле стандартное отклонение будет равно:
Стандартное отклонение в Машинном обучении
Представьте, что перепись «томатного» населения приобрела более широкие масштабы, и исследователи собрали данные о целом климатическом поясе. Мало тех, кто собрал по 2 килограмма, и тех, кто собрал 50. В среднем, садоводы собирали 25 кг.
При создании модели прогнозирования урожая стандартное отклонение уточняет наши предположения с помощью следующих принципов:
Библиотека Statistics
Рассчитывание стандартного отклонения выполняется мгновенно с помощью библиотеки statistics:
Стандартное отклонение
Стандартное отклонение (англ. Standard Deviation) — простыми словами это мера того, насколько разбросан набор данных.
Вычисляя его, можно узнать, являются ли числа близкими к среднему значению или далеки от него. Если точки данных находятся далеко от среднего значения, то в наборе данных имеется большое отклонение; таким образом, чем больше разброс данных, тем выше стандартное отклонение.
Стандартное отклонение обозначается буквой σ (греческая буква сигма).
Стандартное отклонение также называется:
Использование и интерпретация величины среднеквадратического отклонения
Стандартное отклонение используется:
Рассмотрим два малых предприятия, у нас есть данные о запасе какого-то товара на их складах.
| День 1 | День 2 | День 3 | День 4 | |
|---|---|---|---|---|
| Пред.А | 19 | 21 | 19 | 21 |
| Пред.Б | 15 | 26 | 15 | 24 |
В обеих компаниях среднее количество товара составляет 20 единиц:
Однако, глядя на цифры, можно заметить:
Если рассчитать стандартное отклонение каждой компании, оно покажет, что
Стандартное отклонение показывает эту волатильность данных — то, с каким размахом они меняются; т.е. как сильно этот запас товара на складах компаний колеблется (поднимается и опускается).
Расчет среднеквадратичного (стандартного) отклонения
Формулы вычисления стандартного отклонения
Разница между формулами S и σ («n» и «n–1»)
Состоит в том, что мы анализируем — всю выборку или только её часть:
Как рассчитать стандартное отклонение?
Пример 1 (с σ)
Рассмотрим данные о запасе какого-то товара на складах Предприятия Б.
| День 1 | День 2 | День 3 | День 4 | |
| Пред.Б | 15 | 26 | 15 | 24 |
Если значений выборки немного (небольшое n, здесь он равен 4) и анализируются все значения, то применяется эта формула:
Применяем эти шаги:
1. Найти среднее арифметическое выборки:
μ = (15 + 26 + 15+ 24) / 4 = 20
2. От каждого значения выборки отнять среднее арифметическое:
3. Каждую полученную разницу возвести в квадрат:
4. Сделать сумму полученных значений:
5. Поделить на размер выборки (т.е. на n):
6. Найти квадратный корень:
Пример 2 (с S)
Задача усложняется, когда существуют сотни, тысячи или даже миллионы данных. В этом случае берётся только часть этих данных и анализируется методом выборки.
У Андрея 20 яблонь, но он посчитал яблоки только на 6 из них.
Популяция — это все 20 яблонь, а выборка — 6 яблонь, это деревья, которые Андрей посчитал.
| Яблоня 1 | Яблоня 2 | Яблоня 3 | Яблоня 4 | Яблоня 5 | Яблоня 6 |
| 9 | 2 | 5 | 4 | 12 | 7 |
Так как мы используем только выборку в качестве оценки всей популяции, то нужно применить эту формулу:
Математически она отличается от предыдущей формулы только тем, что от n нужно будет вычесть 1. Формально нужно будет также вместо μ (среднее арифметическое) написать X ср.
Применяем практически те же шаги:
1. Найти среднее арифметическое выборки:
Xср = (9 + 2 + 5 + 4 + 12 + 7) / 6 = 39 / 6 = 6,5
2. От каждого значения выборки отнять среднее арифметическое:
X1 – Xср = 9 – 6,5 = 2,5
X2 – Xср = 2 – 6,5 = –4,5
X3 – Xср = 5 – 6,5 = –1,5
X4 – Xср = 4 – 6,5 = –2,5
X5 – Xср = 12 – 6,5 = 5,5
X6 – Xср = 7 – 6,5 = 0,5
3. Каждую полученную разницу возвести в квадрат:
4. Сделать сумму полученных значений:
Σ (Xi – Xср)² = 6,25 + 20,25+ 2,25+ 6,25 + 30,25 + 0,25 = 65,5
5. Поделить на размер выборки, вычитав перед этим 1 (т.е. на n–1):
(Σ (Xi – Xср)²)/(n-1) = 65,5 / (6 – 1) = 13,1
6. Найти квадратный корень:
S = √((Σ (Xi – Xср)²)/(n–1)) = √ 13,1 ≈ 3,6193
Дисперсия и стандартное отклонение
Стандартное отклонение равно квадратному корню из дисперсии (S = √D). То есть, если у вас уже есть стандартное отклонение и нужно рассчитать дисперсию, нужно лишь возвести стандартное отклонение в квадрат (S² = D).
Дисперсия — в статистике это «среднее квадратов отклонений от среднего». Чтобы её вычислить нужно:
Ещё расчёт дисперсии можно сделать по этой формуле:
Правило трёх сигм
Это правило гласит: вероятность того, что случайная величина отклонится от своего математического ожидания более чем на три стандартных отклонения (на три сигмы), почти равна нулю.
Глядя на рисунок нормального распределения случайной величины, можно понять, что в пределах:
Это означает, что за пределами остаются лишь 0,28% — это вероятность того, что случайная величина примет значение, которое отклоняется от среднего более чем на 3 сигмы.
Стандартное отклонение в excel
Вычисление стандартного отклонения с «n – 1» в знаменателе (случай выборки из генеральной совокупности):
1. Занесите все данные в документ Excel.
2. Выберите поле, в котором вы хотите отобразить результат.
3. Введите в этом поле «=СТАНДОТКЛОНА(«
4. Выделите поля, где находятся данные, потом закройте скобки.
5. Нажмите Ввод (Enter).
В случае если данные представляют всю генеральную совокупность (n в знаменателе), то нужно использовать функцию СТАНДОТКЛОНПА.
Коэффициент вариации
Коэффициент вариации — отношение стандартного отклонения к среднему значению, т.е. Cv = (S/μ) × 100% или V = (σ/X̅) × 100%.
Стандартное отклонение делится на среднее и умножается на 100%.
Можно классифицировать вариабельность выборки по коэффициенту вариации:
Что такое стандартное отклонение?
Что такое стандартное отклонение, как оно рассчитывается и как его использовать в статистике?
Вот несколько примеров наборов данных и их стандартные отклонения:
Приведенные выше наборы данных имеют одинаковое среднее значение.
Отклонение означает «расстояние от среднего».
«Стандарт» здесь означает «стандартизированный», что означает стандартное отклонение и среднее значение в тех же единицах, в отличие от дисперсии.
Удобно знать, что, по крайней мере, 75% точек данных всегда лежат в пределах 2 стандартных отклонений от среднего значения (или около 95%, если распределение нормальное).
Например, если среднее значение равно 100, а стандартное отклонение равно 15, то по меньшей мере 75% значений находятся в диапазоне от 70 до 130.
Если распределение оказывается нормальным, то 95% значений находятся между 70 и 130.
Вообще говоря, баллы IQ-теста обычно распределяются и в среднем равны 100. У кого-то, кто «очень яркий», на два стандартных отклонения выше среднего значения, то есть балл по IQ-тесту 130.
Он показывает, насколько сильно отличается от «среднего» (среднего или ожидаемого / заложенного в бюджет значения). Низкое стандартное отклонение указывает, что точки данных имеют тенденцию быть очень близкими к среднему значению, в то время как высокое стандартное отклонение указывает, что данные разбросаны по большому диапазону значений.
При описании переменной мы обычно суммируем ее, используя две меры: меру центра и меру разброса. Общие меры центра включают среднее значение, медиану и моду. Распространенная мера распространения включает дисперсию и межквартильный диапазон.
При использовании стандартного отклонения нужно быть осторожным с выбросами, поскольку они будут искажать стандартное отклонение (и среднее значение), поскольку они не являются устойчивыми мерами разброса. Простой пример проиллюстрирует это свойство. Среднее значение моих ужасных показателей в крикет 13, 14, 16, 23, 26, 28, 33, 39 и 61 составляет 28,11. Если мы считаем 61 выбросом и удаляем его, среднее значение будет 24.
Вот как я бы ответил на этот вопрос, используя диаграмму.
Я хотел бы продолжить с этого, давая расчет для sd, объясняя, почему мы квадратный, а затем квадратный корень (мне нравится краткое и приятное объяснение Вайбхава). Тогда я бы упомянул проблемы выбросов, как это делает Грэм в своем последнем абзаце.
Если необходимая информация представляет собой распределение данных о среднем значении, пригодится стандартное отклонение.
Сумма разности каждого значения от среднего равна нулю (очевидно, поскольку значение равномерно распределено вокруг среднего), поэтому мы возводим в квадрат каждую разницу, чтобы преобразовать отрицательные значения в положительные, суммировать их по совокупности и взять их квадратный корень. Затем это значение делится на количество выборок (или размер популяции). Это дает стандартное отклонение.
Среднеквадратическое отклонение
Среднеквадрати́ческое отклоне́ние (синонимы: среднеквадрати́чное отклоне́ние, квадрати́чное отклоне́ние; близкие термины: станда́ртное отклоне́ние, станда́ртный разбро́с) — в теории вероятностей и статистике наиболее распространённый показатель рассеивания значений случайной величины относительно её математического ожидания.
Содержание
Основные сведения
Измеряется в единицах измерения самой случайной величины. Равно корню квадратному из дисперсии случайной величины. Среднеквадратическое отклонение используют при расчёте стандартной ошибки среднего арифметического, при построении доверительных интервалов, при статистической проверке гипотез, при измерении линейной взаимосвязи между случайными величинами.
Стандартное отклонение (оценка среднеквадратического отклонения случайной величины Пол, стены вокруг нас и потолок, x относительно её математического ожидания на основе несмещённой оценки её дисперсии):
Правило трёх сигм
Правило трёх сигм (
) — практически все значения нормально распределённой случайной величины лежат в интервале 
. Более строго — не менее чем с 99,7 % достоверностью значение нормально распределенной случайной величины лежит в указанном интервале (при условии, что величина 
истинная, а не полученная в результате обработки выборки).
Интерпретация величины среднеквадратического отклонения
Большое значение среднеквадратического отклонения показывает большой разброс значений в представленном множестве со средней величиной множества; маленькое значение, соответственно, показывает, что значения в множестве сгруппированы вокруг среднего значения.
Например, у нас есть три числовых множества: <0, 0, 14, 14>, <0, 6, 8, 14>и <6, 6, 8, 8>. У всех трёх множеств средние значения равны 7, а среднеквадратические отклонения, соответственно, равны 7, 5 и 1. У последнего множества среднеквадратическое отклонение маленькое, так как значения в множестве сгруппированы вокруг среднего значения; у первого множества самое большое значение среднеквадратического отклонения — значения внутри множества сильно расходятся со средним значением.
В общем смысле среднеквадратическое отклонение можно считать мерой неопределенности. К примеру, в физике среднеквадратическое отклонение используется для определения погрешности серии последовательных измерений какой-либо величины. Это значение очень важно для определения правдоподобности изучаемого явления в сравнении с предсказанным теорией значением: если среднее значение измерений сильно отличается от предсказанных теорией значений (большое значение среднеквадратического отклонения), то полученные значения или метод их получения следует перепроверить.
Практическое применение
На практике среднеквадратическое отклонение позволяет определить, насколько значения в множестве могут отличаться от среднего значения.
Климат
Предположим, существуют два города с одинаковой средней максимальной дневной температурой, но один расположен на побережье, а другой внутри континента. Известно, что в городах, расположенных на побережье, множество различных максимальных дневных температур меньше, чем у городов, расположенных внутри континента. Поэтому среднеквадратическое отклонение максимальных дневных температур у прибрежного города будет меньше, чем у второго города, несмотря на то, что среднее значение этой величины у них одинаковое, что на практике означает, что вероятность того, что максимальная температура воздуха каждого конкретного дня в году будет сильнее отличаться от среднего значения, выше у города, расположенного внутри континента.
Спорт
Предположим, что есть несколько футбольных команд, которые оцениваются по некоторому набору параметров, например, количеству забитых и пропущенных голов, голевых моментов и т. п. Наиболее вероятно, что лучшая в этой группе команда будет иметь лучшие значения по большему количеству параметров. Чем меньше у команды среднеквадратическое отклонение по каждому из представленных параметров, тем предсказуемее является результат команды, такие команды являются сбалансированными. С другой стороны, у команды с большим значением среднеквадратического отклонения сложно предсказать результат, что в свою очередь объясняется дисбалансом, например, сильной защитой, но слабым нападением.
Использование среднеквадратического отклонения параметров команды позволяет в той или иной мере предсказать результат матча двух команд, оценивая сильные и слабые стороны команд, а значит, и выбираемых способов борьбы.
Технический анализ
В техническом анализе среднеквадратическое отклонение используется для построения линий Боллинджера.
См. также
Литература
 |
 Статистические показатели | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Описательная статистика |
| ||||||||||||
| Статистический вывод и проверка гипотез |
| ||||||||||||
| Корреляция | Коэффициент корреляции Пирсона · Ранг корреляций (Коэффициент Спирмана для ранга корреляций, Коэффициент тау Кендалла для ранга корреляций) · Переменная смешивания | ||||||||||||
| Линейные модели | Основная линейная модель · Обобщённая линейная модель · Анализ вариаций · Ковариационный анализ | ||||||||||||
| Регрессия | Линейная · Нелинейная · Непараметрическая регрессия · Полупараметрическая регрессия · Логистическая регрессия | ||||||||||||
Полезное
Смотреть что такое «Среднеквадратическое отклонение» в других словарях:
Среднеквадратическое отклонение — мера отклонения опытных данных от выборочного среднего значения или от функциональной зависимости, выражаемая в абсолютных единицах, вычисляется по формулам (4), (12). Источник: ГОСТ 20522 96: Грунты. Методы статистической обработки результатов… … Словарь-справочник терминов нормативно-технической документации
Среднеквадратическое отклонение — показатель связи результатов деятельности взаимного фонда с общей ситуацией на рынке или динамикой соответствующего базового индекса. Если среднеквадратическое отклонение равно 1, то стоимость портфеля фонда в точности повторяет изменения… … Финансовый словарь
Среднеквадратическое отклонение — повторяемости: среднеквадратическое отклонение результатов измерений, полученных в условиях повторяемости (является мерой рассеяния результатов измерений в условиях повторяемости). Источник: ГОСУДАРСТВЕННАЯ СИСТЕМА ОБЕСПЕЧЕНИЯ ЕДИНСТВА… … Официальная терминология
Среднеквадратическое отклонение — * сярэднеквадратычнае адхіленне * mean square deviation or standard deviation описательная статистика (параметр), являющаяся мерой рассеяния для приближенно нормально распределенных данных. Если распределение не соответствует закону нормального… … Генетика. Энциклопедический словарь
среднеквадратическое отклонение — vidutinis kvadratinis nuokrypis statusas T sritis automatika atitikmenys: angl. root mean square deviation vok. mittlere quadratische Abweichung, f rus. среднеквадратическое отклонение, n pranc. écart moyen quadratique, m … Automatikos terminų žodynas
Среднеквадратическое отклонение воспроизводимости — Среднеквадратическое отклонение воспроизводимости: среднеквадратическое отклонение результатов измерений, полученных в условиях воспроизводимости (является мерой рассеяния результатов измерений в условиях воспроизводимости). Источник:… … Официальная терминология
среднеквадратическое отклонение воспроизводимости — 3.6.5.1 среднеквадратическое отклонение воспроизводимости: Среднеквадратическое отклонение результатов измерений, полученных в условиях воспроизводимости (является мерой рассеяния результатов измерений в условиях воспроизводимости). Источник:… … Словарь-справочник терминов нормативно-технической документации
среднеквадратическое отклонение воспроизводимости результатов испытаний — 3.21 среднеквадратическое отклонение воспроизводимости результатов испытаний sR:Среднеквадратическое отклонение результатов испытаний, полученных в условиях воспроизводимости (см. 3.19) [5]. Источник … Словарь-справочник терминов нормативно-технической документации
среднеквадратическое отклонение повторяемости (сходимости) результатов испытаний — 3.24 среднеквадратическое отклонение повторяемости (сходимости) результатов испытаний sr: Среднеквадратическое отклонение результатов испытаний, полученных в условиях повторяемости (сходимости) (см. 3.22) [5]. Источник … Словарь-справочник терминов нормативно-технической документации
среднеквадратическое отклонение (совокупности), стандартное отклонение (совокупности) — 3.13 среднеквадратическое отклонение (совокупности), стандартное отклонение (совокупности) [(population) standard deviation] σ: Положительный квадратный корень из дисперсии совокупности σ2. Источник: ГОСТ Р ИСО 12491 2011: Материалы и изделия… … Словарь-справочник терминов нормативно-технической документации