Что такое средняя величина доверительный интервал доверительная вероятность

Доверительная вероятность и доверительный интервал.

Вероятность того, что истинное значение измеряемой величины лежит внутри некоторого интервала, называется доверительной вероятностью, или коэффициентом надежности,а сам интервал — доверительным интервалом.

.

на так называемый коэффициент Стьюдента. Коэффициенты Стьюдента для ряда значений и n приведены в таблице.

Окончательно, для измеряемой величины y при заданной доверительной вероятности y и числе измерений n получается условие

Величину мы будем называть случайной погрешностьювеличины y.

Пример: см. лекцию №5 – ряд чисел.

При числе измерений – 45 и доверительной вероятности – 0,95 получим, что коэффициент Стьюдента приблизительно равен 2,15. Тогда доверительный интервал для данного ряда измерений равен 62,6.

Источником грубых погрешностей нередко бывают резкие изменения условий измерения и ошибки, допущенные оператором:

— неправильный отсчет по шкале измерительного прибора, происходящий из-за неверного учета цены малых делений шкалы;

— неправильная запись результата наблюдений, значений отдельных мер использованного набора, например, гирь;

— хаотические изменения параметров напряжения, питающего средства измерения, например, его амплитуды или частоты.

Источник

Доверительный интервал и доверительная вероятность

Для подавляющего большинства простых измерений достаточно хорошо выполняется так называемый нормальный закон случайных погрешностей (закон Гаусса), выведенный из следующих эмпирических положений.

1) погрешности измерений могут принимать непрерывный ряд значений;

2) при большом числе измерений погрешности одинаковой величины, но разного знака встречаются одинаково часто,

3) чем больше величина случайной погрешности, тем меньше вероятность ее появления.

, (2)

где — функция распределения случайных ошибок (погрешностей), характеризующая вероятность появления ошибки , σ – средняя квадратичная ошибка.

Величина σ не является случайной величиной и характеризует процесс измерений. Если условия измерений не изменяются, то σ остается постоянной величиной. Квадрат этой величины называют дисперсией измерений. Чем меньше дисперсия, тем меньше разброс отдельных значений и тем выше точность измерений.

Точное значение средней квадратичной ошибки σ, как и истинное значение измеряемой величины, неизвестно. Существует так называемая статистическая оценка этого параметра, в соответствии с которой средняя квадратичная ошибка равняется средней квадратичной ошибке среднего арифметического . Величина которой определяется по формуле

, (3)

где — результат i-го измерения; — среднее арифметическое полученных значений; n – число измерений.

Чем больше число измерений, тем меньше и тем больше оно приближается к σ. Если истинное значение измеряемой величины μ, ее среднее арифметическое значение, полученное в результате измерений , а случайная абсолютная погрешность , то результат измерений запишется в виде .

Интервал значений от до , в который попадает истинное значение измеряемой величины μ, называется доверительным интервалом. Поскольку является случайной величиной, то истинное значение попадает в доверительный интервал с вероятностью α, которая называется доверительной вероятностью, или надежностью измерений. Эта величина численно равна площади заштрихованной криволинейной трапеции. (см. рис.)

Все это справедливо для достаточно большого числа измерений, когда близка к σ. Для отыскания доверительного интервала и доверительной вероятности при небольшом числе измерений, с которым мы имеем дело в ходе выполнения лабораторных работ, используется распределение вероятностей Стьюдента. Это распределение вероятностей случайной величины , называемой коэффициентом Стьюдента, дает значение доверительного интервала в долях средней квадратичной ошибки среднего арифметического .

. (4)

Функция распределения табулирована (табл.1). Значение коэффициента Стьюдента находится на пересечении строки, соответствующей числу измерений n, и столбца, соответствующего доверительной вероятности α

Таблица 1.

Пользуясь данными таблицы, можно:

1) определить доверительный интервал, задаваясь определенной вероятностью;

2) выбрать доверительный интервал и определить доверительную вероятность.

При косвенных измерениях среднюю квадратичную ошибку среднего арифметического значения функции вычисляют по формуле

. (5)

Доверительный интервал и доверительная вероятность определяются так же, как и в случае прямых измерений.

Источник

Доверительные интервалы и доверительная вероятность

Точечные оценки имеют тот недостаток, что по ним нельзя судить о точности полученных оценок. Поэтому возникает задача определения на основании выборочных значений такого интервала, который покрывал бы неизвестной значение параметра с заданной вероятностью.

В отличие от точечной оценки, интервальная оценка позволяет получить вероятностную характеристику точности оцениваемого параметра.

Выборочные параметры являются случайными величинами, их отклонения от генеральных (т.е. погрешности их определения) также будут случайными. Оценка этих отклонений носит вероятностный характер – можно лишь указать вероятность той или иной погрешности. Для этого в математической статистике пользуются доверительными интервалами и доверительными вероятностями.

Доверительный интервал – интервал, который с заданной вероятностью накроет неизвестное значение оцениваемого параметра распределения.

Доверительная вероятность – вероятность того, что доверительный интервал накроет действительное значение параметра, оцениваемого по выборочным данным.

Оценивание с помощью доверительного интервала – способ оценки, при котором с заданной доверительной вероятностью устанавливают границы доверительного интервала.

Пусть для генерального параметра a получена из опыта несмещенная оценка a*. Нужно оценить возможную при этом ошибку. Назначим достаточно большую вероятность β – такую, что событие с этой вероятностью можно считать практически достоверным, и найдем такое значение ε для которого

(5.8.1)

называемой уровнем значимости или риском. Уровень значимости часто выражают в процентах. Иначе формулу ( (5.8.1* ) можно интерпретировать как вероятность того, что истинное значение параметра а лежит в пределах

Вероятность β называется доверительной вероятностью, доверительным уровнем или надежностью, т.к. она характеризует надежность полученной оценки.

Интервал называется доверительным интервалом. Границы интервала и доверительными границами. Доверительный интервал при данной доверительной вероятности определяет точность оценки параметра.

При этом отметим следующее. Ранее мы рассматривали вероятность попадания случайной величины на заданный (неслучайный) интервал. В данном случае дело обстоит иначе: величина ане случайна, зато случаен интервал I _b . Случайно его положение на числовой прямой, определяемое его центром а * , случайна и длина интервала 2 e, так как величина e вычисляется, как правило, по опытным данным, т.е. по результатам эксперимента. Поэтому в рассматриваемом случае удобно толковать интервал I как вероятность того, что случайный интервал I _b накроет величину а.

Величина доверительного интервала зависит от доверительной вероятности, с которой гарантируется нахождение параметра внутри доверительного интервала: чем больше величина β, тем больше и ε (т.е. с чем большей вероятностью мы хотим гарантировать полученный результат, тем в большем интервале он должен находиться).

Увеличение числа опытов проявляется в сокращении доверительного интервала при постоянной доверительной вероятности или в повышении доверительной вероятности при сохранении доверительного интервала.

ППри построении доверительного интервала решается задача об абсолютном отклонении:

(5.8.2.)

Таким образом, если известен закон распределения оценки a*, то задача определения доверительного интервала решается довольно просто.

Рассмотрим построение доверительного интервала для математического ожидания нормально распределенной случайной величины с известным генеральным стандартом σ_х.

Понятие генерального стандарта тесно связано с понятием точности прибора. Класс точности прибора – это выраженная в процентах относительная предельная погрешность измерения величины, равной пределу измерения прибора. В измерительной технике в большинстве отраслей промышленности под предельной погрешностью понимается величина, равная двум среднеквадратическим отклонениям

Пусть имеется выборка объема n значений случайной величины. Оценкой m_x является среднее выборки:

Для построения доверительного интервала необходимо знать распределение этой оценки. Для выборок из генеральной совокупности, распределенной нормально можно показать, что также имеет нормальное распределение с математическим ожиданием m_x и средним квадратическим отклонением . Тогда

. (5.8.3.)

Задавшись доверительной вероятностью, определим по таблице значение функции Лапласа . Тогда доверительный интервал для математического ожидания будет иметь вид

или

Из оценки видно, что уменьшение доверительного интервала обратно пропорционально квадратному корню из числа наблюдений. Следовательно, если надо уменьшить возможную ошибку в два раза надо увеличить число наблюдений в 4 раза.

Если закон распределения оценки не известен, то в математической статистике применяют обычно два метода:

1) приближенный – при n более 50 заменяют неизвестные параметры их оценками;

2) от случайной величины a * переходят к другой случайной величине, закон распределения которой не зависит от оцениваемого параметра а, а зависит только от объема выборки n и от вида распределения величины Х. Такого рода величины наиболее подробно изучены для нормального закона. В качестве доверительных границ берут симметричные квантили

,

Если выразить через р,

.

На практике, как правило, число измерений конечно и не превышает 10…30. При малом числе измерений фактическая дисперсия неизвестна, поэтому для построения доверительного интервала математического ожидания используют выборочную дисперсию и приведенную случайную величину:

t – случайная величина, имеющая распределение, отличное от нормального, зависящее от числа степеней свободы(t – распределение или распределение Стьюдента). При больших значениях n распределение Стьюдента приближается к стандартному нормальному распределению. И, по аналогии, получаем построение доверительного интервала

Дата добавления: 2020-12-22 ; просмотров: 702 ; Мы поможем в написании вашей работы!

Источник

Способы расчета доверительного интервала

Часто оценщику приходится анализировать рынок недвижимости того сегмента, в котором располагается объект оценки. Если рынок развит, проанализировать всю совокупность представленных объектов бывает сложно, поэтому для анализа используется выборка объектов. Не всегда эта выборка получается однородной, иногда требуется очистить ее от экстремумов – слишком высоких или слишком низких предложений рынка. Для этой цели применяется доверительный интервал. Цель данного исследования – провести сравнительный анализ двух способов расчета доверительного интервала и выбрать оптимальный вариант расчета при работе с разными выборками в системе estimatica.pro.

Способы расчета доверительного интервала

Доверительный интервал – вычисленный на основе выборки интервал значений признака, который с известной вероятностью содержит оцениваемый параметр генеральной совокупности.

Смысл вычисления доверительного интервала заключается в построении по данным выборки такого интервала, чтобы можно было утверждать с заданной вероятностью, что значение оцениваемого параметра находится в этом интервале. Другими словами, доверительный интервал с определенной вероятностью содержит неизвестное значение оцениваемой величины. Чем шире интервал, тем выше неточность.

Существуют разные методы определения доверительного интервала. В этой статье рассмотрим 2 способа:

Этапы сравнительного анализа разных способов расчета ДИ:

1. формируем выборку данных;

2. обрабатываем ее статистическими методами: рассчитываем среднее значение, медиану, дисперсию и т.д.;

3. рассчитываем доверительный интервал двумя способами;

4. анализируем очищенные выборки и полученные доверительные интервалы.

Этап 1. Выборка данных

Выборка сформирована с помощью системы estimatica.pro. В выборку вошло 91 предложение о продаже 1 комнатных квартир в 3-ем ценовом поясе с типом планировки «Хрущевка».

Таблица 1. Исходная выборка

Источник

Когда нам нужно получить одно число в качестве оценки параметра совокупности, мы используем точечную оценку. Тем не менее, из-за ошибки выборки, точечная оценка не будет в точности равняться параметру совокупности при любом размере данной выборки.

Часто, вместо точечной оценки, более полезным подходом будет найти диапазон значений, в рамках которого, как мы ожидаем, может находится значение искомого параметра с заданным уровнем вероятности.

Этот подход называется интервальной оценкой параметра (англ. ‘interval estimate of parameter’), а доверительный интервал выполняет роль этого диапазона значений.

Определение доверительного интервала.

Конечные значения доверительного интервала называются нижним и верхним доверительными пределами (или доверительными границами или предельной погрешностью, англ. ‘lower/upper confidence limits’).

Кроме того, можно определить два типа односторонних доверительных интервалов для параметра совокупности.

Нижний односторонний доверительный интервал устанавливает только нижний предел. Это означает допущение, что с определенной степенью доверия параметр совокупности равен или превышает нижний предел.

Верхний односторонний доверительный интервал устанавливает только верхний предел. Это означает допущение, что с определенной степенью доверия параметр совокупности меньше или равен верхнему пределу.

Инвестиционные аналитики редко используют односторонние доверительные интервалы.

Доверительные интервалы часто дают либо вероятностную интерпретацию, либо практическую интерпретацию.

При вероятностной интерпретации, мы интерпретируем 95%-ный доверительный интервал для среднего значения совокупности следующим образом.

При повторяющейся выборке, 95% таких доверительных интервалов будут, в конечном счете, включать в себя среднее значение совокупности.

Например, предположим, что мы делаем выборку из совокупности 1000 раз, и на основании каждой выборки мы построим 95%-ный доверительный интервал, используя вычисленное выборочное среднее.

Из-за случайного характера выборок, эти доверительные интервалы отличаются друг от друга, но мы ожидаем, что 95% (или 950) этих интервалов включают неизвестное значение среднего по совокупности.

На практике мы обычно не делаем такие повторяющиеся выборки. Поэтому в практической интерпретации, мы утверждаем, что мы 95% уверены в том, что один 95%-ный доверительный интервал содержит среднее по совокупности.

Мы вправе сделать это заявление, потому что мы знаем, что 95% всех возможных доверительных интервалов, построенных аналогичным образом, будут содержать среднее по совокупности.

Доверительные интервалы, которые мы обсудим в этом чтении, имеют структуры, подобные описанной ниже базовой структуре.

Построение доверительных интервалов.

Точечная оценка \(\pm\) Фактор надежности \(\times\) Стандартная ошибка

Самый базовый доверительный интервал для среднего значения по совокупности появляется тогда, когда мы делаем выборку из нормального распределения с известной дисперсией. Фактор надежности в данном случае на основан стандартном нормальном распределении, которое имеет среднее значение, равное 0 и дисперсию 1.

Стандартная нормальная случайная величина обычно обозначается как \(Z\). Обозначение \(z_\alpha \) обозначает такую точку стандартного нормального распределения, в которой \(\alpha\) вероятности остается в правом хвосте.

Например, 0.05 или 5% возможных значений стандартной нормальной случайной величины больше, чем \( z_ <0.05>= 1.65 \).

Предположим, что мы хотим построить 95%-ный доверительный интервал для среднего по совокупности, и для этой цели, мы сделали выборку размером 100 из нормально распределенной совокупности с известной дисперсией \(\sigma^2\) = 400 (значит, \(\sigma\) = 20).

Мы рассчитываем выборочное среднее как \( \overline X = 25 \). Наша точечная оценка среднего по совокупности, таким образом, 25.

Если мы перемещаем 1.96 стандартных отклонений выше среднего значения нормального распределения, то 0.025 или 2.5% вероятности остается в правом хвосте. В силу симметрии нормального распределения, если мы перемещаем 1.96 стандартных отклонений ниже среднего, то 0.025 или 2.5% вероятности остается в левом хвосте.

В общей сложности, 0.05 или 5% вероятности лежит в двух хвостах и 0.95 или 95% вероятности лежит между ними.

Стандартная ошибка среднего значения выборки, заданная Формулой 1, равна:

Доверительный интервал, таким образом, имеет нижний предел:

Верхний предел доверительного интервала равен:

\( \overline X + 1.96\sigma_ <\overline X>\) = 25 + 1.96(2) = 25 + 3.92 = 28.92

95%-ный доверительный интервал для среднего по совокупности охватывает значения от 21.08 до 28.92.

Доверительные интервалы для среднего по совокупности (нормально распределенная совокупность с известной дисперсией).

\( \Large \dst \overline X \pm z_<\alpha /2> <\sigma \over \sqrt n>\) (Формула 4)

Факторы надежности для наиболее часто используемых доверительных интервалов приведены ниже.

Факторы надежности для доверительных интервалов на основе стандартного нормального распределения.

Мы используем следующие факторы надежности при построении доверительных интервалов на основе стандартного нормального распределения:

На практике, большинство финансовых аналитиков используют значения для \(z_<0.05>\) и \(z_<0.005>\), округленные до двух знаков после запятой.

Для справки, более точными значениями для \(z_<0.05>\) и \(z_<0.005>\) являются 1.645 и 2.575, соответственно.

Для быстрого расчета 95%-ного доверительного интервала \(z_<0.025>\) иногда округляют 1.96 до 2.

Эти факторы надежности подчеркивают важный факт о всех доверительных интервалах. По мере того, как мы повышаем степень доверия, доверительный интервал становится все шире и дает нам менее точную информацию о величине, которую мы хотим оценить.

«Чем уверенней мы хотим быть, тем меньше мы должны быть уверены»

см. Freund и Williams (1977), стр. 266.

На практике, допущение о том, что выборочное распределение выборочного среднего, по меньшей мере, приблизительно нормальное, часто является обоснованным, либо потому, что исходное распределение приблизительно нормальное, либо потому что мы имеем большую выборку и поэтому к ней применима центральная предельная теорема.

Однако, на практике, мы редко знаем дисперсию совокупности. Когда дисперсия генеральной совокупности неизвестна, но выборочное среднее, по меньшей мере, приблизительно нормально распределено, у нас есть два приемлемых пути чтобы вычислить доверительные интервалы для среднего значения совокупности.

Вскоре мы обсудим более консервативный подход, который основан на t-распределении Стьюдента (t-распределение, для краткости).

В финансовой литературе, это наиболее часто используемый подход для статистической оценки и проверки статистических гипотез, касающихся среднего значения, когда дисперсия генеральной совокупности не известна, как для малого, так и для большого размер выборки.

В отличии от доверительного интервала, приведенного в Формуле 4, этот доверительный интервал использует стандартное отклонение выборки \(s\) при вычислении стандартной ошибки выборочного среднего (по Формуле 2).

\( \Large \dst \overline X \pm z_<\alpha /2> \) (Формула 5)

Поскольку этот тип доверительного интервала применяется довольно часто, мы проиллюстрируем его вычисление в Примере 4.

Пример (4) расчета доверительного интервала для среднего по совокупности коэффициентов Шарпа с использованием z-статистики.

Предположим, что инвестиционный аналитик делает случайную выборку акций взаимных фондов США и рассчитывает средний коэффициент Шарпа.

Размер выборки равен 100, а средний коэффициент Шарпа составляет 0.45. Выборка имеет стандартное отклонение 0.30.

Рассчитайте и интерпретируйте 90-процентный доверительный интервал для среднего по совокупности всех акций взаимных фондов США с использованием фактора надежности на основе стандартного нормального распределения.

Фактор надежности для 90-процентного доверительного интервала, как указано ранее, составляет \( z_ <0.05>= 1.65 \).

Доверительный интервал будет равен:

Доверительный интервал охватывает значения 0.4005 до 0.4995, или от 0.40 до 0.50, с округлением до двух знаков после запятой. Аналитик может сказать с 90-процентной уверенностью, что интервал включает среднее по совокупности.

В этом примере аналитик не делает никаких конкретных предположений о распределении вероятностей, характеризующем совокупность. Скорее всего, аналитик опирается на центральную предельную теорему для получения приближенного нормального распределения для выборочного среднего.

Как показывает Пример 4, даже если мы не уверены в характере распределения совокупности, мы все еще можем построить доверительные интервалы для среднего по совокупности, если размер выборки достаточно большой, поскольку можем применить центральную предельную теорему.

Концепция степеней свободы.

Обратимся теперь к консервативной альтернативе и используем t-распределение Стьюдента, чтобы построить доверительные интервалы для среднего по совокупности, когда дисперсия генеральной совокупности не известна.

Для доверительных интервалов на основе выборок из нормально распределенных совокупностей с неизвестной дисперсией, теоретически правильный фактор надежности основан на t-распределении. Использование фактора надежности, основанного на t-распределении, имеет важное значение для выборок небольшого размера.

Применение фактора надежности \(t\) уместно, когда дисперсия генеральной совокупности неизвестна, даже если у нас есть большая выборка и мы можем использовать центральную предельную теорему для обоснования использования фактора надежности \(z\). В этом случае большой выборки, t-распределение обеспечивает более консервативные (широкие) доверительные интервалы.

t-распределение является симметричным распределением вероятностей и определяется одним параметром, известным как степени свободы (DF, от англ. ‘degrees of freedom’). Каждое значение для числа степеней свободы определяет одно распределение в этом семействе распределений.

Далее мы сравним t-распределения со стандартным нормальным распределением, но сначала мы должны понять концепцию степеней свободы. Мы можем сделать это путем изучения расчета выборочной дисперсии.

Каким образом использование выборочного среднего влияет на количество наблюдений, отобранных независимо, для формулы выборочной дисперсии?

При выборке размера 10 и среднем значении в 10%, к примеру, мы можем свободно отобрать только 9 наблюдений. Независимо от отобранных 9 наблюдений, мы всегда можем найти значение для 10-го наблюдения, которое дает среднее значение, равное 10%. С точки зрения формулы выборочной дисперсии, здесь есть 9 степеней свободы.

Концепция степеней свободы часто применяется в финансовой статистике, и вы встретите ее в последующих чтениях.

t-распределение Стьюдента.

Предположим, что мы делаем выборку из нормального распределения.

Коэффициент \(t\) не является нормальным, поскольку представляет собой отношение двух случайных величин, выборочного среднего и стандартного отклонения выборки.

Определение стандартной нормальной случайной величины включает в себя только одну случайную величину, выборочное среднее. По мере увеличения степеней свободы, однако, t-распределение приближается к стандартному нормальному распределению.

На Рисунке 1 показано стандартное нормальное распределение и два t-распределения, одно с DF = 2 и одно с DF = 8.

Из трех распределений, показанных на Рисунке 1, стандартное нормальное распределение имеет хвосты, которые стремятся к нулю быстрее, чем хвосты двух t-распределений. t-распределение симметрично распределено вокруг среднего нулевого значения, так же как и нормальное распределение.

По мере увеличения степеней свободы, t-распределение приближается к стандартному нормальному распределению. t-распределение с DF = 8 ближе к стандартному нормальному, чем t-распределение с DF = 2.

Помимо области плюс и минус четырех стандартных отклонений от среднего значения, остальная область под стандартным нормальным распределением, как представляется, близка к 0. Однако, оба t-распределения содержать некоторую площадь под каждой кривой за пределом четырех стандартных отклонений.

t-распределения имеют более толстые хвосты, но хвосты t-распределения Стьюдента с DF = 8 сильнее напоминают хвосты нормального распределения. По мере увеличения степеней свободы, хвосты распределения Стьюдента становятся менее толстыми.

Для часто используемых значений распределения Стьюдента составлены таблицы. Например, для каждой степени свободы \(t_<0.10>\), \(t_<0.05>\), \(t_<0.025>\), \(t_<0.01>\) и \(t_<0.005>\) значения будут такими, что соответственно, 0.10, 0.05, 0.025, 0.01 и 0.005 вероятности останется в правом хвосте для заданного числа степеней свободы.

Приведем форму доверительных интервалов для среднего по совокупности, используя распределение Стьюдента.

Если мы делаем выборку из генеральной совокупности с неизвестной дисперсией и соблюдается одно из перечисленных ниже условий:

\( \Large \dst \overline X \pm t_<\alpha /2> \) (Формула 6)

Пример 5 использует данные Примера 4, но применяет t-статистику, а не z-статистику, чтобы рассчитать доверительный интервал для среднего значения совокупности коэффициентов Шарпа.

Пример (5) расчета доверительного интервала для среднего по совокупности коэффициентов Шарпа с использованием t-статистики.

Как и в Примере 4, инвестиционный аналитик стремится вычислить 90-процентный доверительный интервал для среднего по совокупности коэффициентов Шарпа, основанных на случайной выборке из 100 взаимных фондов США.

Теперь, признав, что дисперсия генеральной совокупности распределения коэффициентов Шарпа неизвестна, аналитик решает вычислить доверительный интервал, используя теоретически правильную t-статистику.

Поскольку размер выборки равен 100, DF = 99. Используя таблицу степеней свободы, мы находим, что \(t_<0.05>\) = 1.66.

Этот фактор надежности немного больше, чем фактор надежности \(z_<0.05>\) = 1.65, который был использован в Примере 4.

Доверительный интервал будет:

Доверительный интервал охватывает значения 0.4002 до 0.4998, или 0.40 до 0.50, с двумя знаками после запятой. При округлении до двух знаков после запятой, доверительный интервал не изменился по сравнению с Примером 4.

В Таблице 3 приведены различные факторы надежности, которые мы использовали.

Статистика для выборки малого размера

Статистика для выборки большого размера

Нормальное распределение с известной дисперсией

Нормальное распределение с неизвестной дисперсией

Ненормальное распределение с известной дисперсией

Ненормальное распределение с неизвестной дисперсией

Источник

• ← Что такое обстоятельство в русском как подчеркивается
• Что такое неваляшка в другом смысле →