Что такое мультиколлинеарность к чему она приводит

Мультиколлинеарность

Коэффициенты интеркорреляции (т. е. сила связи между объясняющими переменными) позволяют исключить из модели регрессии дублирующие факторы. Две переменных явно коллинеарны, когда они находятся между собой в линейной зависимости, если коэффициент корреляции > 0,7.

Поскольку одним из условий нахождения уравнения множественной регрессии является независимость действия факторов, коллинеарность факторов нарушает это условие. Если факторы модели коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии.

Предпочтение в эконометрике отдается не фактору, более сильно связанному с результатом, а фактору, который при сильной связи с результатом имеет наименьшую тесноту связи с другими факторами. Т.е. коэффициент корреляции между факторами меньше 0,3 или, в идеале, близок к нулю. В этом условии проявляется специфика множественной регрессии как метода исследования комплексного влияния факторов на результат в условиях их независимости друг от друга.

Матрица парных коэффициентов корреляции

Пусть, например, при изучении зависимости у = f(x, z, v) матрица парных коэффициентов корреляции оказалась следующей:

Факторы х и z дублируют друг друга, т.к. связь между ними сильная (больше 0,7). В анализ нужно включить фактор z, а не х, так как корреляция z с результатом у слабее, чем корреляция фактора х с у, но значительно слабее межфакторная связь Rzv

Источник

Мультиколлинеарность

Мультиколлинеарность (multicollinearity) — в эконометрике (регрессионный анализ) — наличие линейной зависимости между независимыми переменными (факторами) регрессионной модели. При этом различают полную коллинеарность, которая означает наличие функциональной (тождественной) линейной зависимости и частичную или просто мультиколлинеарность — наличие сильной корреляции между факторами.

Полная коллинеарность приводит к неопределенности параметров в линейной регрессиионной модели независимо от методов оценки. Рассмотрим это на примере следующей линейной модели

Пусть факторы этой модели тождественно связаны следующим образом: . Тогда рассмотрим исходную линейную модель, в которой к первому коэффициенту добавим произвольное число a, а из двух других коэффициентов это же число вычтем. Тогда имеем (без случайной ошибки):

Таким образом, несмотря на относительно произвольное изменение коэффициентов модели мы получили ту же модель. Такая модель принципиально неидентифицируема. Неопределенность существует уже в самой модели. Если рассмотреть 3-мерное пространство коэффициентов, то в этом пространстве вектор истинных коэффициентов в данном случае не единственный, а представляет собой целую прямую линию! Любая точка этой прямой — истинный вектор коэффициентов.

В связи с этим проблема полной коллинеарности факторов решается уже на стадии отбора переменных при моделировании и поэтому к проблеме качества эконометрических оценок параметров отношения не имеет. На практике чаще возникает другая ситуация — сильная корреляция между факторами.

Содержание

Последствия мультиколлинеарности

Если полная коллинеарность приводит к неопределенности значений параметров, то частичная мультиколлинеарность приводит к неустойчивости их оценок. Неустойчивость выражается в увеличении статистической неопределенности — дисперсии оценок. Это означает, что конкретные результаты оценки могут сильно различаться для разных выборок несмотря на то, что выборки однородны.

Как известно ковариационная матрица оценок параметров множественной регрессии методом наименьших квадратов равна . Тем самым чем «меньше» ковариационная матрица (ее определитель), тем «больше» ковариационная матрица оценок параметров, и, в частности, больше диагональные элементы этой матрицы, то есть дисперсии оценок параметров. Для большей наглядности рассмотрим это на примере двухфакторной модели:

Тогда дисперсия оценки параметра, например, при первом факторе равна:

где — выборочный коэффициент корреляции между факторами.

Здесь наглядно видно, что чем больше по модулю корреляция между факторами, тем больше дисперсия оценок параметров. При (полная коллинеарность) дисперсия стремится к бесконечности, что соответствует сказанному ранее.

Таким образом, оценки параметров получаются неточными, а значит сложно будет дать интерпретацию влияния тех или иных факторов на объясняемую переменную. При этом на качество модели в целом мультиколлинеарность не сказывается — она может признаваться статистически значимой, даже тогда, когда все коэффициенты незначимы (это один из признаков мультиколлинеарности).

Обнаружение мультиколлинеарности

Косвенными признаками мультиколлинеарности являются высокие стандартные ошибки оценок параметров модели, малые t-статистики (то есть назначимость коэффициентов), неправильные знаки оценок, при том, что модель в целом признается статистически значимой (большое значение F-статистики). О мультиколлинеарности также может свидетельствовать сильное изменение оценок параметров от добавления (или удаления) выборочных данных (если соблюдены требования достаточной однородности выборки).

Для обнаружения мультиколлинеарности факторов можно проанализировать непосредственно корреляционную матрицу факторов. Уже наличие больших по модулю (выше 0,7-0,8) значений коэффициентов парной корреляции свидетельствует о возможных проблемах с качеством получаемых оценок.

Однако, анализ парных коэффициентов корреляции недостаточен. Необходимо проанализировать коэффициенты детерминации регрессий факторов на остальные факторы (). Рекомендуется рассчитывать показатель . Слишком высокие значения последнего означают наличие мультиколлинеарности.

Способы решения проблемы мультиколлинеарности

Метод главных компонент

Применение метода главных компонент к факторам модели позволяет преобразовать исходные факторы и получить совокупность ортогональных (некоррелированных) факторов. При этом наличие мультиколлинеарности позволит ограничится небольшим количеством главных компонент. Тем не менее, может возникнуть проблема содержательной интерпретации главных компонент.

‘УЧЁТ ЗНАКОВ КОЭФФИЦИЕНТОВ КОРРЕЛЯЦИИ»» В линейных моделях коэффициенты корреляции между параметрами могут быть положительными и отрицательными. В первом случае увеличение одного параметра сопровождается увеличением и другого параметра. Во втором случае при повышении одного параметра происходит снижение другого. Исходя из этого, можно установить допустимую и недопустимую мультиколлинеарность. Недопустимая мультиколлинеарность будет тогда, когда между факторами 1 и 2 существует значительная положительная корреляция и при этом влияние каждого фактора на корреляционную связь с функцией у однонаправленное, то есть увеличение обоих факторов 1 и 2 ведёт к увеличению или снижению функции у: ry1/ ry2 > 0. Другими словами, оба фактора действуют на функцию у одинаково и значительная положительная корреляция между ними может позволить исключить один из них. Допустимая мультиколлинеарность такова, при которой факторы действуют на функцию у неодинаково. Здесь возможны два случая: а) при значительной положительной корреляции между факторами влияние каждого фактора на корреляционную связь с функцией у разнонаправленное, т.е. увеличение одного фактора ведёт к росту функции у (ry1> 0), а увеличение другого фактора приводит к уменьшению функции у (ry2 Рекурсивный МНК

Ридж-регрессия

Ридж-регрессия или гребневая регрессия предполагает оценку параметров по следующей формуле:

Добавление параметра решает проблему плохой обусловленности матрицы . Эти оценки смещены, в отличие от МНК-оценок. Однако доказано, что существует такое , при котором эти оценки более эффективны, чем оценки МНК (МНК наиболее эффективны среди несмещенных оценок). Тем не менее, четких правил выбора этого параметра нет.

Источник

Как выявить мультиколлинеарность

Вы будете перенаправлены на Автор24

Понятие мультиколлинеарности

Мультиколлинеарность – это наличие зависимости между линейными объясняющими факторами.

По сути, это регрессионный анализ, представляющий собой метод статистического анализа одной или более величин, оказывающих влияние на другую величину. Влияние оказывают независимые переменные или предикторы, а под влияние попадают критериальные или зависимые переменные. Стоит отметить, что регрессионная зависимость показывает только математическую взаимосвязь величин, но не описывает ее причину и следствие.

Регрессионный анализ применяется для оценки степени устойчивости связи между независимыми и зависимыми переменными, позволяет измерить зависимую величину через независимую, а также оценить степень влияния одних величин на изменчивость других.

Мультиколлинеарность бывает двух видов:

Коллинеарность полного типа всегда приводит к неопределенности всех рассматриваемых величин. То есть, внесение дополнительных коэффициентов все равно приведет к формированию того же результата, что и без их использования. Такую модель сложно идентифицировать, так как в ней уже присутствует неопределенность. Именно поэтому, проблему коллинеарности полного типа решают еще на этапе подбора рассматриваемых параметров. То есть, неточный результат будет связан с неправильным подбором изначальных переменных. Однако, сильная зависимость между факторами неизбежна.

Совершенная и несовершенная мультиколлинеарность

Проблемы возникают тогда, когда мультиколлинеарность возникает при множественной регрессии. В этом случае она становится совершенной, так как имеет бесконечное множество решений. Конечные коэффициенты зависимости параметров друг от друга определить становится невозможным. Совершенная мультиколлинеарность – это идеальная модель, в которой невозможно выявить влияние тех или иных факторов на конечный результат. Для совершенной мультиколлинеарности характерна строгая функциональная связь.

Готовые работы на аналогичную тему

В практических примерах чаще всего встречается несовершенная мультиколлинеарность, которая проявляется в очень тесной связи между переменными. Коэффициент связи имеет очень большие значения между рассматриваемыми переменными. Если его значение близко к единице, то говорят о почти совершенной мультиколлинеарности. Явление мультиколлинеарности говорит о том, что в модели очень сложно разделить степень влияния отдельных факторов на исследуемую переменную. Этот вывод хорошо демонстрирует диаграмма Венна:

Рисунок 1. Диаграмма Венна. Автор24 — интернет-биржа студенческих работ

Выявление мультиколлинеарности сказывается на точности исследуемой модели. Метод наименьших квадратов дает достаточно высокие показатели несмещенности линейной зависимости, даже при незначительной величине статистических коэффициентов. Но несмещенность свидетельствует о том, что необходимо проводить многократные исследования, которые будут перемещать величины к их истинным значениям. Такой подход при изучении экономических зависимостей неэффективен, так как хозяйственные связи динамичны. Наличие мультиколлинеарности ведет к следующим последствиям:

Таким образом, мультиколлинеарность говорит исследователю о том, что параметр подвергается влиянию факторов, но вычленить степень их отдельного влияния на него практически невозможно.

Признаки мультиколлинеарности

Выявление мультиколлинеарности происходит по следующим признакам:

Еще одним методом определения мультиколлинеарности можно назвать наличие линейной объясняющей переменной, которая объясняет другие переменные.

Источник

Что такое мультиколлинеарность к чему она приводит

В современных условиях количество данных, на основании которых принимаются важные решения, непрерывно растет, однако увеличение количества данных не сопровождается соответствующим увеличением объема количества полезной информации. Огромные объемы данных часто имеют лишь небольшой информационный контент, а это означает, что высока информационная избыточность. В случае с моделью линейной регрессии мультиколлинеарность можно интерпретировать как тип избыточности. К мультиколлинеарности приводит нарушение одной из предпосылок метода наименьших квадратов (МНК), а именно предпосылки на матрицу регрессоров:

где k – число столбцов матрицы регрессоров. Негативные последствия, к которым приводит мультиколлинеарность, хорошо известны [1, 2]. Мультиколлинеарность не только приводит к неустойчивым оценкам регрессионных коэффициентов, но и вызывает некоторые серьезные проблемы в валидации и интерпретации модели.

Существуют различные методы тестирования уровня мультиколлинеарности и ее устранения [1, 3]. Успех методов, используемых для уменьшения или устранения отрицательных эффектов мультиколлинеарности, во многом зависит от степени распознавания мультиколлинеарности. Выбор метода основывается на содержательной постановке задачи и на возможностях используемых компьютерных программ. В задачах, где целью моделирования является выявление раздельного влияния факторов на зависимую переменную, устранение мультиколлинеарности выполняют методами, в основе которых лежит сокращение числа регрессоров. В задачах прогнозирования устранение мультиколлинеарности возможно также за счет их преобразования (компонентный анализ, ридж регрессия).

Материалы и методы исследования

Свободно распространяемая статистическая среда R [4] объединяет язык программирования высокого уровня и библиотеки программных модулей (пакетов) для обработки данных. Постоянно происходит увеличение количества библиотек. Это привело к возникновению распределенной системы хранения и распространения пакетов R, то есть «CRAN» (от «Comprehensive R Archive Network») [5]. Для обнаружения мультиколлинеарности среди регрессоров R-пакеты предоставляют несколько диагностических мер для оценки мультиколлинеарности. В этой работе будет представлен анализ инструментов языка программирования R, направленных на решение проблемы выявления мультиколлинеарности данных. Для сравнительного анализа используются смоделированные данные. Описание данных [1]: «Объем продаж – это зависимая переменная Y (тыс. руб.). В качестве независимых (объясняющих) переменных выбраны: время – X1 (мес.), расходы на рекламу X2 (тыс. руб.), цена товара X3 (руб.), средняя цена товара у конкурентов X4 (руб.), индекс потребительских расходов X5 ( %), количество наблюдений n = 16, количество факторов k = 5».

Результаты исследования и их обсуждение

Выявление мультиколлинеарности с помощью анализа матрицы коэффициентов парной корреляции

Наличие коэффициентов парной корреляции больших |0,8| может свидетельствовать о мультиколлинеарности данных. В среде R построение матрицы коэффициентов парной корреляции выполняется при помощи функции cor(х), применяя которую получаем матрицу коэффициентов парной корреляции (табл. 1). Анализ матрицы коэффициентов парной корреляции показал высокое значение коэффициента корреляции между факторами Х1 и Х5 ( = 0,960), что указывает на наличие мультиколлинеарности.

Источник

СОДЕРЖАНИЕ

Определение

Математически набор переменных является полностью мультиколлинеарным, если между некоторыми переменными существует одно или несколько точных линейных отношений. Например, у нас может быть

В обычных наименьших квадратов оценки вовлекают обращения матрицы

Идеальная мультиколлинеарность довольно часто встречается при работе с необработанными наборами данных, которые часто содержат избыточную информацию. Однако после выявления и устранения избыточностей часто остаются почти мультиколлинеарные переменные из-за корреляций, присущих изучаемой системе. В таком случае вместо приведенного выше уравнения у нас есть это уравнение в модифицированной форме с ошибкой : v я <\ displaystyle v_ >

Обнаружение

Признаки того, что в модели может присутствовать мультиколлинеарность, включают следующее:

Последствия

В некотором смысле коллинеарные переменные содержат одинаковую информацию о зависимой переменной. Если номинально «разные» меры фактически дают количественную оценку одного и того же явления, то они излишни. В качестве альтернативы, если переменным присвоены разные имена и, возможно, используются разные числовые шкалы измерения, но они сильно коррелированы друг с другом, то они страдают от избыточности.

Другая проблема с мультиколлинеарностью заключается в том, что небольшие изменения входных данных могут привести к большим изменениям в модели, даже к изменению знака оценок параметров.

Пока базовая спецификация верна, мультиколлинеарность фактически не влияет на результаты; он просто вызывает большие стандартные ошибки в связанных независимых переменных. Что еще более важно, обычное использование регрессии состоит в том, чтобы брать коэффициенты из модели и затем применять их к другим данным. Поскольку мультиколлинеарность приводит к неточным оценкам значений коэффициентов, результирующие прогнозы вне выборки также будут неточными. И если картина мультиколлинеарности в новых данных отличается от таковой в данных, которые были подогнаны, такая экстраполяция может привести к большим ошибкам в прогнозах.

средства защиты

Вхождение

Анализ выживаемости

Процентные ставки на разные сроки до погашения

В различных ситуациях можно предположить, что несколько процентных ставок с разными сроками до погашения влияют на какое-либо экономическое решение, такое как сумма денег или какого-либо другого финансового актива, который необходимо держать, или сумма инвестиций в основной капитал, которые необходимо задействовать. В этом случае включение этих различных процентных ставок, как правило, создает существенную проблему мультиколлинеарности, поскольку процентные ставки имеют тенденцию изменяться вместе. Если на самом деле каждая из процентных ставок оказывает свое собственное отдельное влияние на зависимую переменную, может быть чрезвычайно трудно разделить их влияние.

Расширение

Концепция латеральной коллинеарности расширяет традиционный взгляд на мультиколлинеарность, включая также коллинеарность между объясняющими и критериальными (т. Е. Объясненными) переменными в том смысле, что они могут измерять почти то же самое, что и друг друга.

Источник