МНК. Линейная множественная модель.

По-прежнему исходные данные представлены таблицей  - вектор факторов, - результирующий показатель, - количество статистических наблюдений или экспериментов. Линейная множественная модель имеет вид:

, (*)

где - остаток, обусловленный случайными факторами, или в матричном виде

,

где , , где значком “” обозначим вектор-столбец. Из последнего уравнения             

.

Рассмотрим функцию

,

которую необходимо минимизировать. Поскольку

 ,

то продифференцировав последнее выражение по , получим:

, или .

Отсюда , где   .

Рассмотрим пример. Задана таблица исходных данных. 

                                                                                                               Исходная таблица

Ищем модель в виде _{. Для этого вначале находим произведение}

, обратную матрицу

   и произведение

.

Получим, что .

Таким образом, , , и

                                                        .                                              (**)

Если бы в модели (**) предполагалось наличие свободного члена, то необходимо было матрицу  рассматривать в виде  , а дальнейшие вычисления проводить аналогично.

            Метод наименьших квадратов в предложенном изложении можно использовать только при выполнении следующих условий:

1. Математическое ожидание остатков равно нулю, Mu=0. Это означает, что сумма отклонений табличных значений от значений, рассчитанных по модели, равна нулю. Если это условие не выполняется, то выбрана неправильная форма зависимости , или в модели не учтён важный фактор. Однако, модель (*), имеющая свободный член поддаётся коррекции так, что Mu=0.

2. Дисперсия остатков должна оставаться постоянной, . Невыполнение этого условия свидетельствует о влиянии факторов, не учтённых в модели.

3.Все факторы должны быть независимыми между собой. Поскольку зачастую это условие не выполняется, то необходимо определить уровень влияния зависимости на оценку параметров модели.

4. Факторы и остатки должны быть независимыми. Невыполнение этого условия  указывает на наличие факторов, для которых характерной есть зависимость ,  - номер эксперимента, - і-й фактор.

Тестирование и устранение мультиколлинеарности.

      Наиболее полным алгоритмом исследования мультиколлинеарности есть алгоритм Фаррара-Глобера. С его помощью тестируют три вида мультиколлинеарности:

1.      Всех факторов ( - хи-квадрат);

2.      Каждого фактора с остальными (критерий Фишера);

3.      Каждой пары факторов (критерий Стьюдента).

Алгоритм Фаррара-Глобера

1.  Нормируем значения факторов

.

2.      Находим корреляционную матрицу

.

3.      Определяем значения :

,

где - количество факторов, - количество наблюдений. Сравниваем  его с табличным значением при  степенях свободы и уровне значимости . Если , то в векторе факторов есть мультиколлинеарность.

4.      Определяем обратную матрицу

.

5.      Вычисляем - критерии Фишера:

,

где - диагональные элементы матрицы . Рассчитанные значения критериев сравниваются с табличными при  и  степенях свободы и уровне значимости . Если , то -я переменная мультиколлинеарна с другими.

6.      Находим частные коэффициенты корреляции:

.

7.      Вычисляем - критерии Стьюдента:

.

            Рассчитанные значения  сравниваются с табличными при  степенях свободы и уровне значимости . Если  , то между  и  существует мультиколлинеарность.

            Для оценки параметров модели, в которую входят мультиколлинеарные переменные используют метод главных компонентов.

Алгоритм метода главных компонентов:

Шаг 1.    Нормализация  значений факторов

.

Шаг 2.    Вычисление  корреляционной матрицы

.

Шаг 3.      Нахождение характеристических чисел матрицы  из уравнения     .

Шаг 4.      Упорядочение собственных чисел  по абсолютному вкладу главного компонента в общую дисперсию.

Шаг 5.      Вычисление соответствующих собственных векторов .

Шаг 6.      Нахождение главных компонентов – векторов

, .

                 Главные компоненты должны удовлетворять условиям:

, ,

, ,

, , .

Шаг 7.      Определение параметров модели :

.

Шаг 8.      Нахождение параметров модели :

.