Выпуск 13. Множественная линейная регрессия. Пример расчета

Пусть существует некоторая сложная система, которая имеет три входа и один выход, или три входных фактора и одну выходную характеристику. Зависимость, которая существует между ними, имеет вид  , в нашем случае предполагаем ее линейной, то есть . Коэффициенты ,  необходимо определить. Известна табл. 1 данных эксперимента (или статистических данных).

            Исследуем исходные данные на мультиколлинеарность по критерию Фаррара-Глобера. На первом шаге нормируем исходные данные и получим табл. 2. При нормализации учитываем, что , , , , , ,. Транспонируем матрицу табл. 2 и умножим транспонированную матрицу на исходную из табл. 2. Получим корреляционную матрицу . Следующим шагом есть определение критерия . Сравним вычисленное значение с табличным при 3 степенях свободы и уровне значимости , . Поскольку вычисленное значение больше табличного, то в массиве факторов существует мультиколлинеарность.

            Определим мультиколлинеарность каждого фактора с остальными. Для этого найдем обратную матрицу  и вычислим -критерии. Так, , , . Поскольку табличное значение критерия при 7 и 2 степенях свободы равно , то сравнивая вычисленные значения и табличное, получим, что первый и третий фактор мультиколлинеарен с другими.

            Для выяснения мультиколлинеарности каждой пары переменных находим частичные коэффициенты корреляции: , ,  и вычисляем значения -критерия: , , . Вычисленные значения сравниваем с табличным при 7 степенях свободы и уровне значимости

, . Мультиколлинеарность существует между первым и третьим факторами.

            Далее для поиска коэффициентов линейной модели используем метод главных компонент. Вначале нормализуем вектор факторов (начальный), получим табл.3. Вычислим корреляционную матрицу . Далее находим собственные (характеристические) числа матрицы . Получим . Вычисляем собственные векторы . Упорядочим собственные числа, получим массив (2.045, 0.943, 0.012). Соответственно массив собственных векторов будет таким . Вычислим главные компоненты: , ,.

Следующим шагом есть определение параметров модели  по формуле . Полученный результат: . И остается вычислить параметры модели  по формуле , где  - массив собственных векторов. Результат . Таким образом, искомая модель имеет вид .