Метод наименьших квадратов (МНК)

Метод наименьших квадратов (МНК)

МНК есть тем классическим методом, с которого собственно, и надо было начинать рассылку о методах прогнозирования. Его краткое представление ниже.

            Пусть в качестве исходных данных имеем таблицу

содержащую статистические данные, или данные экспериментов. Если в качестве X выступает время, то имеем динамический ряд (тогда  размещены в возрастающем порядке). Необходимо получить аналитическую зависимость

                                                                          ,                                                              (*)

которая наилучшим образом описывает начальные данные. Словосочетание «наилучшим образом», будем понимать в смысле минимума суммы квадратов отклонений значений , данных в таблице от , рассчитанных по (*):

                                                                     .                                                   (**)            Определение зависимости (*) необходимо, в т.ч., и для нахождения   , что уже представляет собой задачу прогнозирования.

            Нанесём точки из таблицы на координатную плоскость и сделаем предположение, что зависимость (*) есть линейной , а отклонения от прямой вызваны случайными факторами.

y

                                        ●

               ●                    

                                  ●

                       ●

               ●                                ?        

         ●

                                                        x    

0                      

Определим уравнение прямой (найдем значения коэффициентов a и b), так, чтобы получить решение задачи , т.е. необходимо найти минимум функции

.

Функция . Продифференцируем  по a и по b. Получим:     

,

.

Для того, чтобы найти минимум функции E(a,b), приравняем нулю производные и упростим систему:

Последнюю систему можно представить в матричном виде:

Решая её получим:

          .

Вычислив a и b, получим функцию , которая в классе линейных функций наилучшим образом описывает табличную зависимость в смысле минимума суммы квадратов отклонений. Теперь можно рассчитать и прогноз

.