Версия для печати.

Преимущества нормированной среднеквадратичной ошибки.
06.09.02
С.Н.Вечерин

   Как было отмечено в предыдущих статьях, одной из проблем классической среднеквадратичной ошибки является ненормированность, что затрудняет ее использование для сравнения точности прогноза рядов, значения которых отличаются на порядки. Существует еще одна проблема, присущая всем классическим мерам ошибкам. Для использования прогноза в финансовой сфере хотелось бы, чтобы ошибка выполняла не только сравнительную функцию (этот прогноз лучше, чем этот, так как его ошибка меньше), но и функцию классификации прогноза (этот прогноз точен, а этот - неточен, потому что ошибка первого такая-то, а второго - такая-то). Другими словами, нужна градация величины ошибок, в соответствии с которой можно было бы сделать заключение о качестве построенной модели, осуществляющей прогноз.

   Оба вопроса могут быть решены введением нормированной среднеквадратичной ошибки (NMSE). С точки зрения использования NMSE в качестве показателя качества прогноза, интересна ее физическая интерпретация. Величина ошибки получается путем нормировки обычной среднеквадратичной ошибки интересующего нас "предиктора" на среднеквадратичную ошибку "примитивного предиктора", который любое следующее значение прогнозирует константой, равной среднему значению всей выборки реальных значений. Таким образом, нормированная среднеквадратичная ошибка показывает, во сколько раз сделанный прогноз лучше заведомо "плохого" прогноза, равного среднему значению выборки. Если NMSE больше 1, значит, анализируемый прогноз хуже прогноза константой, если равен 1, значит, качество прогноза сопоставимо с "примитивным" прогнозом, если меньше, то сделанный прогноз точнее "примитивного". Значение ошибки, равное 0, соответствует абсолютно точному прогнозу. Ниже будут приведены более строгие оценки допустимых значений NMSE для того, чтобы можно было считать построение модели успешным.

   Исходя из такой физической интерпретации, можно предложить другой вариант расчета нормированной ошибки. Вместо одного "примитивного предсказателя", который прогнозирует каждое новое значение константой, можно построить другой, который каждое следующее значение прогнозирует его предыдущим значением. В этом случае получится более строгий критерий. Какова бы ни была модель для построения прогноза, ее построение оправдано, только если она обеспечивает прогноз, ошибка которого, посчитанная с помощью такой ужесточенной NMSE, меньше 1. В противном случае можно пользоваться "примитивным предсказателем", то есть прогнозировать вперед последним известным значением.

В любом детерминированном прогнозе предполагается по историческим данным построить аппроксимирующую функцию, чтобы с ее помощью предсказать следующие значения числового ряда. Таким образом, неизбежно возникает вопрос о том, как оценить адекватность построенной модели.
Если первый из поставленных вначале вопросов решается нормировкой, то для ответа на второй необходимо ознакомиться с коэффициентом множественной корреляции ρ. Именно с помощью его можно охарактеризовать качество построенной модели.
   Нормированная среднеквадратичная ошибка (в первом, классическом понимании) достаточно просто выражается через этот коэффициент. Сам же коэффициент множественной корреляции тесно связан с приведенной относительной погрешностью γ, а она, в свою очередь, с числом различимых градаций полосы разброса данных. При γ=±50% интервал неопределенности составляет 2γ=±100%, то есть разброс реальных данных относительно прогноза занимает весь диапазон изменения отклика и не позволяет тем самым установить даже угол наклона этой зависимости. Такому положению соответствует значение ρ, равное 0. При γ=±25% интервал разброса составляет 2γ=±50% , что позволяет достоверно различить только две градации: от 0 до 50% и от 50 до 100%. Этому соответствует значение ρ, равное 0.9.
Более детальная информация о связи коэффициента множественной корреляции с относительной приведенной погрешностью, количеством различимых градаций в экспериментальных данных и величиной NMSE приведена в таблице.

Число N различных градаций отклика Относительная приведенная погрешность γ, % Коэффициент множественной корреляции ρ Значения NMSE
 1  50  0.0  1.0
 2  25  0.9  0.2
 3  16  0.96  0.08
 4  12  0.98  0.04
 6  8  0.99  0.02
 20  2.5  0.999  0.002
 60  0.8  0.9999  0.0002
 200  0.25  0.99999  0.00002

   Если считать достаточным для приближенного определения функции отклика возможность различения в поле экспериментальных данных хотя бы 2-3 градаций, то это значит, что приемлемым значением является лишь ρ , большее 0,9-0,96. Весь же диапазон изменения ρ от 0 до 0,9 соответствует тому, что в полосе экспериментальных данных невозможно достоверно различить даже двух градаций изменения искомой функции. Какие-либо утверждения о виде функции отклика в этих условиях не могут быть обоснованными. Если в результате решения получен коэффициент корреляции ρ<0,9, то задачу прогнозирования нельзя считать окончательно решенной. Отсюда следует, что верхней границей для значения NMSE является 0.2. При прогнозе, для которого NMSE больше этого значения, вряд ли стоит говорить об адекватном построении модели.