Версия для печати.

Некоторые свойства максимальной абсолютной ошибки.
2.09.02
Вечерин С. Н.

   С позиции использования в финансовых приложениях более предпочтительными могут быть оценки, которые несколько завышают риски. Меньшая доходность в этом случае компенсируется отсутствием экстремально больших потерь. Классической мерой ошибок, приводящей к подобным оценкам, является максимальная абсолютная ошибка - MAE (Maximum Absolute Error).

   В отличие от меры RMSE (см. статью "Возможен ли прогноз на финансовых рынках?"), где вес одного наблюдения убывает пропорционально объему выборки, вес отдельного наблюдения в оценке MAE равен единице и не уменьшается с ростом количества наблюдений. По этой причине величина MAE в значительно большей степени, чем RMSE, зависит от случайного характера наблюдений за ошибкой. Компенсировать эту зависимость можно только за счет большего числа наблюдений, используемых при расчете МАЕ.

   Количество наблюдений, необходимых для расчета мер ошибок, можно оценить, если известен их закон распределения. Здесь следует напомнить: поскольку наблюдения за ошибкой являются случайными величинами, то мера ошибки также является случайной величиной, для которой можно найти закон распределения, вычислить среднее значение и построить доверительный интервал. Статистические характеристики величины ошибки зависят от количества наблюдений, используемых при ее расчете. Говорить о независимости оценки меры от конкретной реализации ошибок можно лишь в том случае, когда для данного количества наблюдений разброс значений меры, по крайней мере, не превосходит ее среднего значения. А еще лучше, если интервал разброса составляет менее половины ожидаемого значения. Ниже приведены графики (рис. 1, 2, 3), которые показывают, как с увеличением объема выборки изменяется отношение длины 95%-го доверительного интервала к среднему значению меры ошибки. Графики построены в предположении, что наблюдения за ошибкой независимы и распределены по стандартному нормальному закону.

Точность оценки в финансовом прогнозе

Зависимость точности оценки от величины выборки.

   Из графиков видно, что относительно небольшое отношение 1: 2 для RMSE обеспечивают около 30 наблюдений, а для MAE - более 350. Данный результат отражает проблему набора данных для вычисления меры MAE: выборки малого объема не позволяют избежать зависимости от конкретной реализации наблюдений за ошибкой, а в выборках большого объема возможно значительная неоднородность наблюдений по распределению .

   В некоторой степени решить проблему большого числа наблюдений, необходимых для расчета MAE, позволяет ее модификация МАЕ(2) - для этого нужно рассмотреть второй по величине максимум модуля разности прогноза и реального значения. В общем случае, замена первого минимума и максимума на, соответственно, k-тый минимум и максимум уменьшает разброс значений модифицированной меры, чем и объясняется снижение требований к объему выборки. Кроме того, MAE(k) обладает свойством фильтрации: мера не чувствительна к наличию выбросов в наблюдениях за ошибкой, если количество выбросов не превышает k-1.

   Рис.1 содержит график отношения длины доверительного интервала к среднему значению MAE(2) в зависимости от объема выборки. Сопоставление этого рисунка с рис.2 показывает, что количество наблюдений, обеспечивающих отношение 1: 2 уменьшается более чем втрое, по сравнению со стандартной мерой MAE. Однако полностью проблему больших выборок введение модифицированной меры не решает, поскольку дальнейшее увеличение номера меры (k) приводит к тому, что по свойству оценки риска MAE(k) приближается к RMSE.
   Помимо проблемы расчета меры, как и в случае RMSE, имеется проблема применения MAE и ее модификаций для построения доверительных интервалов. Без знания закона распределения наблюдений за ошибкой, вероятность попадания ошибки в интервалы, построенные с использованием MAE и MAE(k) не известна. Например, неверно считать равной единице вероятность попадания ошибки в интервал -MAE … MAE, поскольку этот вывод основан только на одной реализации наблюдений за ошибкой.
   Подводя итог обсуждению мер RMSE и MAE, подчеркнем их основные недостатки: если неизвестен закон распределения ошибки, меры не могут быть оценены с заданной точностью и, главное, не дают представления о статистических свойствах ошибки прогноза. Преимущества мер связаны с решением задачи о распределении ошибки: когда закон распределения известен, информации, содержащейся в RMSE, MAE и модификациях MAE, достаточно для оценки его надежности.
   Теперь обратим внимание на то, что меры RMSE и MAE являются размерными величинами. В случае прогноза рядов различной природы или с различным порядком прогнозируемой величины данное свойство препятствует сравнительному анализу ошибок. Простейшим решением вопроса является деление размерных (абсолютных) мер ошибки на любую величину той же размерности. В качестве делителя можно использовать, например, одно из наблюдений за прогнозируемой величиной или разность двух наблюдений. Наблюдения также могут быть заменены соответствующими значениями прогноза.
   Отметим, что задача выбора нормирующего множителя достаточно нетривиальна. Так, в случае знакопеременных рядов, любой из выше приведенных делителей может мало отличаться или быть равным нулю, что влечет за собой большую погрешность в оценке относительной меры или, вообще, не позволяет получить оценку. Исключение близких к нулю значений является, при этом, не единственным требованием, которое предъявляется к делителю. Более подробно вопрос нормировки мер ошибок будет обсуждаться в следующих статьях.