Версия для печати.

Ошибки определения направления.
24.01.03
С.Н.Вечерин

Моя статистика – это факты, а ваши факты – всего лишь статистика.
Дж. Линн и Э. Джей

GRAD.

Следует заметить, что все рассмотренные в предыдущих статьях ошибки (RMSE, NMSE, MAE) при стремлении к нулю неизбежно требуют поточечного стремления к нулю истинных и предсказанных значений, поэтому пользоваться для выбора лучшего прогноза в этом случае можно любой из них: тот прогноз лучше, у которого ошибка меньше. Однако, с практической точки зрения, более важным является вопрос, что делать, если оба прогноза имеют ошибки почти одинаковые, или, например, оба прогноза плохи с точки зрения величины ошибки, которая далека от нуля? В этом случае необходимо знать, как именно стремится к нулю разность между предсказанными и истинными значениями: угадывая направление изменения истинной величины или нет. На рисунке 1 приведен фрагмент двух прогнозов одного и того же ряда.


Рисунок 1. Фрагмент двух прогнозов одного и того же ряда
для иллюстрации ошибки прогноза направления GRAD.

Оба прогноза отклоняются от истинных значений ряда на одну и ту же величину. Поэтому все ошибки, расчет которых основан на величине разности истинных и предсказанных значений, будут иметь одно и то же значение как для первого, так и для второго прогноза. С этой точки зрения эти прогнозы равнозначны – одинаково хороши или одинаково плохи. Однако, с точки зрения практического использования в финансовой сфере, прогноз 1 разительно отличается от прогноза 2. Обратите внимание, каждая точка прогноза1 «правильно» расположена по отношению к последней известной точке реальных данных: если, например, вторая точка прогноза 1 находится ниже первой точки прогнозируемого ряда, то и реальная вторая точка будет расположена ниже. В прогнозе 2 все происходит в точности наоборот: если прогнозируется, что будущее значение лежит выше текущего, то в действительности оно лежит ниже. Если бы речь шла о прогнозе цены, то прогноз 1 правильно указывает направление изменения цены относительно ее текущего значения, а прогноз 2 – нет.
Для численной характеристики вышеизложенного предлагается рассмотреть величину GRAD, характеризующую вероятность правильно указать тренд. Эта величина показывает процент случаев, когда прогноз правильно уловил направление изменения истинной величины. Например, если GRAD=100%, это означает, что каждая предсказанная точка правильно (в смысле направления) расположена относительно предыдущей истинной точки. При этом абсолютная ошибка (RMSE, MAE, NMSE) может быть и большой.
Аналогичным образом для знакопеременных рядов (например, при прогнозе ряда доходностей) можно ввести ошибку SIGNUM, которая характеризует количество правильно предсказанных знаков.

GRAD1.

Для прогноза направления изменения значений ряда можно построить модель, которая строит ряд прогнозных значений с точно такой же динамикой, как будущие реальные значения. Другими словами, от кривой прогноза требуется высокая корреляция с истинными значениями. Построив таким образом прогноз, про реальные значения можно сказать, что «их динамика будет подобна» прогнозу. На рис.2 представлен пример такого прогноза.


Рисунок 2. Фрагмент прогноза для иллюстрации
ошибки прогноза направления GRAD1.

С точки зрения различных критериев оценки качества прогноза, прогноз на рисунке 2 плох. Даже с точки зрения критерия GRAD. Означает ли это, что такой прогноз не имеет никакой практической ценности? Не будем торопиться с выводами.
Если более внимательно присмотреться к ломанной прогноза, можно заметить, что положение каждой ее точки относительно предыдущей точно такое же, как положение реального значения от предыдущего реального значения (здесь уместно напомнить, что прогнозируется не величина приращения, а только направление будущего движения). Действительно, если третья точка прогноза была выше, чем вторая точка прогноза, а четвертая расположена ниже третьей, то такая же картина наблюдается и в ряде реальных значений. С точки зрения получения прибыли от использования предсказания зачастую оценки качества прогноза направления являются более информативными.

Как оценить равномерность прогноза направления.

Предложенные критерии оценки качества прогноза направления, фактически, оценивают вероятность правильного угадывания будущего изменения временного ряда. Предположим, вам известно, что качество прогноза характеризуется критерием GRAD, равным 60%. Означает ли это, что 6 из 10 прогнозов будут верными (в смысле критерия GRAD)? Отнюдь нет. Приближение к 60% гарантируется только при достаточно больших выборках. При маленьких же выборках такой гарантии нет: могут случаться отклонения как в большую, так и в меньшую стороны. Возникает вопрос о том, как оценить равномерность получаемых прогнозов.
Для того чтобы охарактеризовать качество прогноза, нужно сформировать достаточной длины вектор «угадываний». После чего нужно зафиксировать временной интервал N, и вычислить критерий GRAD. Двигаясь скользящим окном длины N по вектору угадывания и вычисляя значение GRAD на каждом шаге, можно набрать статистику по возможным значениям критерия GRAD в окне длиной N. По этой статистике оценивается математическое ожидание и стандартное отклонение критерия. Затем N увеличивается, и вся процедура повторяется. В результате получаем, что для каждого значения N (длины окна) есть свое математическое ожидание GRAD и его стандартное отклонение, в данном случае характеризующее равномерность прогноза. Если, например, среднее значение критерия для окна длины 10 составляет 60%, а стандартное отклонение равно 0, то только в этом случае из следующих 10 прогнозов 6 будут удачными. Приведенные рассуждения проиллюстрированы на рисунке 3.


Рисунок 3. Зависимость вероятности успешного прогноза
и его стандартного отклонения от количества испытаний.

В предположении нормальности распределения ошибки, верхняя и нижняя линии очерчивают область, в которой значение критерия будет лежать в 68.3% случаях. Например, ежедневное использование модели на рис.3 в течение 10 дней может привести к значению GRAD, лежащему в диапазоне от 47 до 75%. Хотя вероятность успешного прогноза дневного направления по этой модели составляет 61%. При использовании в течение 50 дней точность прогноза, по-прежнему, равна 61%, а вот возможное отклонение от этого значения заметно уменьшилось – интервал разброса составляет от 56 до 67%. Для того, чтобы надежно превысить 60%-ую отметку точности, нужно ежедневно пользоваться моделью не менее 150 дней. Эти рассуждения ясно показывают статистическую природу оценок точности. Поэтому пусть не пугает заметное отклонение от заявленной точности после нескольких первых попыток. Чтобы достичь этой заявленной точности, нужно набрать определенное количество испытаний – такова природа вещей.
Естественно, приведенный пример отражает общие закономерности при измерении точности прогноза. Для каждой модели и конкретного временного ряда при расчете получаются свои конкретные цифры.