Качественные показатели прогноза позволяют провести анализ видов ошибок прогнозов

Open Source Content Management

Nav view search

Навигация

Искать

Main Menu

Измерение ошибок и выбор метода прогнозирования

В ходе процесса прогнозирования неизбежно возникают ошибки прогноза. Под ошибкой прогноза понимают расхождение между прогнозом и действительностью. Хотя в прогнозировании считается, что, до тех пор, пока значение прогноза находится в доверительных границах, эти расхождения не являются ошибкой.

Ошибки прогноза могут возникать по разным причинам и иметь различные источники. Их можно разделить на систематические, возникающие из-за погрешности измерения, и случайные. К источникам систематических ошибок относятся недостаточное количество прямых переменных, использование некорректной зависимости между переменными, применение неверной трендовой линии, ошибочный сдвиг сезонного спроса и наличие необнаруженного тренда во временных рядах. К случайным ошибкам относятся те ошибки, которые нельзя объяснить используемой моделью прогноза.

Измерение ошибок прогноза производится с помощью таких показателей, как среднее абсолютное отклонение, среднеквадратическое отклонение, средняя абсолютная относительная ошибка и средняя относительная ошибка.

Среднее абсолютное отклонение (МАD) представляет собой среднее значение ошибки в прогнозе, которое измеряет разброс прогнозируемых значений от ожидаемых. МАD вычисляют как разность между действительным и прогнозируемым спросом без учета знака, по следующей формуле:

(3.16)

где t – номер периода;

А – текущий спрос данного периода;

F – прогнозируемый спрос данного периода;

n – общее количество периодов.

Определение среднеквадратического отклонения (MSE) также основано на вычислении отклонений от средней арифметической, однако при ее вычислении используют не абсолютные величины, а квадраты величин отклонений. Она определяется по формуле:

(3.17)

Показатель MSE позволяет выявить отдельные большие отклонения от фактических данных. На основе MSE можно отобрать такие способы прогнозирования, которые стабильно дают приемлемые средние ошибки, и отсеять такие способы, которые характеризуются, как правило, малыми ошибками, но допускающие иногда очень большую погрешность.

Средняя абсолютная относительная ошибка (МАРЕ) применяется в том случае, если для определения показателя общей ошибки удобнее использовать не абсолютные, а относительные величины.

(3.18)

В случае, когда требуется оценить, насколько смещенными (т.е. завышенными или заниженными) являются результаты прогнозирования, то можно использовать показатель средней относительной ошибки МРЕ.

(3.19)

Если показатель МРЕ близок к нулю, то смещения нет. Если он отрицательный, то имеет место завышение прогнозных оценок; если положительный, то оценки будут заниженными.

При сравнении двух и более методов прогнозирования, чем меньше рассмотренные выше показатели, тем более точный прогноз.

Выбор метода прогнозирования зависит от временных и затратных факторов. При нехватке времени и средств целесообразно использовать простые и дешевые методы прогнозирования, такие как модели на основе скользящих средних или экспоненциальное сглаживание. Для проверки надежности какого-либо метода прогнозирования можно использовать разные методы измерения ошибок прогноза.

Источник

Методы оценки качества прогноза

Часто при составлении любого прогноза — забывают про способы оценки его результатов. Потому как часто бывает, прогноз есть, а сравнение его с фактом отсутствует. Еще больше ошибок случается, когда существуют две (или больше) модели и не всегда очевидно — какая из них лучше, точнее. Как правило одной цифрой (R 2 ) сложно обойтись. Как если бы вам сказали — этот парень ходит в синей футболке. И вам сразу все стало про него ясно )

В статьях о методах прогнозирования при оценке полученной модели я постоянно использовал такие аббревиатуры или обозначения.

• R 2
• MSE
• MAPE
• MAD
• Bias

Попробую объяснить, что я имел в виду.

Остатки

Суровые MSE и R 2

Когда нам требуется подогнать кривую под наши данные, то точность этой подгонки будет оцениваться программой по среднеквадратической ошибке (mean squared error, MSE). Рассчитывается по незамысловатой формуле

где n-количество наблюдений.

Соотвественно, программа, рассчитывая кривую подгонки, стремится минимизировать этот коэффициент. Квадраты остатков в числителе взяты именно по той причине, чтобы плюсы и минусы не взаимоуничтожились. Физического смысла MSE не имеет, но чем ближе к нулю, тем модель лучше.

Вторая абстрактная величина это R 2 — коэффициент детерминации. Характеризует степень сходства исходных данных и предсказанных. В отличии от MSE не зависит от единиц измерения данных, поэтому поддается сравнению. Рассчитывается коэффициент по следующей формуле:

где Var(Y) — дисперсия исходных данных.

Безусловно коэффициент детерминации — важный критерий выбора модели. И если модель плохо коррелирует с исходными данными, она вряд ли будет иметь высокую предсказательную силу.

MAPE и MAD для сравнения моделей

Статистические методы оценки моделей вроде MSE и R 2 , к сожалению, трудно интерпретировать, поэтому светлые головы придумали облегченные, но удобные для сравнения коэффициенты.

Среднее абсолютное отклонение (mean absolute deviation, MAD) определяется как частное от суммы остатков по модулю к числу наблюдений. То есть, средний остаток по модулю. Удобно? Вроде да, а вроде и не очень. В моем примере MAD=43. Выраженный в абсолютных единицах MAD показывает насколько единиц в среднем будет ошибаться прогноз.

MAPE призван придать модели еще более наглядный смысл. Расшифровывается выражение как средняя абсолютная ошибка в процентах (mean percentage absolute error, MAPE).

где Y — значение исходного ряда.

Выражается MAPE в процентах, и в моем случае означает, что в модель может ошибаться в среднем на 16%. Что, согласитесь, вполне допустимо.

Наконец, последняя абсолютно синтетическая величина — это Bias, или просто смещение. Дело в том, что в реальном мире отклонения в одну сторону зачастую гораздо болезненнее, чем в другую. К примеру, при условно неограниченных складских помещениях, важнее учитывать скачки реального спроса вверх от спрогнозированных значений. Поэтому случаи, где остатки положительные относятся к общему числу наблюдений. В моем случае 44% спрогнозированных значений оказались ниже исходных. И можно пожертвовать другими критериями оценки, чтобы минимизировать этот Bias.

Можете попробовать это сами в Excel и Numbers

Интересно узнать — какие методы оценки качества прогнозирования вы используете в своей работе?

Источник

Оценка точности и надежности прогнозов

Важным этапом прогнозирования социально-экономических явлений является оценка точности и надежности прогнозов.

Эмпирической мерой точности прогноза, служит величина его ошибки, которая определяется как разность между прогнозными ( ) и фактическими (у_t) значениями исследуемого показателя. Данный подход возможен только в двух случаях:

а) период упреждения известен, уже закончился, и исследователь располагает необходимыми фактическими значениями прогнозируемого показателя;

б) строится ретроспективный прогноз, то есть рассчитываются прогнозные значения показателя для периода времени, за который уже имеются фактические значения. Это делается с целью проверки разработанной методики прогнозирования.

В данном случае вся имеющаяся информация делится на две части в соотношении 2/3 к 1/3. Одна часть информации (первые 2/3 от исходного временного ряда) служит для оценивания параметров модели прогноза. Вторая часть информации (последняя 1/3 части исходного ряда) служит для реализации оценок прогноза.

Полученные таким образом ретроспективно ошибки прогноза в некоторой степени характеризуют точность предлагаемой и реализуемой методики прогнозирования. Однако величина ошибки ретроспективного прогноза не может в полной мере и окончательно характеризовать используемый метод прогнозирования, так как она рассчитана только для 2/3 имеющихся данных, а не по всему временному ряду.

В случае если, ретроспективное прогнозирование осуществляется по связным и многомерным динамическим рядам, то точность прогноза, соответственно, будет зависеть от точности определения значений факторных признаков, включенных в многофакторную динамическую модель, на всем периоде упреждения. При этом, возможны следующие подходы к прогнозированию по связным временным рядам: можно использовать как фактические, так и прогнозные значения признаков.

Все показатели оценки точности статистических прогнозов условно можно разделить на три группы:

Аналитические показатели точности прогнозапозволяют количественно определить величину ошибки прогноза. К ним относятся:

Абсолютная ошибка прогноза (D * ) определяется как разность между эмпирическими и прогнозными значениями признака и вычисляется по формуле:

, (3.54)

у_t–фактическое значение признака;

–прогнозное значение признака.

Относительная ошибка прогноза (d * _отн) может быть определена как отношение абсолютной ошибки прогноза (D * ):

(3.55)

— к прогнозному значению признака ( )

(3.56)

Абсолютная и относительная ошибки прогноза являются оценкой проверки точности единичного прогноза, что снижает их значимость в оценке точности всей прогнозной модели, так как изучаемое социально-экономическое явление подвержено влиянию различных факторов внешнего и внутреннего свойства. Единично удовлетворительный прогноз может быть получен и на базе реализации слабо обусловленной и недостаточно адекватной прогнозной модели и наоборот – можно получить большую ошибку прогноза по достаточно хорошо аппроксимирующей модели.

Поэтому на практике иногда определяют не ошибку прогноза, а некоторый коэффициент качества прогноза (К_к), который показывает соотношение между числом совпавших (с) и общим числом совпавших (с) и несовпавших (н) прогнозов и определяется по формуле:

. (3.57)

Значение К_к = 1 означает, что имеет место полное совпадение значений прогнозных и фактических значений и модель на 100% описывает изучаемое явление. Данный показатель оценивает удовлетворительный вес совпавших прогнозных значений в целом по временному ряду и изменяется в пределах от 0 до 1.

Следовательно, оценку точности получаемых прогнозных моделей целесообразно проводить по совокупности сопоставлений прогнозных и фактических значений изучаемых признаков.

Средним показателем точности прогнозаявляется средняя абсолютная ошибка прогноза ( ), которая определяется как средняя арифметическая простая из абсолютных ошибок прогноза по формуле вида:

, (3.58)

n–длина временного ряда.

Средняя абсолютная ошибка прогноза показывает обобщенную характеристику степени отклонения фактических и прогнозных значений признака и имеет ту же размерность, что и размерность изучаемого признака.

Для оценки точности прогноза используется средняя квадратическая ошибка прогноза, определяемая по формуле:

. (3.59)

Размерность средней квадратической ошибки прогноза также соответствует размерности изучаемого признака. Между средней абсолютной и средней квадратической ошибками прогноза существует следующее примерное соотношение:

. (3.60)

Недостатками средней абсолютной и средней квадратической ошибок прогноза является их существенная зависимость от масштаба измерения уровней изучаемых социально-экономических явлений.

Поэтому на практике в качестве характеристики точности прогноза определяют среднюю ошибку аппроксимации, которая выражается в процентах относительно фактических значений признака, и определяется по формуле вида:

. (3.61)

Данный показатель является относительным показателем точности прогноза и не отражает размерность изучаемых признаков, выражается в процентах и на практике используется для сравнения точности прогнозов полученных как по различным моделям, так и по различным объектам. Интерпретация оценки точности прогноза на основе данного показателя представлена в следующей таблице:

,%	Интерпретация точности
50	Высокая Хорошая Удовлетворительная Не удовлетворительная

В качествесравнительного показателя точности прогнозаиспользуетсякоэффициент корреляции между прогнозными и фактическими значениями признака, который определяется по формуле:

, (3.62)

– средний уровень ряда динамики прогнозных оценок.

Используя данный коэффициент в оценке точности прогноза следует помнить, что коэффициент парной корреляции в силу своей сущности отражает линейное соотношение коррелируемых величин и характеризует лишь взаимосвязь между временным рядом фактических значений и рядом прогнозных значений признаков. И даже если коэффициент корреляции R = 1, то это еще не предполагает полного совпадения фактических и прогнозных оценок, а свидетельствует лишь о наличии линейной зависимости между временными рядами прогнозных и фактических значений признака.

Одним из показателей оценки точности статистических прогнозов является коэффициент несоответствия (КН), который был предложен Г. Тейлом и может рассчитываться в различных модификациях:

1. Коэффициент несоответствия (КН₁), определяемый как отношение средней квадратической ошибки к квадрату фактических значений признака:

. (3.63)

КН = 0, если , то есть полное совпадение фактических и прогнозных значений признака.

КН = 1, если при прогнозировании получают среднюю квадратическую ошибку адекватную по величине ошибке, полученной одним из простейших методов экстраполяции неизменности абсолютных цепных приростов.

КН > 1, когда прогноз дает худшие результаты, чем предположение о неизменности исследуемого явления. Верхней границы коэффициент несоответствия не имеет.

2.Коэффициент несоответствия (КН₂), определяется как отношение средней квадратической ошибки прогноза к сумме квадратов отклонений фактических значений признака от среднего уровня исходного временного ряда за весь рассматриваемый период:

, (3.64)

–средний уровень исходного ряда динамики.

3.Коэффициент несоответствия (КН₃), определяемый как отношение средней квадратической ошибки прогноза к сумме квадратов отклонений фактических значений признака от теоретических, выравненных по уравнению тренда:

, (3.65)

–теоретические уровни временного ряда, полученные по модели тренда.

Контрольные вопросы к разделу III

1. Охарактеризуйте статистическое прогнозирование как составную часть общей теории прогностики.

2. Сформулируйте задачи статистического прогнозирования.

3. Дайте понятие объекта прогнозирования.

4. Перечислите основные понятия и термины, употребляемые в экономической прогностике.

5. Охарактеризуйте модели по сложности, масштабности и степени информационного обеспечения.

6. Раскройте содержание основных показателей точности прогнозов.

7. Раскройте сущность точечного и интервального прогнозов.

8. Как осуществляется предварительный анализ рядов динамики?

9. Раскройте содержание понятия объективизации прогнозов.

10. Перечислите простейшие методы прогнозирования динамики. Раскройте их сущность.

11. Охарактеризуйте метод прогнозирования на основе экстраполяции трендов.

12. Охарактеризуйте методы прогнозирования на основе кривых роста.

13. Охарактеризуйте метод простого экспоненциального сглаживания.

14. Охарактеризуйте метод гармонических весов.

15. Как достигается точность и надежность прогнозов на основе рядов динамики?

Источник

Планирование бизнеса – это подготовка прогнозов развития компании, наиболее вероятных и обоснованных предположений о возможных проблемах в будущем, о необходимых бизнес-решениях и желаемых финансово-экономических показателях. Какие методы прогнозирования существуют, в чем их особенности и какой лучше выбрать, какие риски сопряжены с неправильным подходом к бизнес-прогнозированию, расскажем в статье.

Методы прогнозирования: понятие и сфера применения

Прогнозирование применяется в бизнес-среде для стратегического планирования. Составление финансового прогноза – это определение желаемого финансового результата и наиболее вероятностных путей его достижения на основе накопленного опыта, имеющихся экономических закономерностей, анализа текущих данных, определения возможных перспектив развития и т.д.

Прогнозирование, как процесс предугадывания возможного будущего на основе исходных данных, применяется во многих сферах: демография, экология, генетика, метеорология, социология, и конечно, экономика. Независимо от сферы применения, использование прогнозирования предопределено необходимостью принимать различного рода управленческие решения во избежание значительных неблагоприятных факторов, ошибок либо же достижении желаемых, запланированных показателей.

Выбор методов прогнозирования обусловлен сферой применения, поставленными целями прогнозирования, доступности инструментов и наличия необходимого числа исходных данных.

Отличие прогнозирования от планирования

Прогнозирование и планирование в бизнес-сфере тесно взаимосвязаны, поскольку составление прогнозов дает информацию для эффективного планирования, хотя и не определяет конкретных задач и результатов. В большинстве случаев прогнозы формируются для составления плана, а также помогают оценивать возможные последствия его реализации.

Прогнозирование не носит директивный, обязательный характер – его цель заключается в предопределении возможного исхода развития экономики, поэтому оно должно охватывать не только внутреннюю, но и внешнюю среду. Планирование же ориентировано только на деятельность предприятия и базируется на анализе внутренних факторов бизнеса.

Планирование должно иметь четкие временные рамки, прогнозы же могут составляться и на более долгосрочный период. При этом прогнозирование не подразумевает большой конкретики в достижении конечных результатов.

Для автоматизации прогнозирования и планирования можно использовать решение «1С:ERP Управление предприятием». Например, прогнозы о работе предприятия из следующих отчетов:

Подробнее об «1С:ERP Управление предприятием» можно узнать здесь >>>

Этапы прогнозирования

Процесс прогнозирования проходит в несколько этапов:

Основные методы прогнозирования

В экономике существует несколько классификаций методов прогнозирования.

По признаку оценки

Выделяют качественные и количественные методы. Качественные – это, как правило, экспертные оценки, основанные на суждениях и умозаключениях, когда отсутствуют ретроспективные данные для расчетов.

Количественные подразумевают возможность проведения расчетов на основе числовых показателей прошлых и текущего периодов. Базируются на математических методах.

По информационной составляющей

Статические (или формализованные) основаны на использовании сведений о динамике развития явления, наиболее достоверны, имеют короткие сроки выполнения, точность расчетов, минимизируют проблемы при сборе и оценке сведений.

Интуитивные методы основаны на проведении аналогий, оценке имеющихся закономерностей. Необходимость экспертной оценки в соответствующей области. Оцениваются схожие процессы и явления.

По степени охвата задач

Все методы прогнозирования можно условно разделить на общие и специализированные методы. Общие методы применимы для широко спектра проблем и могут применены в различных сферах деятельности. Специализированные методы ориентированы на определенную сферу деятельности и не могут быть применены в иных целях, поскольку не дадут достоверных и точных результатов, либо же необходимы специфические вводные данные.

Характеристика методов прогнозирования

К основным методам относят те, которые можно нашли широкое применение во многих отраслях.

Метод экстраполяции

Часто применяется в продажах. Также называется методом аналогии. Заключается в изучении прошлого опыта, полученные результаты переносятся на будущее. Выявляется общая закономерность, которая независима во времени, сохраняется в долгосрочной перспективе и данные оценки можно проецировать на будущие результаты. Однако следует учитывать несколько нюансов: сезонность продаж некоторых категорий товаров, циклические колебания экономики, уровень инфляции, макроэкономическую среду, влияние внешней среды.

Метод экспертных оценок

Применяется, когда нет возможности провести математические расчеты – например, отсутствуют числовые показатели для оценки в динамике за несколько периодов, в случае нестандартных ситуаций, когда необходима профессиональная оценка опытного эксперта. Основывается на интуитивной оценке на субъективной основе, на проведении тестирования или опроса с последующей оценкой полученных результатов. Минусом можно считать субъективность оценки эксперта, возможный недостаток квалификации и знаний и низкое качество знания проблемы. Достоверность прогноза проверить невозможно, особенно если эксперты не обладают достаточным объемом информации.

Если привлекается один эксперт, то применяются методы построения сценария, интервьюирование, анкетирование. При привлечении команды специалистов используют мозговой штурм, совещания, метод Дельфи, ситуационный анализ.

Моделирование

Связан с построением моделей на основе оценки данных конкретных объектов или явлений, их аналогов. Итогом служит макет, чертеж, формула, схема. Прежде, чем принимать управленческое решение в реальном мире, можно спроецировать его результат на модель. При необходимости в конечную модель вносятся коррективы. Таким образом, повышается шанс избежать неудачного результата, повысить эффективность управленческих решений. Из недостатков – сложности расчета, однако привлечение компьютерных программ значительно упрощает механизм расчета.

Построение матрицы

Матрица представляет специальную таблицу, в которой целевая функция разбивается на несколько функций следующего уровня. Размер матрицы определяется, исходя из перечня подцелей. Исследуемое явление или объект зависят от множества факторов, которые разбиваются на группы по однородному признаку. Эти группы ранжируются по определенному критерию и далее оценивается влияние друг на друга, а также на конечную цель/результат. При оценке применяется балльная система (например, от 1 до 10). 

Статистические методы

Данная группа включает методы средних и относительных величин, индексный метод, группировки, построение графиков, корреляционный анализ. Общий фактор – проведение математических расчетов на основе числовых показателей за прошлые и текущий периоды. Эти методы являются наиболее точными при условии полноты и достоверности исходных сведений.

Метод сценариев

Применяется при принятии управленческих решений для оценки вероятностного наступления того или иного события и возможных результатов. При этом анализируется действие управленческого решения на конечный прогнозируемый результат, часто с привлечением экспертов или использованием математических расчетов. 

Проблемы прогнозирования

Прогнозирование в бизнесе – это всегда попытка предсказать исход события, однако это жизненно важный процесс, поскольку он дает возможность планировать деятельность предприятия. Тем не менее, существуют некоторые проблемы, которые необходимо учитывать:

Как выбрать подходящий метод

Выбор методов прогнозирования в бизнесе зависит от его целей, наличия и качества исходной информации, опыта экспертов и технических возможностей. Краткосрочные прогнозы не требуют применения большого количества методов или привлечения большого количества специалистов. Для них важна оперативность. В долгосрочной перспективе составление прогноза требует большого числа методов с применением компьютерного моделирования, математических и статистических расчетов. 

На практике, при выборе метода следует учитывать несколько моментов:

Проблема выбора заключается в том, что методов очень много, в них сложно ориентироваться, и трудно подобрать те, которые полностью удовлетворяют целям составления прогноза. Сложность объектов прогнозирования повышается, увеличивается число факторов, влияющие на итоговый ожидаемый результат, необходимо оценивать как внешнюю, так и внутреннюю среду. 

Успех составления прогноза зависит от качества, полноты и достоверности исходных данных. При отсутствии информации прогнозирование может стать невозможным.

Результаты прогнозирования должны быть простыми и удобными для анализа и использования, быть своевременными и максимально точными, надежными (дающими наибольшую вероятность достижения).

cтатистические методы оценки качества прогнозов экономической деятельности

оценка качества прогнозов: простейшие методы

__Аннотация

Статья посвящена анализу качества прогнозирования показателей экономической деятельности. Рассмотрены простейшие статистические методы, при помощи которых можно сравнить несколько прогнозов конкретного показателя, и набор тестов, позволяющих ответить на вопрос о статистической значимости разницы между этими прогнозами.

_Ключевые слова: прогнозирование, оценка качества прогнозов, эко-

_номическая деятельность, экономические показатели

Турунцева Марина Юрьевна

ст. научный сотрудник, Институт экономической политики им. Е.Т. Гайдара, и. о. зав. лабораторией краткосрочного прогнозирования m.turuntseva@gmail.com

Прогнозирование показателей экономической деятельности является неотъемлемой составляющей экономического процесса. Существует много методов прогнозирования, в частности, экспертные оценки, обследования потребителей и предпринимателей, экстраполирование, модели временных рядов, эконометрические системы. В этой связи встает вопрос об оценке качества прогнозов, полученных различными способами. Существует стандартный набор простейших статистик качества прогнозов и ряд довольно простых тестов, позволяющих ответить на вопрос о значимости различий между прогнозами того или иного показателя, если их было несколько. Необходимо отметить, что предложенные методы не зависят от того, каким из перечисленных выше способов получены прогнозы.

Простейшие статистики качества прогнозов

К простейшим статистикам качества прогнозов относятся средняя абсолютная процентная ошибка прогнозирования (Mean Absolute Percent Error -MAPE), средняя абсолютная ошибка прогнозирова-

ния (Mean Absolute Error — MAE), корень квадратный из средней квадратичной ошибки прогнозирования (Root Mean Squared Error — RMSE)1. Средняя абсолютная процентная ошибка прогнозирования является абсолютной мерой качества прогнозов в том смысле, что позволяет оценить его независимо от других прогнозов: достаточно выбрать некий уровень средней ошибки (например, 5%) и сравнивать рассчитанное по статистике значение с этим тестовым уровнем. Если расчетное значение меньше тестового, то прогноз считается хорошим, если больше — плохим. Две другие меры качества прогнозов (MAE и RMSE) являются относительными, то есть могут быть использованы для сравнения двух (или более) различных прогнозов одного и того же показателя между собой: лучшим считается тот прогноз, у которого значение МАЕ или RMSE меньше. При этом, очевидно, этот лучший прогноз может быть хорошим или плохим с точки зрения МАРЕ. Обычно все эти статистики не противоречат друг другу, то есть выбирают в качестве лучшего один и тот же прогноз, но наиболее часто для сравнения прогнозов используется RMSE.

Главными достоинствами всех перечисленных выше статистик является простота их расчета и независимость от свойств ошибок прогнозирования, главным недостатком — то, что они не позволяют получить ответ на вопрос о том, являются ли два прогноза показателя разными со статистической точки зрения. Поясним, что мы имеем в виду. Пусть у нас есть два различных прогноза одного и того же показателя. Например, эти прогнозы получены по двум разным моделям А и В. Мы знаем, что модель А является довольно простой (например, с точки зрения методов ее оценки), а модель В, напротив — сложной. Рассчитав простейшие статистики качества получаем, что модель В обладает чуть лучшими характеристиками, например, ее МАРЕ равно 4,9%, а МАРЕ модели А — 5,3%. На первый взгляд, модель В лучше. Но мы знаем, что для ее оценки требуется гораздо больше усилий по сравнению с моделью А. Соответственно, возни-

1 Здесь и далее все необходимые для расчетов статистик формулы приведены в Приложении.

средняя абсолютная процентная ошибка прогнозирования является абсолютной мерой качества прогнозов в том смысле, что позволяет оценить его независимо от других прогнозов

кает вопрос: а стоит ли тратить много усилий на оценку модели, прогноз по которой получается не намного лучше, чем при использовании с гораздо более простой модели?

Для ответа на этот вопрос можно использовать специальные тесты: F-тест, тест Моргана -Грейнджера — Ньюболда, тест Миза — Рогоффа, тест знаков и ранговый тест знаков Вилкоксона, которые позволяют выяснить (проверить гипотезу) являются ли множества прогнозов, полученных двумя разными способами, различными с формальной (статистической) точки зрения. Отметим актуальность проблемы: многие эмпирические исследования показывают, что прогнозы по простым моделям очень часто оказываются лучше с точки зрения простейших статистик ачества, чем прогнозы, полученные более ыми методами.

ьнос

меры качества

_прогнозов

_(MAE и RMSE)

_являются

„относительными, то есть могут быть

_использованы

„для сравнения двух ли более) различных „прогнозов одного того же показателя

Тесты для проверки. о совпадении прогнозов

Самым простым способом проверки гипотезы о совпадении прогнозов, полученными двумя различными способами (А и В), является Р-тест, который рассчитывается как отношение выборочной ковариации между ошибками прогнозирования, полученными по различным моделям, к выборочной дисперсии ошибки прогнозирования, полученной по модели В. Для возможности применения теста необходимо, чтобы ошибки прогнозирования удовлетворяли всем стандартным требованиям, то есть имели нулевой средний уровень, являлись нормальными, а также серийно и одновременно некоррелированными. Такие серьезные ограничения являются главным недостатком теста, поскольку сильно ограничивают возможности его корректного использования применительно к реальным данным.

В тесте Моргана — Грейнджера — Ньюболда можно ослабить предположение об одновременной кор-релированности ошибок прогнозирования. Более того, Диболд и Мариано показали, что единственным предположением, которое не может быть ослаблено по сравнению с Р-тестом, является необходимость использования в качестве базовой статистики ЛМЖ.

Тест Миза — Рогоффа можно использовать, если ошибки прогнозирования являются и серийно, и одновременно коррелированными. И он совпадает с тестом Моргана — Грейнджера — Ньюболда, если ряды ошибок не являются серийно коррелированными.

Диболд и Мариано предложили тест, являющийся устойчивым к различным отклонениям от стандартных предположений о свойствах ошибок прогнозирования — они ослабили все предположения классического Р-теста. С этой точки зрения, данный тест является универсальным инструментом проверки гипотезы об отсутствии значимых различий между прогнозами.

Главным недостатком всех рассмотренных тестов, является то, что они дают хорошие результаты, если в наличии имеются длинные ряды прогнозов. Но чаще всего это условие не выполняется. В таком случае можно использовать тест знаков и ранговый тест знаков Вилкоксона, который является более мощным тестом (то есть при прочих равных условиях дает более достоверные результаты) по сравнению с тестом знаков.

..многие эмпирические исследования показывают, что прогнозы по простым моделям очень часто оказываются лучше.., чем прогнозы, полученные более сложными методами

Вывод

Все рассмотренные тесты хорошо работают при большом количестве наблюдений и при выполнении необходимых условий дают адекватные со статистической точки зрения результаты. Понятие большой выборки определить довольно сложно и для разных тестов пороговые значения могут быть различными. Например, для теста Миза — Рогоффа Диболд и Мариано определено, что достаточный размер выборки достигается при числе прогнозных точек больше 64.

Нарушение различных предположений тестов ведет к различным потерям, и мы не будем останавливаться на этом подробно. При наличии малого числа наблюдений лучше использовать тесты знаков, поскольку в этой ситуации они дают более адекватные результаты по сравнению с другими рассмотренными тестами.

Приложение

Пусть ут+1 — фактическое значение показателя в момент — прогноз этого показателя в момент

Т на г шагов вперед, в?!, = ут+г -/тч — ошибка прогноза в момент Т на г шагов вперед, Ь — горизонт прогнозирования.

1. МЛРЕ = 100% -У

Ут+.

= 100% -У

Угм

4. .-тест. Тестовая статистика выглядит следующим

образом:

где

Ь — горизонт прогнозирования; е, = : и е,= : — Ах]

(с ^ (е ВТ. 1

уелт.>ч

-векторы ошибок прогнозирования по моделям А и В, соответственно.

5. Тест Моргана — Грейнджера — Ньюболда. Тестовая статистика:

АЮА< =

— А,

‘(А-1)

А 1

где рхг — выборочный коэффициент корреляции между суммой (х) и разностью (г) ошибок прогнозирования различных моделей.

6. Тест Миза — Рогоффа. Тестовая статистик:

ш

где ухг — выборочный коэффициент ковариации между суммой и разностью ошибок прогнозирования моделей А и В; £ — состоятельная оценка ковариационной матрицы.

7. Тест знаков. В предположении о симметричности распределения разности функций потерь число положительных наблюдений в выборке размера h имеет биноминальное распределение с параметрами /1 и12. Тогда тестовая статистика имеет вид:

где/+(4)=|*’ j d,=g(eA7()-g(eEri) —

разность функций потерь прогнозов А и В, g (y т+i , fkTi ) — функция потерь, характеризующая отклонения прогнозных значений показателяyt в момент Т на i шагов вперед, оцененных на основе модели k (например, по модели А, либо В), от истинного значения yT+i в этот момент времени. В случае больших выборок используется статистика:

В случае отсутствия значимых различий прогнозных свойств моделей, статистика S2 должна быть приблизительно равна 0,5h , а S2a тогда принимает значение около нуля.

8. Ранговый тест знаков Вилкоксона. Можно использовать, если выполняются условия симметричности разности функций потерь ошибок прогнозирования различных моделей и разность функций потерь ошибок прогнозирования является независимой одинаково распределенной случайной величиной. В этом случае тестовая статистика может быть рассчитана как:

где rank di |- ранг абсолютной величины значения разности функций потерь ошибок прогнозирования различных моделей в момент времени i = 1 ,…, h. Тогда S3 — сумма рангов положительных значений разности функций потерь ошибок прогнозирования разных моделей. Критические значения для небольших выборок (h — мало) можно найти в специальных таблицах, для больших выборок (асимптотически) статистика имеет стандартное нормальное распределение.

Литература

1. Diebold F.X. Elements of Forecasting. — 4th ed. -Thomson South-Western, 2007.

2. Diebold F.X., Mariano R.S. Comparing Predictive Accuracy // Journal of Business and Economic Statistics. -1995. — № 13 (3). — pp. 253-263.

3. Granger, C.W.J., Newbold P. // Forecasting Economic Time Series, Orlando, Florida: Academic Press, 1997.

4. Meese, R.A., Rogoff K. Was it Real? The Exchange Rate -Interest Differential Relation Over the Modern FloatingRate Period // Journal of Finance. — 1997. — 43. — pp. 933948.

5. Morgan, W.A. A test for the Significance of the Difference Between the two variances in a Sample From Normal Bivariate Population // Biometrika. — 1939-1940. — 31. — pp. 13-19.

6. Stock, J.H. and M.W. Watson (1998а) A Comparison of Linear and Non-Linear Univariate Models for Forecasting Macroeconomic Time Series, NBER WP #6607, June.

7. Wilcoxon, F. Individual Comparisons by Ranking Methods // Biometrics Bulletin. — 1945. — 1 (6). — pp. 80-83.

8. Турунцева М., Юдин А., Дробышевский С., Кадочников П., Трунин П., Пономаренко С. Некоторые подходы к прогнозированию экономических показателей. — М.: ИЭПП, 2005.

9. Турунцева М., Киблицкая Т. Качественные свойства различных подходов к прогнозированию социально-экономических показателей РФ. — М.: ИЭПП, 2010.

Marina Yu. Turuntseva

Senior Researcher, Institute of Economic Policy named after E.T. Gaidar, Executive Head of Laboratory for Short-Term Forecasting

Assessment of Forecast Quality: the Simplest Methods

_Abstract

Tlhe article is devoted to the quality analysis of economic performance forecasting. The author considers the simplest statistical techniques which are used to compare several predictions of a given indicator, as well as a set of tests that allow answering the question about the statistical significance of differences between these forecasts.

Keywords: forecasting, assessment of forecast quality, economic activity, economic indicators