С чем связаны ошибки регрессии

From Wikipedia, the free encyclopedia

In statistics and optimization, errors and residuals are two closely related and easily confused measures of the deviation of an observed value of an element of a statistical sample from its «true value» (not necessarily observable). The error of an observation is the deviation of the observed value from the true value of a quantity of interest (for example, a population mean). The residual is the difference between the observed value and the estimated value of the quantity of interest (for example, a sample mean). The distinction is most important in regression analysis, where the concepts are sometimes called the regression errors and regression residuals and where they lead to the concept of studentized residuals.
In econometrics, «errors» are also called disturbances.^[1]^[2]^[3]

Introduction[edit]

Suppose there is a series of observations from a univariate distribution and we want to estimate the mean of that distribution (the so-called location model). In this case, the errors are the deviations of the observations from the population mean, while the residuals are the deviations of the observations from the sample mean.

A statistical error (or disturbance) is the amount by which an observation differs from its expected value, the latter being based on the whole population from which the statistical unit was chosen randomly. For example, if the mean height in a population of 21-year-old men is 1.75 meters, and one randomly chosen man is 1.80 meters tall, then the «error» is 0.05 meters; if the randomly chosen man is 1.70 meters tall, then the «error» is −0.05 meters. The expected value, being the mean of the entire population, is typically unobservable, and hence the statistical error cannot be observed either.

A residual (or fitting deviation), on the other hand, is an observable estimate of the unobservable statistical error. Consider the previous example with men’s heights and suppose we have a random sample of n people. The sample mean could serve as a good estimator of the population mean. Then we have:

The difference between the height of each man in the sample and the unobservable population mean is a statistical error, whereas
The difference between the height of each man in the sample and the observable sample mean is a residual.

Note that, because of the definition of the sample mean, the sum of the residuals within a random sample is necessarily zero, and thus the residuals are necessarily not independent. The statistical errors, on the other hand, are independent, and their sum within the random sample is almost surely not zero.

One can standardize statistical errors (especially of a normal distribution) in a z-score (or «standard score»), and standardize residuals in a t-statistic, or more generally studentized residuals.

In univariate distributions[edit]

If we assume a normally distributed population with mean μ and standard deviation σ, and choose individuals independently, then we have

${displaystyle X_{1},dots ,X_{n}sim Nleft(mu ,sigma ^{2}right),}$

and the sample mean

$overline{X}={X_1 + cdots + X_n over n}$

is a random variable distributed such that:

${displaystyle {overline {X}}sim Nleft(mu ,{frac {sigma ^{2}}{n}}right).}$

The statistical errors are then

${displaystyle e_{i}=X_{i}-mu ,,}$

with expected values of zero,^[4] whereas the residuals are

${displaystyle r_{i}=X_{i}-{overline {X}}.}$

The sum of squares of the statistical errors, divided by σ², has a chi-squared distribution with n degrees of freedom:

${displaystyle {frac {1}{sigma ^{2}}}sum _{i=1}^{n}e_{i}^{2}sim chi _{n}^{2}.}$

However, this quantity is not observable as the population mean is unknown. The sum of squares of the residuals, on the other hand, is observable. The quotient of that sum by σ² has a chi-squared distribution with only n − 1 degrees of freedom:

${frac 1{sigma ^{2}}}sum _{{i=1}}^{n}r_{i}^{2}sim chi _{{n-1}}^{2}.$

This difference between n and n − 1 degrees of freedom results in Bessel’s correction for the estimation of sample variance of a population with unknown mean and unknown variance. No correction is necessary if the population mean is known.

[edit]

It is remarkable that the sum of squares of the residuals and the sample mean can be shown to be independent of each other, using, e.g. Basu’s theorem. That fact, and the normal and chi-squared distributions given above form the basis of calculations involving the t-statistic:

${displaystyle T={frac {{overline {X}}_{n}-mu _{0}}{S_{n}/{sqrt {n}}}},}$

where ${displaystyle {overline {X}}_{n}-mu _{0}}$ represents the errors, $S_{n}$ represents the sample standard deviation for a sample of size n, and unknown σ, and the denominator term accounts for the standard deviation of the errors according to:^[5]

${displaystyle operatorname {Var} left({overline {X}}_{n}right)={frac {sigma ^{2}}{n}}}$

The probability distributions of the numerator and the denominator separately depend on the value of the unobservable population standard deviation σ, but σ appears in both the numerator and the denominator and cancels. That is fortunate because it means that even though we do not know σ, we know the probability distribution of this quotient: it has a Student’s t-distribution with n − 1 degrees of freedom. We can therefore use this quotient to find a confidence interval for μ. This t-statistic can be interpreted as «the number of standard errors away from the regression line.»^[6]

Regressions[edit]

In regression analysis, the distinction between errors and residuals is subtle and important, and leads to the concept of studentized residuals. Given an unobservable function that relates the independent variable to the dependent variable – say, a line – the deviations of the dependent variable observations from this function are the unobservable errors. If one runs a regression on some data, then the deviations of the dependent variable observations from the fitted function are the residuals. If the linear model is applicable, a scatterplot of residuals plotted against the independent variable should be random about zero with no trend to the residuals.^[5] If the data exhibit a trend, the regression model is likely incorrect; for example, the true function may be a quadratic or higher order polynomial. If they are random, or have no trend, but «fan out» — they exhibit a phenomenon called heteroscedasticity. If all of the residuals are equal, or do not fan out, they exhibit homoscedasticity.

However, a terminological difference arises in the expression mean squared error (MSE). The mean squared error of a regression is a number computed from the sum of squares of the computed residuals, and not of the unobservable errors. If that sum of squares is divided by n, the number of observations, the result is the mean of the squared residuals. Since this is a biased estimate of the variance of the unobserved errors, the bias is removed by dividing the sum of the squared residuals by df = n − p − 1, instead of n, where df is the number of degrees of freedom (n minus the number of parameters (excluding the intercept) p being estimated — 1). This forms an unbiased estimate of the variance of the unobserved errors, and is called the mean squared error.^[7]

Another method to calculate the mean square of error when analyzing the variance of linear regression using a technique like that used in ANOVA (they are the same because ANOVA is a type of regression), the sum of squares of the residuals (aka sum of squares of the error) is divided by the degrees of freedom (where the degrees of freedom equal n − p − 1, where p is the number of parameters estimated in the model (one for each variable in the regression equation, not including the intercept)). One can then also calculate the mean square of the model by dividing the sum of squares of the model minus the degrees of freedom, which is just the number of parameters. Then the F value can be calculated by dividing the mean square of the model by the mean square of the error, and we can then determine significance (which is why you want the mean squares to begin with.).^[8]

However, because of the behavior of the process of regression, the distributions of residuals at different data points (of the input variable) may vary even if the errors themselves are identically distributed. Concretely, in a linear regression where the errors are identically distributed, the variability of residuals of inputs in the middle of the domain will be higher than the variability of residuals at the ends of the domain:^[9] linear regressions fit endpoints better than the middle. This is also reflected in the influence functions of various data points on the regression coefficients: endpoints have more influence.

Thus to compare residuals at different inputs, one needs to adjust the residuals by the expected variability of residuals, which is called studentizing. This is particularly important in the case of detecting outliers, where the case in question is somehow different from the others in a dataset. For example, a large residual may be expected in the middle of the domain, but considered an outlier at the end of the domain.

Other uses of the word «error» in statistics[edit]

The use of the term «error» as discussed in the sections above is in the sense of a deviation of a value from a hypothetical unobserved value. At least two other uses also occur in statistics, both referring to observable prediction errors:

The mean squared error (MSE) refers to the amount by which the values predicted by an estimator differ from the quantities being estimated (typically outside the sample from which the model was estimated).
The root mean square error (RMSE) is the square-root of MSE.
The sum of squares of errors (SSE) is the MSE multiplied by the sample size.

Sum of squares of residuals (SSR) is the sum of the squares of the deviations of the actual values from the predicted values, within the sample used for estimation. This is the basis for the least squares estimate, where the regression coefficients are chosen such that the SSR is minimal (i.e. its derivative is zero).

Likewise, the sum of absolute errors (SAE) is the sum of the absolute values of the residuals, which is minimized in the least absolute deviations approach to regression.

The mean error (ME) is the bias.
The mean residual (MR) is always zero for least-squares estimators.

References[edit]

^ Kennedy, P. (2008). A Guide to Econometrics. Wiley. p. 576. ISBN 978-1-4051-8257-7. Retrieved 2022-05-13.
^ Wooldridge, J.M. (2019). Introductory Econometrics: A Modern Approach. Cengage Learning. p. 57. ISBN 978-1-337-67133-0. Retrieved 2022-05-13.
^ Das, P. (2019). Econometrics in Theory and Practice: Analysis of Cross Section, Time Series and Panel Data with Stata 15.1. Springer Singapore. p. 7. ISBN 978-981-329-019-8. Retrieved 2022-05-13.
^ Wetherill, G. Barrie. (1981). Intermediate statistical methods. London: Chapman and Hall. ISBN 0-412-16440-X. OCLC 7779780.
^ ^a ^b Frederik Michel Dekking; Cornelis Kraaikamp; Hendrik Paul Lopuhaä; Ludolf Erwin Meester (2005-06-15). A modern introduction to probability and statistics : understanding why and how. London: Springer London. ISBN 978-1-85233-896-1. OCLC 262680588.
^ Peter Bruce; Andrew Bruce (2017-05-10). Practical statistics for data scientists : 50 essential concepts (First ed.). Sebastopol, CA: O’Reilly Media Inc. ISBN 978-1-4919-5296-2. OCLC 987251007.
^ Steel, Robert G. D.; Torrie, James H. (1960). Principles and Procedures of Statistics, with Special Reference to Biological Sciences. McGraw-Hill. p. 288.
^ Zelterman, Daniel (2010). Applied linear models with SAS ([Online-Ausg.]. ed.). Cambridge: Cambridge University Press. ISBN 9780521761598.
^ «7.3: Types of Outliers in Linear Regression». Statistics LibreTexts. 2013-11-21. Retrieved 2019-11-22.

Cook, R. Dennis; Weisberg, Sanford (1982). Residuals and Influence in Regression (Repr. ed.). New York: Chapman and Hall. ISBN 041224280X. Retrieved 23 February 2013.
Cox, David R.; Snell, E. Joyce (1968). «A general definition of residuals». Journal of the Royal Statistical Society, Series B. 30 (2): 248–275. JSTOR 2984505.
Weisberg, Sanford (1985). Applied Linear Regression (2nd ed.). New York: Wiley. ISBN 9780471879572. Retrieved 23 February 2013.
«Errors, theory of», Encyclopedia of Mathematics, EMS Press, 2001 [1994]

External links[edit]

Media related to Errors and residuals at Wikimedia Commons

Источник

Когда мы подгоняем регрессионную модель к набору данных, нас часто интересует, насколько хорошо регрессионная модель «подходит» к набору данных. Две метрики, обычно используемые для измерения согласия, включают R -квадрат (R2) и стандартную ошибку регрессии , часто обозначаемую как S.

В этом руководстве объясняется, как интерпретировать стандартную ошибку регрессии (S), а также почему она может предоставить более полезную информацию, чем R 2 .

Стандартная ошибка по сравнению с R-квадратом в регрессии

Предположим, у нас есть простой набор данных, который показывает, сколько часов 12 студентов занимались в день в течение месяца, предшествующего важному экзамену, а также их баллы за экзамен:

Если мы подгоним простую модель линейной регрессии к этому набору данных в Excel, мы получим следующий результат:

R-квадрат — это доля дисперсии переменной отклика, которая может быть объяснена предикторной переменной. При этом 65,76% дисперсии экзаменационных баллов можно объяснить количеством часов, потраченных на учебу.

Стандартная ошибка регрессии — это среднее расстояние, на которое наблюдаемые значения отклоняются от линии регрессии. В этом случае наблюдаемые значения отклоняются от линии регрессии в среднем на 4,89 единицы.

Если мы нанесем фактические точки данных вместе с линией регрессии, мы сможем увидеть это более четко:

Обратите внимание, что некоторые наблюдения попадают очень близко к линии регрессии, в то время как другие не так близки. Но в среднем наблюдаемые значения отклоняются от линии регрессии на 4,19 единицы .

Стандартная ошибка регрессии особенно полезна, поскольку ее можно использовать для оценки точности прогнозов. Примерно 95% наблюдений должны находиться в пределах +/- двух стандартных ошибок регрессии, что является быстрым приближением к 95% интервалу прогнозирования.

Если мы заинтересованы в прогнозировании с использованием модели регрессии, стандартная ошибка регрессии может быть более полезной метрикой, чем R-квадрат, потому что она дает нам представление о том, насколько точными будут наши прогнозы в единицах измерения.

Чтобы проиллюстрировать, почему стандартная ошибка регрессии может быть более полезной метрикой для оценки «соответствия» модели, рассмотрим другой пример набора данных, который показывает, сколько часов 12 студентов занимались в день в течение месяца, предшествующего важному экзамену, а также их экзаменационная оценка:

Обратите внимание, что это точно такой же набор данных, как и раньше, за исключением того, что все значения s сокращены вдвое.Таким образом, студенты из этого набора данных учились ровно в два раза дольше, чем студенты из предыдущего набора данных, и получили ровно половину экзаменационного балла.

Обратите внимание, что R-квадрат 65,76% точно такой же, как и в предыдущем примере.

Однако стандартная ошибка регрессии составляет 2,095 , что ровно вдвое меньше стандартной ошибки регрессии в предыдущем примере.

Если мы нанесем фактические точки данных вместе с линией регрессии, мы сможем увидеть это более четко:

Обратите внимание на то, что наблюдения располагаются гораздо плотнее вокруг линии регрессии. В среднем наблюдаемые значения отклоняются от линии регрессии на 2,095 единицы .

Таким образом, несмотря на то, что обе модели регрессии имеют R-квадрат 65,76% , мы знаем, что вторая модель будет давать более точные прогнозы, поскольку она имеет более низкую стандартную ошибку регрессии.

Преимущества использования стандартной ошибки

Стандартную ошибку регрессии (S) часто бывает полезнее знать, чем R-квадрат модели, потому что она дает нам фактические единицы измерения. Если мы заинтересованы в использовании регрессионной модели для получения прогнозов, S может очень легко сказать нам, достаточно ли точна модель для прогнозирования.

Например, предположим, что мы хотим создать 95-процентный интервал прогнозирования, в котором мы можем прогнозировать результаты экзаменов с точностью до 6 баллов от фактической оценки.

Наша первая модель имеет R-квадрат 65,76%, но это ничего не говорит нам о том, насколько точным будет наш интервал прогнозирования. К счастью, мы также знаем, что у первой модели показатель S равен 4,19. Это означает, что 95-процентный интервал прогнозирования будет иметь ширину примерно 2*4,19 = +/- 8,38 единиц, что слишком велико для нашего интервала прогнозирования.

Наша вторая модель также имеет R-квадрат 65,76%, но опять же это ничего не говорит нам о том, насколько точным будет наш интервал прогнозирования. Однако мы знаем, что вторая модель имеет S 2,095. Это означает, что 95-процентный интервал прогнозирования будет иметь ширину примерно 2*2,095= +/- 4,19 единиц, что меньше 6 и, следовательно, будет достаточно точным для использования для создания интервалов прогнозирования.

Дальнейшее чтение

Введение в простую линейную регрессию
Что такое хорошее значение R-квадрата?

Источник

Сегодня будет сделанный с любовью обзор функций ошибок и функционалов качества в задачах регрессии.

Выкладываю часть главы «Метрики качества» из своей вечно недописанной книги. Она полностью сделана по материалам моего курса в МГУ. Краткое содержание:

Качество работы алгоритма
Функции ошибки в задачах регрессии
Средний модуль отклонения (MAE – Mean Absolute Error или MAD – Mean Absolute Deviation)
Средний квадрат отклонения (MSE – Mean Squared Error), корень из этой ошибки: RMSE – Root Mean Squared Error, коэффициент детерминации (R²)
функция ошибки Хьюбера (Huber loss) и logcosh
Обобщения MAE и RMSE
Средний процент отклонения (MAPE – Mean Absolute Percent Error)
Симметричный средний процент отклонения (SMAPE – Symmetric Mean Absolute Percentage Error)
MRAE – Mean Relative Absolute Error, REL_MAE, Percent Better
MASE (Mean Absolute Scaled Error)
eB – процент случаев, когда ответ алгоритма верен с некоторой заранее заданной точностью
Несимметричные функции ошибки
Реализация функций ошибок в scikit-learn

Материал ещё сырой, поэтому все замечания, предложения, найденные неточности и ошибки пишите в комментарии.

Предыдущие посты из этой серии:

Логистическая функция ошибки
AUC ROC (площадь под кривой ошибок)
Задачки про AUC (ROC)

И побуду «заядлым блогером»: если пост наберёт больше 2000 просмотров, то опубликую продолжение главы;)

Источник

Стандартная ошибка регрессии и R-квадрат являются ценными математическими расчетами, которые можно использовать для оценки набора данных. Хотя эти два вычисления похожи, между ними есть явные различия, которые делают их реализацию уникальной. Изучение того, как использовать как стандартную ошибку регрессии, так и R-квадрат, может улучшить ваши аналитические способности и сделать вас более эффективным профессионалом. В этой статье мы обсудим, что такое стандартная ошибка регрессии, что такое R-квадрат и как они сравниваются, включая ключевые различия в их применении.

Что такое стандартная ошибка регрессии?

Стандартная ошибка регрессии — это мера логической регрессии, которую можно применить к набору данных, чтобы определить, насколько среднее значение в наборе данных отличается от линии регрессии данных. Это дает представление о том, насколько точно ваша регрессия соответствует набору данных и насколько вы должны быть уверены в значении, оцененном с использованием линии регрессии. При выполнении анализа значений со стандартной ошибкой регрессии примерно 95% наблюдаемых данных должны быть менее чем на две стандартные ошибки регрессии удалены от линии регрессии.

R-квадрат — это измерение регрессии, применяемое к набору данных, которое анализирует взаимосвязь между зависимой переменной и независимой переменной. Нахождение коэффициента R-квадрата говорит о том, какой процент зависимой переменной можно точно предсказать на основе значения независимой переменной. Более высокое значение R-квадрата указывает на сильную корреляцию между двумя переменными, в то время как низкое значение R-квадрата указывает на меньшую прямую корреляцию между двумя переменными. Это может помочь вам определить, насколько предсказуемо вы можете учесть изменения в выпуске, например, изменив один из производственных факторов.

Стандартная ошибка регрессии по сравнению с R-квадратом

Хотя и стандартная ошибка регрессии, и R-квадрат могут предоставить ценную информацию при оценке набора данных, между ними есть важные различия, которые могут помочь вам определить, что более полезно и можно ли эффективно применять оба метода. Ключевые различия между R-квадратом и стандартной ошибкой регрессии включают:

Единицы

Первое существенное различие между двумя вычислениями — это единицы, в которых они возвращают значения. При расчете R-квадрата вы получаете значение в виде безразмерного десятичного числа. Вы можете преобразовать это в проценты, умножив на 100. R-квадрат остается таким, независимо от единиц измерения, используемых для анализируемой вами информации.

При расчете стандартной ошибки регрессии вы получаете ответ в тех же единицах, что и ваша независимая переменная. Например, оценка максимальной скорости транспортных средств по сравнению с их мощностью вернет R-квадрат, измеренный в процентах, и ошибку регрессии, измеренную в милях в час.

Предоставленная информация

Точно так же, как в обоих расчетах используются разные единицы измерения, стандартная ошибка регрессии и R-квадрат также предоставляют разную информацию при их использовании. Стандартная ошибка регрессии предоставляет конкретную информацию, связанную с точной производительностью измеряемых переменных. Функционируя в единицах, которые вы использовали для измерения зависимой переменной, он показывает, насколько последовательно вы можете прогнозировать производительность, основываясь на знании независимой переменной.

R-квадрат не предоставляет вам напрямую применимую информацию о том, насколько точно вы можете оценить значение на зависимом уровне. Вместо этого он позволяет вам анализировать существующие результаты и определять, какую часть производительности зависимой переменной вы можете напрямую отнести к эффектам независимой переменной.

Практическое применение

Эти различия в единицах измерения и информации оказывают существенное влияние на практическое применение каждого расчета. Стандартная ошибка регрессии позволяет вам определить предполагаемые уровни производительности и ваш уровень уверенности в этом. Низкая стандартная ошибка регрессии означает, что ваши данные более тесно связаны с вашей линией регрессии, и вы можете более точно прогнозировать результаты на уровне конкретной зависимой переменной. Часто это более простое для понимания приложение, поскольку получение информации в измеряемых единицах облегчает понимание результатов стандартной ошибки регрессии.

Вместо этого практическое применение R-квадрата лучше всего использовать для определения взаимосвязи между двумя переменными. Анализ корреляции между зависимыми и независимыми переменными может помочь вам принимать обоснованные бизнес-решения. Например, выявление прочной связи между качеством компонента и удовлетворенностью клиентов может продемонстрировать ценность, предлагаемую инвестициями в более дорогое сырье в производственном процессе. Выявление корреляции с низким R-квадратом вместо этого указывает на минимальное влияние на зависимую переменную, если вы вносите изменения в независимую переменную.

Пример стандартной ошибки регрессии по сравнению с R-квадратом

Компания проводит анализ эффективности рекламных кампаний, связанных с продажами отдельного продукта в своей линейке. Ранее компания провела пять рекламных кампаний с разными бюджетами для каждого случая. Они создают набор данных, фиксирующий маркетинговый бюджет, выделенный на каждую кампанию, количество продаж, произведенных во время каждой кампании, и соотношение долларов на продажу для каждой кампании.

Маркетинговый бюджетКоэффициент продаж ($/продажа)**Стандартная ошибка**1 6 100 000 долларов 1913 254,5882 13 600 47029 долларов США
313 40057423$**R-квадрат**413300451290,920015$67002213092%**Используя автоматизированные функции в своей программе электронных таблиц, компания вычисляет стандартную ошибку регрессии и R-квадрат для маркетинговых данных. Документ возвращает R-квадрат, равный 92%, что указывает на сильную связь между расходами на маркетинг и произведенными продажами. Увеличение или уменьшение расходов оказывает существенное влияние на количество продаж. Стандартная ошибка вычисления регрессии возвращает значение 54,588, что означает, что данные о продажах отличаются от линии регрессии в среднем на 54,588 продаж. Таким образом, при оценке продаж для установленного бюджета компания может ожидать среднюю ошибку менее 55 общих продаж.

Источник

Introduction[edit]

In univariate distributions[edit]

[edit]

Regressions[edit]

Other uses of the word «error» in statistics[edit]

See also[edit]

References[edit]

External links[edit]

Стандартная ошибка по сравнению с R-квадратом в регрессии

Преимущества использования стандартной ошибки

Что такое стандартная ошибка регрессии?

Стандартная ошибка регрессии по сравнению с R-квадратом

Единицы

Предоставленная информация

Практическое применение

Пример стандартной ошибки регрессии по сравнению с R-квадратом

Возможно, вам также будет интересно: