Математика на пръстите: методи на най-малките квадрати. Къде се прилага методът на най-малките квадрати?

Същността на метода на най-малките квадрати е при намиране на параметрите на модела на тенденцията, който най-добре описва тенденцията на развитие на всяко случайно явление във времето или пространството (тенденцията е линия, която характеризира тенденцията на това развитие). Задачата на метода на най-малките квадрати (OLS) е да намери не просто някакъв модел на тенденция, а да намери най-добрия или оптимален модел. Този модел ще бъде оптимален, ако сумата от квадратните отклонения между наблюдаваните действителни стойности и съответните изчислени стойности на тенденцията е минимална (най-малка):

където е стандартното отклонение между наблюдаваната действителна стойност

и съответната изчислена стойност на тренда,

Действителната (наблюдавана) стойност на изследваното явление,

Прогнозна стойност на модела на тренда,

Броят на наблюденията на изследваното явление.

MNC рядко се използва самостоятелно. По правило най-често се използва само като необходима техника при корелационни изследвания. Трябва да се помни, че информационната основа на LSM може да бъде само надеждна статистическа серия и броят на наблюденията не трябва да бъде по-малък от 4, в противен случай процедурите за изглаждане на LSM могат да загубят здравия си смисъл.

Инструментариумът OLS се свежда до следните процедури:

Първа процедура. Оказва се дали изобщо има тенденция за промяна на резултантния атрибут при промяна на избрания фактор-аргумент или с други думи дали има връзка между " при " и " х ».

Втора процедура. Определя се коя линия (траектория) може най-добре да опише или характеризира тази тенденция.

Трета процедура.

Пример. Да предположим, че имаме информация за средния добив на слънчоглед за изследваната ферма (Таблица 9.1).

Таблица 9.1

Номер на наблюдение
Производителност, c/ha

Тъй като нивото на технологията на производството на слънчоглед у нас не се е променило много през последните 10 години, това означава, че най-вероятно колебанията в добивите през анализирания период са зависили в голяма степен от колебанията в метеорологичните и климатичните условия. Вярно ли е?

Първа процедура на MNC. Проверява се хипотезата за наличието на тенденция в изменението на добива от слънчоглед в зависимост от промените в метеорологичните и климатичните условия през анализираните 10 години.

В този пример за " г » препоръчително е да се вземе добивът от слънчоглед, а за « х » е номерът на наблюдаваната година в анализирания период. Проверка на хипотезата за съществуването на някаква връзка между " х " и " г » може да се извърши по два начина: ръчно и с помощта на компютърни програми. Разбира се, с наличието на компютърни технологии, този проблем се решава от само себе си. Но за да разберем по-добре инструментариума на OLS, е препоръчително да тестваме хипотезата за съществуването на връзка между " х " и " г » ръчно, когато имате под ръка само химикал и обикновен калкулатор. В такива случаи хипотезата за наличието на тенденция се проверява най-добре визуално чрез местоположението на графичното изображение на анализирания динамичен ред - корелационното поле:

Корелационното поле в нашия пример е разположено около бавно нарастваща линия. Това само по себе си говори за наличието на определена тенденция в изменението на добива от слънчоглед. Невъзможно е да се говори за наличието на някаква тенденция само когато корелационното поле изглежда като кръг, кръг, строго вертикален или строго хоризонтален облак или се състои от произволно разпръснати точки. Във всички останали случаи е необходимо да се потвърди хипотезата за наличието на връзка между " х " и " г и продължете изследванията.

Втора процедура на MNC. Определя се коя линия (траектория) може най-добре да опише или характеризира тенденцията в изменението на добива на слънчоглед за анализирания период.

С наличието на компютърна технология изборът на оптимална тенденция става автоматично. При "ръчна" обработка изборът на оптимална функция се извършва, като правило, визуално - чрез местоположението на корелационното поле. Тоест според вида на диаграмата се избира уравнението на линията, което е най-подходящо за емпиричния тренд (към реалната траектория).

Както знаете, в природата има огромно разнообразие от функционални зависимости, така че е изключително трудно да се анализира визуално дори малка част от тях. За щастие в реалната икономическа практика повечето връзки могат да бъдат точно описани или с парабола, или с хипербола, или с права линия. В тази връзка с опцията "ръчно" за избор на най-добрата функция можете да се ограничите само до тези три модела.

		Хипербола:

Парабола от втори ред: :

Лесно се вижда, че в нашия пример тенденцията в промените в добива на слънчоглед през анализираните 10 години се характеризира най-добре с права линия, така че регресионното уравнение ще бъде уравнение на права линия.

Трета процедура. Изчисляват се параметрите на регресионното уравнение, което характеризира тази линия, или с други думи се определя аналитична формула, която описва най-добрия трендов модел.

Намирането на стойностите на параметрите на регресионното уравнение, в нашия случай, параметрите и , е ядрото на LSM. Този процес се свежда до решаване на система от нормални уравнения.

(9.2)

Тази система от уравнения се решава доста лесно по метода на Гаус. Припомнете си, че в резултат на решението в нашия пример се намират стойностите на параметрите и . По този начин намереното регресионно уравнение ще има следната форма:

Метод на най-малките квадрати

Метод на най-малките квадрати ( MNK, OLS, обикновени най-малки квадрати) - един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни. Методът се основава на минимизиране на сумата от квадратите на регресионните остатъци.

Трябва да се отбележи, че самият метод на най-малките квадрати може да се нарече метод за решаване на проблем във всяка област, ако решението се състои от или удовлетворява определен критерий за минимизиране на сумата от квадратите на някои функции на неизвестните променливи. Следователно методът на най-малките квадрати може да се използва и за приблизително представяне (апроксимация) на дадена функция чрез други (по-прости) функции, когато се намира набор от величини, които отговарят на уравнения или ограничения, чийто брой надвишава броя на тези величини и т.н.

Същността на МНК

Нека някакъв (параметричен) модел на вероятностна (регресионна) зависимост между (обяснената) променлива ги много фактори (обяснителни променливи) х

където е векторът на неизвестните параметри на модела

- Случайна грешка в модела.

Нека има и примерни наблюдения на стойностите на посочените променливи. Нека е номерът на наблюдение (). След това са стойностите на променливите в -тото наблюдение. След това, за дадени стойности на параметрите b, е възможно да се изчислят теоретичните (моделни) стойности на обяснената променлива y:

Стойността на остатъците зависи от стойностите на параметрите b.

Същността на LSM (обикновен, класически) е да се намерят такива параметри b, за които сумата от квадратите на остатъците (англ. Остатъчен сбор от квадрати) ще бъде минимален:

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизация). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - английски. Нелинейни най-малки квадрати). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията чрез диференцирането й по отношение на неизвестните параметри b, приравняването на производните към нула и решаването на получената система от уравнения:

Ако случайните грешки на модела са нормално разпределени, имат една и съща вариация и не са корелирани една с друга, оценките на параметрите на най-малките квадрати са същите като оценките на метода на максималната вероятност (MLM).

LSM в случай на линеен модел

Нека регресионната зависимост е линейна:

Позволявам г- колонен вектор на наблюденията на обяснената променлива и - матрица на факторните наблюдения (редове на матрицата - вектори на стойностите на факторите в дадено наблюдение, по колони - вектор на стойностите на даден фактор във всички наблюдения). Матричното представяне на линейния модел има формата:

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни на

съответно сумата от квадратите на регресионните остатъци ще бъде равна на

Диференцирайки тази функция по отношение на вектора на параметъра и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

.

Решението на тази система от уравнения дава общата формула за оценки на най-малките квадрати за линейния модел:

За аналитични цели последното представяне на тази формула се оказва полезно. Ако данните в регресионния модел центриран, тогава в това представяне първата матрица има значението на примерна ковариационна матрица на фактори, а втората е вектор на ковариации на фактори със зависима променлива. Ако в допълнение данните също са нормализиранв SKO (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - векторът на извадковите корелации на факторите със зависимата променлива.

Важно свойство на оценките на LLS за модели с константа- линията на построената регресия минава през центъра на тежестта на извадковите данни, т.е. равенството е изпълнено:

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на единичен параметър (самата константа) е равна на средната стойност на променливата, която се обяснява. Тоест средната аритметична стойност, известна с добрите си свойства от законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минимална сума на квадратите на отклонения от нея.

Пример: проста (по двойки) регресия

В случай на сдвоена линейна регресия, формулите за изчисление са опростени (можете да правите без матрична алгебра):

Свойства на оценките на OLS

На първо място, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни оценки, както следва от горната формула. За безпристрастни оценки на OLS е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: в зависимост от факторите, математическото очакване на случайна грешка трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

1. математическото очакване на случайни грешки е нула и
2. факторите и случайните грешки са независими случайни променливи.

Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за последователност на оценките е достатъчно да се изпълни условието за екзогенност заедно с конвергенцията на матрицата към някаква неособена матрица с увеличаване на размера на извадката до безкрайност.

За да могат, в допълнение към последователността и безпристрастността, (обикновените) оценки на най-малките квадрати също да бъдат ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат изпълнени допълнителни свойства на случайна грешка:

Тези предположения могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективни оценки в класа на всички линейни безпристрастни оценки (в англоезичната литература понякога се използва съкращението син (Най-добрият линеен небазиран оценител) е най-добрата линейна безпристрастна оценка; в местната литература по-често се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

Обобщени най-малки квадрати

Методът на най-малките квадрати позволява широко обобщение. Вместо да се минимизира сумата от квадрати на остатъците, може да се минимизира някаква положително определена квадратна форма на остатъчния вектор, където е някаква симетрична положително определена матрица на тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно от теорията на симетричните матрици (или оператори), за такива матрици има декомпозиция. Следователно посоченият функционал може да бъде представен по следния начин, тоест този функционал може да бъде представен като сбор от квадратите на някои трансформирани "остатъци". По този начин можем да разграничим клас от методи на най-малките квадрати - LS-методи (Least Squares).

Доказано е (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективни (в класа на линейните непредубедени оценки) са оценките на т.нар. обобщени OLS (OMNK, GLS - обобщени най-малки квадрати)- LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: .

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има формата

Ковариационната матрица на тези оценки съответно ще бъде равна на

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглени най-малки квадрати

В случай на диагонална матрица на тегло (и оттам ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава "тегло", което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: . Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки), а нормалните най-малки квадрати се прилагат към претеглените данни.

Някои частни случаи на приложение на LSM в практиката

Линейна апроксимация

Разгледайте случая, когато в резултат на изследване на зависимостта на определено скаларно количество от определено скаларно количество (Това може да бъде например зависимостта на напрежението от силата на тока: , където е постоянна стойност, съпротивлението на проводника ), тези количества бяха измерени, в резултат на което стойностите и бяха получени съответните им стойности. Данните от измерванията трябва да се записват в таблица.

Таблица. Резултати от измерването.

номер на измерване
1
2
3
4
5
6

Въпросът звучи така: каква стойност на коефициента може да се избере, за да опише най-добре зависимостта? Според най-малките квадрати тази стойност трябва да бъде такава, че сумата от квадратните отклонения на стойностите от стойностите

беше минимален

Сумата от квадратите на отклоненията има един екстремум - минимум, което ни позволява да използваме тази формула. Нека намерим стойността на коефициента от тази формула. За да направим това, трансформираме лявата му страна, както следва:

Последната формула ни позволява да намерим стойността на коефициента , която беше необходима в задачата.

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава са използвани определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, като се започне от едни и същи данни от наблюдения, са стигнали до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres ) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда неговите вероятностни приложения. Методът е широко разпространен и подобрен с по-нататъшни изследвания на Encke, Bessel, Hansen и други.

Алтернативно използване на MNC

Идеята за метода на най-малките квадрати може да се използва и в други случаи, които не са пряко свързани с регресионния анализ. Факт е, че сумата от квадрати е една от най-често срещаните мерки за близост за вектори (Евклидова метрика в крайномерни пространства).

Едно приложение е „решаване“ на системи от линейни уравнения, в които броят на уравненията е по-голям от броя на променливите

където матрицата не е квадратна, а правоъгълна.

Такава система от уравнения в общия случай няма решение (ако рангът действително е по-голям от броя на променливите). Следователно тази система може да бъде "решена" само в смисъл на избор на такъв вектор, за да се минимизира "разстоянието" между векторите и . За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. Лесно е да се покаже, че решението на този проблем за минимизиране води до решението на следната система от уравнения

Което намира най-широко приложение в различни области на науката и практиката. Това може да бъде физика, химия, биология, икономика, социология, психология и така нататък и така нататък. По волята на съдбата често ми се налага да се справям с икономиката и затова днес ще ви уредя билет до една невероятна страна, наречена Иконометрия=) … Как не искаш?! Там е много добре - само трябва да решите! …Но това, което вероятно определено искате, е да се научите как да решавате проблеми най-малки квадрати. И особено прилежните читатели ще се научат да ги решават не само точно, но и МНОГО БЪРЗО ;-) Но първо общо изложение на проблема+ свързан пример:

Нека в някаква предметна област се изучават показатели, които имат количествен израз. В същото време има всички основания да се смята, че индикаторът зависи от индикатора. Това предположение може да бъде както научна хипотеза, така и базирано на елементарен здрав разум. Да оставим науката настрана обаче и да разгледаме по-апетитните области – а именно хранителните магазини. Означава се с:

– търговска площ на магазин за хранителни стоки, кв.м.
- годишен оборот на магазин за хранителни стоки, милиона рубли.

Съвсем ясно е, че колкото по-голяма е площта на магазина, толкова по-голям е неговият оборот в повечето случаи.

Да предположим, че след провеждане на наблюдения / експерименти / изчисления / танци с тамбура имаме на разположение числени данни:

С магазините за хранителни стоки мисля, че всичко е ясно: - това е площта на 1-ви магазин, - годишният му оборот, - площта на 2-ри магазин, - годишният му оборот и т.н. Между другото, изобщо не е необходимо да имате достъп до класифицирани материали - доста точна оценка на оборота може да се получи с помощта на математическа статистика. Въпреки това, не се разсейвайте, курсът на търговския шпионаж вече е платен =)

Табличните данни също могат да бъдат записани под формата на точки и изобразени по обичайния за нас начин. Декартова система .

Да отговорим на един важен въпрос: колко точки са необходими за качествено изследване?

Колкото по-голям, толкова по-добре. Минималният допустим набор се състои от 5-6 точки. Освен това, при малко количество данни, „ненормалните“ резултати не трябва да се включват в извадката. Така например малък елитен магазин може да помогне с порядъци повече от „техните колеги“, като по този начин изкриви общия модел, който трябва да се намери!

Ако е съвсем просто, трябва да изберем функция, графиккойто минава възможно най-близо до точките . Такава функция се нарича приближаващ (приближение - приближение)или теоретична функция . Най-общо казано, тук веднага се появява очевиден "претендент" - полином от висока степен, чиято графика минава през ВСИЧКИ точки. Но тази опция е сложна и често просто неправилна. (тъй като графиката ще се „вие“ през цялото време и ще отразява слабо основната тенденция).

Така желаната функция трябва да бъде достатъчно проста и в същото време да отразява адекватно зависимостта. Както може би се досещате, един от методите за намиране на такива функции се нарича най-малки квадрати. Първо, нека анализираме най-общо неговата същност. Нека някаква функция апроксимира експерименталните данни:


Как да оценим точността на това приближение? Нека изчислим и разликите (отклоненията) между експерименталните и функционалните стойности (изучаваме чертежа). Първата мисъл, която идва на ум, е да преценим колко голяма е сумата, но проблемът е, че разликите могат да бъдат отрицателни. (например, ) и отклоненията в резултат на такова сумиране ще се компенсират взаимно. Следователно, като оценка на точността на приближението, се предлага да се вземе сумата модулиотклонения:

или в сгънат вид: (изведнъж, кой не знае: е иконата на сумата и е спомагателна променлива - „брояч“, която приема стойности от 1 до ).

Чрез приближаване на експерименталните точки с различни функции, ще получим различни стойности на и е очевидно, че когато тази сума е по-малка, тази функция е по-точна.

Такъв метод съществува и се нарича метод на най-малък модул. На практика обаче той стана много по-разпространен. метод на най-малките квадрати, при които възможните отрицателни стойности се елиминират не чрез модула, а чрез квадратиране на отклоненията:

, след което усилията се насочват към избор на такава функция, че сумата от квадратите на отклоненията беше възможно най-малък. Всъщност оттам идва и името на метода.

И сега се връщаме към друг важен момент: както беше отбелязано по-горе, избраната функция трябва да е доста проста - но има и много такива функции: линеен , хиперболичен, експоненциален, логаритмичен, квадратна и т.н. И, разбира се, тук веднага бих искал да „намаля сферата на дейност“. Какъв клас функции да избера за изследване? Примитивна, но ефективна техника:

- Най-лесният начин за теглене на точки върху чертежа и анализирайте местоположението им. Ако те са склонни да бъдат в права линия, тогава трябва да потърсите уравнение на права линия с оптимални стойности и . С други думи, задачата е да се намерят ТАКИВА коефициенти - така че сумата на квадратите на отклоненията да е най-малка.

Ако точките са разположени, например, по хипербола, тогава е ясно, че линейната функция ще даде лошо приближение. В този случай ние търсим най-„благоприятните“ коефициенти за уравнението на хипербола - тези, които дават минималния сбор от квадрати .

Сега забележете, че и в двата случая говорим функции на две променливи, чиито аргументи са търсени опции за зависимост:

И по същество трябва да решим една стандартна задача - да намерим минимум на функция на две променливи.

Спомнете си нашия пример: да предположим, че точките "магазин" са склонни да бъдат разположени в права линия и има всички основания да се смята, че присъствието линейна зависимостоборот от търговската площ. Нека намерим ТАКИВА коефициенти "a" и "be", така че сумата от квадратите на отклоненията беше най-малкият. Всичко както обикновено - първо частни производни от 1-ви ред. Според правило за линейностможете да разграничите точно под иконата за сума:

Ако искате да използвате тази информация за есе или курсова работа, ще бъда много благодарен за връзката в списъка с източници, няма да намерите толкова подробни изчисления никъде:

Нека направим стандартна система:

Ние намаляваме всяко уравнение с „две“ и в допълнение „разбиваме“ сумите:

Забележка : независимо анализирайте защо "a" и "be" могат да бъдат извадени от иконата за сума. Между другото, формално това може да стане със сумата

Нека пренапишем системата в "приложена" форма:

след което алгоритъмът за решаване на нашия проблем започва да се чертае:

Знаем ли координатите на точките? Ние знаем. Суми можем ли да намерим? Лесно. Ние съставяме най-простите система от две линейни уравнения с две неизвестни("a" и "beh"). Решаваме системата, напр. Методът на Крамер, което води до неподвижна точка. Проверка достатъчно условие за екстремум, можем да проверим, че в този момент функцията достига точно минимум. Проверката е свързана с допълнителни изчисления и затова ще я оставим зад кулисите. (при необходимост може да се види липсващата рамка). Правим окончателното заключение:

функция по най-добрия начин (поне в сравнение с всяка друга линейна функция)сближава експерименталните точки . Грубо казано, неговата графика минава възможно най-близо до тези точки. В традицията иконометрияполучената апроксимираща функция също се нарича сдвоено уравнение на линейна регресия .

Разглежданият проблем е от голямо практическо значение. В ситуацията с нашия пример, уравнението ви позволява да предвидите какъв оборот ("yig")ще бъде в магазина с една или друга стойност на търговската площ (едно или друго значение на "х"). Да, получената прогноза ще бъде само прогноза, но в много случаи ще се окаже доста точна.

Ще анализирам само една задача с "реални" числа, тъй като в нея няма трудности - всички изчисления са на нивото на училищната програма в 7-8 клас. В 95 процента от случаите ще бъдете помолени да намерите само линейна функция, но в самия край на статията ще покажа, че не е по-трудно да намерите уравненията за оптималната хипербола, експонента и някои други функции.

Всъщност остава да раздадете обещаните екстри - за да се научите как да решавате такива примери не само точно, но и бързо. Ние внимателно изучаваме стандарта:

Задача

В резултат на изследване на връзката между два показателя бяха получени следните двойки числа:

Използвайки метода на най-малките квадрати, намерете линейната функция, която най-добре приближава емпиричната (опитен)данни. Направете чертеж, на който в декартова правоъгълна координатна система нанесете експериментални точки и графика на апроксимиращата функция . Намерете сумата от квадратите на отклоненията между емпиричните и теоретичните стойности. Разберете дали функцията е по-добра (по метода на най-малките квадрати)приблизителни експериментални точки.

Имайте предвид, че стойностите на "x" са естествени стойности и това има характерно смислено значение, за което ще говоря малко по-късно; но те, разбира се, могат да бъдат дробни. Освен това, в зависимост от съдържанието на конкретна задача, стойностите на "X" и "G" могат да бъдат напълно или частично отрицателни. Е, дадена ни е „безлична“ задача и я започваме решение:

Намираме коефициентите на оптималната функция като решение на системата:

За целите на по-компактно записване, променливата „брояч“ може да бъде пропусната, тъй като вече е ясно, че сумирането се извършва от 1 до .

По-удобно е да се изчислят необходимите количества в таблична форма:


Изчисленията могат да се извършват на микрокалкулатор, но е много по-добре да използвате Excel - както по-бързо, така и без грешки; вижте кратко видео:

Така получаваме следното система:

Тук можете да умножите второто уравнение по 3 и извадете 2-то от 1-вото уравнение член по член. Но това е късмет - на практика системите често не са надарени и в такива случаи спестява Методът на Крамер:
, така че системата има уникално решение.

Да направим проверка. Разбирам, че не искам, но защо пропускате грешки, когато абсолютно не можете да ги пропуснете? Заместете намереното решение в лявата част на всяко уравнение на системата:

Получават се правилните части на съответните уравнения, което означава, че системата е решена правилно.

Така желаната апроксимираща функция: – от всички линейни функцииексперименталните данни се апроксимират най-добре с него.

За разлика от прав зависимост на оборота на магазина от неговата площ, установената зависимост е обратен (принцип "колкото повече - толкова по-малко"), и този факт веднага се разкрива от негатива ъглов коефициент. функция ни информира, че при увеличение на даден показател с 1 единица стойността на зависимия показател намалява средно аритметичнос 0,65 единици. Както се казва, колкото по-висока е цената на елдата, толкова по-малко се продава.

За да начертаем апроксимиращата функция, намираме две нейни стойности:

и изпълнете чертежа:


Построената линия се нарича тренд линия (а именно линейна линия на тенденция, т.е. в общия случай тенденцията не е непременно права линия). Всеки е запознат с израза „да си в тенденция“ и смятам, че този термин не се нуждае от допълнителни коментари.

Изчислете сумата на квадратите на отклоненията между емпирични и теоретични стойности. Геометрично това е сумата от квадратите на дължините на "пурпурните" сегменти (две от които са толкова малки, че дори не можете да ги видите).

Нека обобщим изчисленията в таблица:


Те отново могат да се извършват ръчно, за всеки случай ще дам пример за 1-ва точка:

но е много по-ефективно да направите вече познатия начин:

Да повторим: какво е значението на резултата?от всички линейни функциифункция показателят е най-малкият, т.е. това е най-доброто приближение в своето семейство. И тук, между другото, последният въпрос на проблема не е случаен: какво ще стане, ако предложената експоненциална функция ще бъде ли по-добре да се приближат експерименталните точки?

Да намерим съответната сума на квадратите на отклоненията - за да ги различим, ще ги обознача с буквата "епсилон". Техниката е абсолютно същата:


И отново за всяко изчисление на пожар за 1-ва точка:

В Excel използваме стандартната функция EXP (Синтаксисът може да бъде намерен в помощта на Excel).

Заключение: , така че експоненциалната функция приближава експерименталните точки по-лошо от правата линия .

Но тук трябва да се отбележи, че "по-лошо" е още не означава, Какво не е наред. Сега построих графика на тази експоненциална функция - и тя също минава близо до точките - толкова много, че без аналитично изследване е трудно да се каже коя функция е по-точна.

Това завършва решението и се връщам към въпроса за естествените стойности на аргумента. В различни изследвания, като правило, икономически или социологически, месеци, години или други равни интервали от време се номерират с естествено "Х". Помислете например за такъв проблем.

Метод на най-малките квадрати (OLS, англ. Ordinary Least Squares, OLS)- математически метод, използван за решаване на различни проблеми, базиран на минимизиране на сумата от квадратните отклонения на някои функции от желаните променливи. Може да се използва за "решаване" на свръхопределени системи от уравнения (когато броят на уравненията надвишава броя на неизвестните), за намиране на решение в случай на обикновени (не свръхопределени) нелинейни системи от уравнения, за приближаване на точковите стойности на някаква функция. OLS е един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни.

Енциклопедичен YouTube

1 / 5

✪ Метод на най-малките квадрати. Тема

✪ Най-малки квадрати, урок 1/2. Линейна функция

✪ Иконометрия. Лекция 5. Метод на най-малките квадрати

✪ Митин И. В. - Обработка на резултатите от физ. експеримент - Метод на най-малките квадрати (лекция 4)

✪ Иконометрия: Същността на метода на най-малките квадрати #2

субтитри

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава са използвани определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, като се започне от едни и същи данни от наблюдения, са стигнали до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда вероятностните му приложения. Методът е широко разпространен и подобрен с по-нататъшни изследвания на Encke, Bessel, Hansen и други.

Същността на метода на най-малките квадрати

Позволявам x (\displaystyle x)- комплект n (\displaystyle n)неизвестни променливи (параметри), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- набор от функции от този набор от променливи. Проблемът е да се изберат такива ценности x (\displaystyle x)така че стойностите на тези функции да са възможно най-близо до някои стойности y i (\displaystyle y_(i)). По същество говорим за „решението“ на свръхопределената система от уравнения f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)в посочения смисъл максималната близост на лявата и дясната част на системата. Същността на LSM е да се избере като "мярка за близост" сумата от квадратите на отклоненията на лявата и дясната част | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). По този начин същността на LSM може да се изрази по следния начин:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).

Ако системата от уравнения има решение, тогава минимумът на сумата от квадрати ще бъде равен на нула и точните решения на системата от уравнения могат да бъдат намерени аналитично или, например, чрез различни числени методи за оптимизация. Ако системата е свръхопределена, т.е., свободно казано, броят на независимите уравнения е по-голям от броя на неизвестните променливи, тогава системата няма точно решение и методът на най-малките квадрати ни позволява да намерим някакъв „оптимален“ вектор x (\displaystyle x)в смисъл на максимална близост на векторите y (\displaystyle y)и f (x) (\displaystyle f(x))или максималната близост на вектора на отклонение e (\displaystyle e)до нула (близостта се разбира в смисъл на евклидово разстояние).

Пример - система от линейни уравнения

По-специално, методът на най-малките квадрати може да се използва за "решаване" на системата от линейни уравнения

A x = b (\displaystyle Ax=b),

където A (\displaystyle A)матрица с правоъгълен размер m × n, m > n (\displaystyle m\times n,m>n)(т.е. броят на редовете на матрица A е по-голям от броя на необходимите променливи).

Такава система от уравнения обикновено няма решение. Следователно тази система може да бъде "решена" само в смисъл на избор на такъв вектор x (\displaystyle x)за минимизиране на "разстоянието" между векторите A x (\displaystyle Ax)и b (\displaystyle b). За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Лесно е да се покаже, че решението на този проблем за минимизиране води до решението на следната система от уравнения

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).

OLS в регресионен анализ (апроксимация на данни)

Нека има n (\displaystyle n)стойности на някаква променлива y (\displaystyle y)(това може да са резултатите от наблюдения, експерименти и т.н.) и съответните променливи x (\displaystyle x). Предизвикателството е да се направи връзката между y (\displaystyle y)и x (\displaystyle x)приближено чрез някаква известна функция до някои неизвестни параметри b (\displaystyle b), тоест всъщност намира най-добрите стойности на параметрите b (\displaystyle b), максимално приближаващи стойностите f (x, b) (\displaystyle f(x, b))към действителните стойности y (\displaystyle y). Всъщност това се свежда до случая на "решение" на свръхопределена система от уравнения по отношение на b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

В регресионния анализ и по-специално в иконометрията се използват вероятностни модели на връзката между променливите.

Y t = f (x t, b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

където ε t (\displaystyle \varepsilon _(t))- т.нар случайни грешкимодели.

Съответно и отклоненията на наблюдаваните стойности y (\displaystyle y)от модела f (x, b) (\displaystyle f(x, b))вече се приема в самия модел. Същността на LSM (обикновена, класическа) е да намери такива параметри b (\displaystyle b), при което сумата от квадратните отклонения (грешки, за регресионните модели те често се наричат ​​регресионни остатъци) e t (\displaystyle e_(t))ще бъде минимално:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

където R S S (\displaystyle RSS)- Английски. Остатъчната сума на квадратите се определя като:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\сума _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизация). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - англ. Non-Linear Least Squares). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията R S S (b) (\displaystyle RSS(b)), диференцирайки го по отношение на неизвестни параметри b (\displaystyle b), приравняване на производните на нула и решаване на получената система от уравнения:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

LSM в случай на линейна регресия

Нека регресионната зависимост е линейна:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Позволявам ге колонният вектор на наблюденията на променливата, която се обяснява, и X (\displaystyle X)- това е (n × k) (\displaystyle ((n\пъти k)))- матрица на наблюденията на факторите (редове на матрицата - вектори на стойностите на факторите в дадено наблюдение, по колони - вектор на стойностите на даден фактор във всички наблюдения). Матричното представяне на линейния модел има формата:

y = Xb + ε (\displaystyle y=Xb+\varepsilon ).

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни на

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

съответно сумата от квадратите на регресионните остатъци ще бъде равна на

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Диференциране на тази функция по отношение на вектора на параметъра b (\displaystyle b)и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

В дешифрираната матрична форма тази система от уравнения изглежда така:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t ⋮ ∑ стил на възпроизвеждане) x t (\y tdisplay) x t (\y t k (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ сума x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vточки \\\сума x_(tk)y_(t)\\\end(pmatrix)))където всички суми се вземат върху всички допустими стойности t (\displaystyle t).

Ако в модела е включена константа (както обикновено), тогава x t 1 = 1 (\displaystyle x_(t1)=1)за всички t (\displaystyle t), следователно в горния ляв ъгъл на матрицата на системата от уравнения е броят на наблюденията n (\displaystyle n), а в останалите елементи на първия ред и първата колона - само сумата от стойностите на променливите: ∑ x t j (\displaystyle \sum x_(tj))и първият елемент от дясната страна на системата - ∑ y t (\displaystyle \sum y_(t)).

Решението на тази система от уравнения дава общата формула за оценки на най-малките квадрати за линейния модел:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

За аналитични цели последното представяне на тази формула се оказва полезно (в системата от уравнения, когато се дели на n, вместо суми се появяват средни аритметични). Ако данните в регресионния модел центриран, тогава в това представяне първата матрица има значението на примерна ковариационна матрица на фактори, а втората е вектор на ковариации на фактори със зависима променлива. Ако в допълнение данните също са нормализиранв SKO (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - векторът на извадковите корелации на факторите със зависимата променлива.

Важно свойство на оценките на LLS за модели с константа- линията на построената регресия минава през центъра на тежестта на извадковите данни, т.е. равенството е изпълнено:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на единичен параметър (самата константа) е равна на средната стойност на променливата, която се обяснява. Тоест средната аритметична стойност, известна с добрите си свойства от законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минимална сума на квадратите на отклонения от нея.

Най-простите специални случаи

В случай на двойна линейна регресия y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), когато се оценява линейната зависимост на една променлива от друга, формулите за изчисление се опростяват (можете да правите без матрична алгебра). Системата от уравнения има формата:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

От тук е лесно да намерите оценки за коефициентите:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Въпреки факта, че като цяло моделите с константа са за предпочитане, в някои случаи от теоретични съображения е известно, че константата a (\displaystyle a)трябва да е равно на нула. Например във физиката връзката между напрежение и ток има формата U = I ⋅ R (\displaystyle U=I\cdot R); измерване на напрежение и ток, е необходимо да се оцени съпротивлението. В случая говорим за модел y = b x (\displaystyle y=bx). В този случай, вместо система от уравнения, имаме едно уравнение

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Следователно формулата за оценка на единичен коефициент има формата

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Случаят на полиномен модел

Ако данните са монтирани чрез полиномиална регресионна функция на една променлива f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), след това, възприемане на степени x i (\displaystyle x^(i))като независими фактори за всеки i (\displaystyle i)възможно е да се оценят параметрите на модела въз основа на общата формула за оценка на параметрите на линейния модел. За да направите това, достатъчно е да вземете предвид в общата формула, че с такова тълкуване x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))и x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Следователно матричните уравнения в този случай ще приемат формата:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 ⋮ b k] = [∑ n y t ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ сума \лимити _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Статистически свойства на оценките на OLS

На първо място, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни оценки, както следва от горната формула. За безпристрастността на оценките на най-малките квадрати е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: математическото очакване на случайна грешка, зависима от факторите, трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

1. математическото очакване на случайни грешки е нула и
2. факторите и случайните грешки са независими случайни стойности.

Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да предположим, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за съгласуваност на оценките е достатъчно да се удовлетвори условието за екзогенност заедно с конвергенцията на матрицата V x (\displaystyle V_(x))към някаква неизродена матрица, тъй като размерът на извадката нараства до безкрайност.

За да могат, в допълнение към последователността и безпристрастността, (обикновените) оценки на най-малките квадрати също да бъдат ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат изпълнени допълнителни свойства на случайна грешка:

Тези допускания могат да бъдат формулирани за ковариационната матрица на вектора на случайните грешки V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективни оценки в класа на всички линейни безпристрастни оценки (в англоезичната литература понякога се използва съкращението син (Най-добрият линеен безпристрастен оценител) е най-добрата линейна безпристрастна оценка; в местната литература по-често се цитира теоремата на Гаус - Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Ефективността означава, че тази ковариационна матрица е „минимална“ (всяка линейна комбинация от коефициенти, и по-специално самите коефициенти, имат минимална дисперсия), тоест в класа на линейни безпристрастни оценки оценките на OLS са най-добрите. Диагоналните елементи на тази матрица - дисперсиите на оценките на коефициентите - са важни параметри за качеството на получените оценки. Не е възможно обаче да се изчисли ковариационната матрица, тъй като дисперсията на случайната грешка е неизвестна. Може да се докаже, че безпристрастната и последователна (за класическия линеен модел) оценка на дисперсията на случайните грешки е стойността:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Замествайки тази стойност във формулата за ковариационната матрица, получаваме оценка на ковариационната матрица. Получените оценки също са безпристрастни и последователни. Важно е също така, че оценката на дисперсията на грешката (и следователно дисперсиите на коефициентите) и оценките на параметрите на модела са независими случайни променливи, което прави възможно получаването на тестова статистика за тестване на хипотези за коефициентите на модела.

Трябва да се отбележи, че ако класическите допускания не са изпълнени, оценките на параметрите на най-малките квадрати не са най-ефективните и, където W (\displaystyle W)е някаква симетрична матрица с положително определено тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно, за симетричните матрици (или оператори) има разлагане W = P T P (\displaystyle W=P^(T)P). Следователно този функционал може да бъде представен по следния начин e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), тоест този функционал може да бъде представен като сбор от квадратите на някои трансформирани "остатъци". По този начин можем да разграничим клас от методи на най-малките квадрати - LS-методи (Least Squares).

Доказано е (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективни (в класа на линейните непредубедени оценки) са оценките на т.нар. обобщени OLS (OMNK, GLS - обобщени най-малки квадрати)- LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има формата

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ковариационната матрица на тези оценки съответно ще бъде равна на

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- един)).

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглени най-малки квадрати

В случай на диагонална матрица на тегло (и оттам ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава „тегло“, което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ сигма _(t)^(2)))). Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки), а нормалните най-малки квадрати се прилагат към претеглените данни.

ISBN 978-5-7749-0473-0.

Иконометрия. Учебник / Изд. Елисеева I. I. - 2-ро изд. - М. : Финанси и статистика, 2006. - 576 с. - ISBN 5-279-02786-3.

Александрова Н.В.История на математическите термини, понятия, обозначения: речник-справочник. - 3-то изд. - М. : LKI, 2008. - 248 с. - ISBN 978-5-382-00839-4.И. В. Митин, Русаков В. С. Анализ и обработка на експериментални данни – 5-то издание – 24стр.

Методът на най-малките квадрати (LSM) ви позволява да оценявате различни количества, като използвате резултатите от много измервания, съдържащи случайни грешки.

Характеристика на МНК

Основната идея на този метод е, че сумата от квадратите на грешките се разглежда като критерий за точността на решението на задачата, която се стреми да бъде минимизирана. При използването на този метод могат да се прилагат както числени, така и аналитични подходи.

По-специално, като числена реализация, методът на най-малките квадрати предполага извършване на възможно най-много измервания на неизвестна случайна променлива. Освен това, колкото повече изчисления, толкова по-точно ще бъде решението. На този набор от изчисления (първоначални данни) се получава друг набор от предложени решения, от които след това се избира най-доброто. Ако наборът от решения е параметризиран, тогава методът на най-малките квадрати ще бъде намален до намиране на оптималната стойност на параметрите.

Като аналитичен подход към прилагането на LSM върху набора от първоначални данни (измервания) и предложения набор от решения се дефинират някои (функционални), които могат да бъдат изразени чрез формула, получена като определена хипотеза, която трябва да бъде потвърдена . В този случай методът на най-малките квадрати се свежда до намиране на минимума на този функционал върху набор от квадратни грешки на първоначалните данни.

Имайте предвид, че не самите грешки, а квадратите на грешките. Защо? Факт е, че често отклоненията на измерванията от точната стойност са както положителни, така и отрицателни. При определяне на средната стойност простото сумиране може да доведе до неправилно заключение за качеството на оценката, тъй като взаимното отмяна на положителни и отрицателни стойности ще намали мощността на вземане на проби от набора от измервания. И, следователно, точността на оценката.

За да не се случи това, квадратите на отклоненията се сумират. Дори повече от това, за да се изравни размерността на измерената стойност и крайната оценка, сумата от квадратите на грешките се използва за извличане

Някои приложения на MNC

MNC се използва широко в различни области. Например в теорията на вероятностите и математическата статистика методът се използва за определяне на такава характеристика на случайна променлива като стандартното отклонение, което определя ширината на диапазона от стойности на случайна променлива.