Апроксимация на експериментални данни. Метод на най-малките квадрати

Пример.

Експериментални данни за стойностите на променливите хи приса дадени в таблицата.

В резултат на тяхното подреждане функцията

Използвайки метод на най-малките квадрати, апроксимирайте тези данни с линейна зависимост y=ax+b(намерете параметри аи b). Разберете коя от двете линии по-добре (в смисъл на метода на най-малките квадрати) подравнява експерименталните данни. Направете рисунка.

Същността на метода на най-малките квадрати (МНК).

Проблемът е да се намерят коефициентите линейна зависимост, за която функцията на две променливи аи b приема най-малка стойност. Това е предвид данните аи bсумата от квадратите на отклоненията на експерименталните данни от намерената права линия ще бъде най-малка. Това е целият смисъл на метода на най-малките квадрати.

Така решението на примера се свежда до намиране на екстремума на функция на две променливи.

Извеждане на формули за намиране на коефициенти.

Съставя се и се решава система от две уравнения с две неизвестни. Намиране на частни производни на функция по променливи аи b, ние приравняваме тези производни на нула.

Решаваме получената система от уравнения по произволен метод (напр метод на заместванеили ) и да получите формули за намиране на коефициенти с помощта на метода на най-малките квадрати (LSM).

С данни аи bфункция приема най-малката стойност. Дадено е доказателство за този факт.

Това е целият метод на най-малките квадрати. Формула за намиране на параметъра асъдържа сумите , , , и параметъра н- количество експериментални данни. Стойностите на тези суми се препоръчват да се изчисляват отделно. Коефициент bнамерени след изчисление а.

Време е да си припомним оригиналния пример.

Решение.

В нашия пример n=5. Попълваме таблицата за удобство при изчисляване на сумите, които са включени във формулите на необходимите коефициенти.

Стойностите в четвъртия ред на таблицата се получават чрез умножаване на стойностите на 2-ри ред по стойностите на 3-ти ред за всяко число аз.

Стойностите в петия ред на таблицата се получават чрез повдигане на квадрат на стойностите на 2-ри ред за всяко число аз.

Стойностите на последната колона на таблицата са сумите от стойностите в редовете.

Използваме формулите на метода на най-малките квадрати, за да намерим коефициентите аи b. Заменяме в тях съответните стойности от последната колона на таблицата:

Следователно, y=0,165x+2,184е желаната апроксимираща права линия.

Остава да разберем коя от линиите y=0,165x+2,184или по-добре приближава оригиналните данни, т.е. да направи оценка с помощта на метода на най-малките квадрати.

Оценка на грешката на метода на най-малките квадрати.

За да направите това, трябва да изчислите сумите на квадратите на отклоненията на оригиналните данни от тези редове и , по-малка стойност съответства на линия, която по-добре приближава оригиналните данни по отношение на метода на най-малките квадрати.

Тъй като , тогава линията y=0,165x+2,184приближава по-добре оригиналните данни.

Графична илюстрация на метода на най-малките квадрати (LSM).

Всичко изглежда страхотно в класациите. Червената линия е намерената линия y=0,165x+2,184, синята линия е , розовите точки са оригиналните данни.

За какво е, за какво са всички тези приближения?

Аз лично използвам за решаване на проблеми с изглаждане на данни, проблеми с интерполация и екстраполация (в оригиналния пример може да бъдете помолени да намерите стойността на наблюдаваната стойност гпри х=3или кога х=6по метода MNC). Но ще говорим повече за това по-късно в друг раздел на сайта.

Доказателство.

Така че, когато се намери аи bфункция приема най-малката стойност, необходимо е в тази точка матрицата на квадратната форма на диференциала от втори ред за функцията беше положително категоричен. Нека го покажем.

Апроксимацията на експериментални данни е метод, основан на замяната на експериментално получени данни с аналитична функция, която най-близо преминава или съвпада в възловите точки с първоначалните стойности (данни, получени по време на експеримента или експеримента). Понастоящем има два начина за дефиниране на аналитична функция:

Чрез конструиране на интерполационен полином от n степен, който преминава директно през всички точкидаден масив от данни. В този случай апроксимиращата функция се представя като: интерполационен полином във формата на Лагранж или интерполационен полином във формата на Нютон.

Чрез конструиране на апроксимиращ полином от n-степен, който преминава близо до точкиот дадения масив от данни. По този начин апроксимиращата функция изглажда всички произволни шумове (или грешки), които могат да възникнат по време на експеримента: измерените стойности по време на експеримента зависят от случайни фактори, които се колебаят според собствените си случайни закони (измерване или грешки на инструмента, неточност или експериментални грешки). В този случай апроксимиращата функция се определя по метода на най-малките квадрати.

Метод на най-малките квадрати(в англоезичната литература Ordinary Least Squares, OLS) е математически метод, базиран на дефинирането на апроксимираща функция, която се изгражда в най-близка близост до точки от даден масив от експериментални данни. Близостта на началната и апроксимиращата функция F(x) се определя чрез числена мярка, а именно: сумата от квадратите на отклоненията на експерименталните данни от апроксимиращата крива F(x) трябва да бъде най-малка.

Фитингова крива, конструирана по метода на най-малките квадрати

Използва се методът на най-малките квадрати:

За решаване на свръхопределени системи от уравнения, когато броят на уравненията надвишава броя на неизвестните;

Да се ​​търси решение в случай на обикновени (не свръхопределени) нелинейни системи от уравнения;

За приближаване на точкови стойности чрез някаква апроксимираща функция.

Апроксимиращата функция по метода на най-малките квадрати се определя от условието за минималната сума на квадратите на отклоненията на изчислената апроксимираща функция от даден масив от експериментални данни. Този критерий на метода на най-малките квадрати се записва като следния израз:

Стойности на изчислената апроксимираща функция в възлови точки,

Определен масив от експериментални данни в възлови точки.

Квадратният критерий има редица "добри" свойства, като диференцируемост, осигуряване на единственото решениеапроксимационни задачи за полиномни апроксимиращи функции.

В зависимост от условията на задачата, апроксимиращата функция е полином от степен m

Степента на апроксимиращата функция не зависи от броя на възловите точки, но нейният размер винаги трябва да бъде по-малък от размерността (броя точки) на дадения масив от експериментални данни.

∙ Ако степента на апроксимиращата функция е m=1, тогава апроксимираме табличната функция с права линия (линейна регресия).

∙ Ако степента на апроксимиращата функция е m=2, тогава апроксимираме табличната функция с квадратна парабола (квадратично приближение).

∙ Ако степента на апроксимиращата функция е m=3, тогава апроксимираме табличната функция с кубична парабола (кубична апроксимация).

В общия случай, когато се изисква да се построи апроксимиращ полином от степен m за дадени таблични стойности, условието за минималната сума на квадратите на отклонения по всички възлови точки се пренаписва в следната форма:

- неизвестни коефициенти на апроксимиращия полином от степен m;

Броят на зададените стойности на таблицата.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частни производни по отношение на неизвестни променливи . В резултат на това получаваме следната система от уравнения:

Нека трансформираме полученото линейна системауравнения: отворете скобите и преместете свободните членове в дясната страна на израза. В резултат на това получената система от линейни алгебрични изрази ще бъде записана в следната форма:

Тази система от линейни алгебрични изрази може да бъде пренаписана в матрична форма:

Резултатът беше система линейни уравненияизмерение m+1, което се състои от m+1 неизвестни. Тази система може да бъде решена с помощта на всеки метод за решаване на линейни алгебрични уравнения (например методът на Гаус). В резултат на решението ще бъдат намерени неизвестни параметри на апроксимиращата функция, осигуряваща минималната сумаквадратни отклонения на апроксимиращата функция от оригиналните данни, т.е. най-доброто възможно квадратично приближение. Трябва да се помни, че ако дори една стойност на първоначалните данни се промени, всички коефициенти ще променят стойностите си, тъй като те са напълно определени от първоначалните данни.

Апроксимация на изходни данни чрез линейна зависимост

(линейна регресия)

Като пример, разгледайте метода за определяне на апроксимиращата функция, който е даден като линейна зависимост. В съответствие с метода на най-малките квадрати условието за минималната сума на квадратите на отклоненията се записва, както следва:

Координати на възлови точки на таблицата;

Неизвестни коефициенти на апроксимиращата функция, която е дадена като линейна зависимост.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частни производни по отношение на неизвестни променливи. В резултат на това получаваме следната система от уравнения:

Нека трансформираме получената линейна система от уравнения.

Решаваме получената система от линейни уравнения. Коефициентите на апроксимиращата функция в аналитичната форма се определят, както следва (метод на Крамер):

Тези коефициенти осигуряват изграждането на линейна апроксимираща функция в съответствие с критерия за минимизиране на сумата от квадратите на апроксимиращата функция от дадени таблични стойности (експериментални данни).

Алгоритъм за прилагане на метода на най-малките квадрати

1. Изходни данни:

Даден е масив от експериментални данни с брой измервания N

Дадена е степента на апроксимиращия полином (m).

2. Алгоритъм за изчисление:

2.1. Определят се коефициенти за построяване на система от уравнения с размерност

Коефициенти на системата от уравнения (лявата страна на уравнението)

- индекс на номер на колона квадратна матрицасистеми от уравнения

Свободни членове на системата от линейни уравнения (дясната страна на уравнението)

- индекс на номера на реда на квадратната матрица на системата от уравнения

2.2. Образуване на система от линейни уравнения с размерност .

2.3. Решение на система от линейни уравнения за определяне на неизвестните коефициенти на апроксимиращия полином от степен m.

2.4 Определяне на сумата от квадратните отклонения на апроксимиращия полином от първоначалните стойности по всички възлови точки

Намерената стойност на сумата от квадратите на отклоненията е минималната възможна.

Апроксимация с други функции

Трябва да се отбележи, че при приближаване на първоначалните данни в съответствие с метода на най-малките квадрати, понякога се използват логаритмична функция, експоненциална функция и степенна функция като апроксимираща функция.

Логично приближение

Разгледайте случая, когато е дадена апроксимиращата функция логаритмична функцияТип:

Метод на най-малките квадратисе използва за оценка на параметрите на регресионното уравнение.

Брой линии (първоначални данни)

Един от методите за изследване на стохастичните връзки между характеристиките е регресионният анализ.
Регресионен анализпредставлява извеждането на регресионното уравнение, което се използва за намиране на средната стойност на случайна променлива (характеристика-резултат), ако е известна стойността на друга (или други) променливи (характеристики-фактори). Тя включва следните стъпки:

1. избор на формата на връзката (тип уравнение на аналитична регресия);
2. оценка на параметрите на уравнението;
3. оценка на качеството на аналитичното регресионно уравнение.

Най-често се използва линейна форма за описание на статистическата връзка на характеристиките. Вниманието към линейната връзка се обяснява с ясна икономическа интерпретация на нейните параметри, ограничена от вариацията на променливите и от факта, че в повечето случаи нелинейните форми на връзката се преобразуват (чрез вземане на логаритъм или промяна на променливи) в линейна форма за извършване на изчисления.
В случай на линейна връзка по двойка, регресионното уравнение ще приеме формата: y i =a+b·x i +u i . Параметрите на това уравнение a и b се оценяват от данните статистическо наблюдение x и y. Резултатът от такава оценка е уравнението: , където , - оценки на параметрите a и b , - стойността на ефективната характеристика (променлива), получена от регресионното уравнение (изчислена стойност).

Най-често използваният за оценка на параметъра е метод на най-малките квадрати (LSM).
Методът на най-малките квадрати дава най-добрите (последователни, ефективни и безпристрастни) оценки на параметрите на регресионното уравнение. Но само ако са изпълнени определени допускания относно произволния член (u) и независимата променлива (x) (вижте допусканията на OLS).

Проблемът за оценка на параметрите на уравнение на линейна двойка по метода на най-малките квадратисе състои в следното: да се получат такива оценки на параметрите , , при които сумата от квадратните отклонения на действителните стойности на ефективната характеристика - y i от изчислените стойности - е минимална.
Формално OLS критерийможе да се напише така: .

Класификация на методите на най-малките квадрати

1. Метод на най-малките квадрати.
2. Метод на максималното правдоподобие (за нормален класически линеен регресионен модел се постулира нормалност на регресионните остатъци).
3. Обобщеният метод на най-малките квадрати на GLSM се използва в случай на автокорелация на грешки и в случай на хетероскедастичност.
4. Метод на претеглени най-малки квадрати (специален случай на GLSM с хетероскедастични остатъци).

Илюстрирайте същността класически методнай-малките квадрати графично. За да направим това, ще изградим точков график според данните от наблюдението (x i, y i, i=1;n) в правоъгълна координатна система (такъв точков график се нарича корелационно поле). Нека се опитаме да намерим права линия, която е най-близо до точките на корелационното поле. По метода на най-малките квадрати линията се избира така, че сумата от квадратите на вертикалните разстояния между точките на корелационното поле и тази права да бъде минимална.

Математическа нотация на този проблем: .
Стойностите на y i и x i =1...n са ни известни, това са данни от наблюдения. Във функцията S те са константи. Променливите в тази функция са необходимите оценки на параметрите - , . За да се намери минимумът на функция от 2 променливи, е необходимо да се изчислят частните производни на тази функция по отношение на всеки от параметрите и да се приравнят на нула, т.е. .
В резултат на това получаваме система от 2 нормални линейни уравнения:
Решавайки тази система, намираме необходимите оценки на параметрите:

Правилността на изчислението на параметрите на регресионното уравнение може да се провери чрез сравняване на сумите (възможно е известно несъответствие поради закръгляване на изчисленията).
За да изчислите оценките на параметрите, можете да съставите таблица 1.
Знакът на регресионния коефициент b показва посоката на връзката (ако b > 0, връзката е пряка, ако b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Формално стойността на параметъра a е средната стойност на y за x равно на нула. Ако знаковият фактор няма и не може да има нулева стойност, тогава горната интерпретация на параметъра a няма смисъл.

Оценка на тясността на връзката между характеристиките се извършва с помощта на коефициента на линейна двойка корелация - r x,y . Може да се изчисли по формулата: . В допълнение, коефициентът на корелация на линейната двойка може да се определи по отношение на коефициента на регресия b: .
Диапазонът на допустимите стойности на линейния коефициент на двойна корелация е от –1 до +1. Знакът на коефициента на корелация показва посоката на връзката. Ако r x, y >0, тогава връзката е директна; ако r x, y<0, то связь обратная.
Ако този коефициент е близък до единица по модул, тогава връзката между характеристиките може да се тълкува като доста близка линейна. Ако неговият модул е ​​равен на едно ê r x , y ê =1, тогава връзката между характеристиките е функционално линейна. Ако характеристиките x и y са линейно независими, тогава r x,y е близо до 0.
Таблица 1 може да се използва и за изчисляване на r x,y.

маса 1

N наблюдения	x i	y i	x i ∙ y i
1	х 1	y 1	x 1 y 1
2	x2	y2	x 2 y 2
...
н	x n	y n	x n y n
Колона Сума	∑x	∑y	∑x y
Означава

За да се оцени качеството на полученото регресионно уравнение, се изчислява теоретичният коефициент на детерминация - R 2 yx:

,
където d 2 е дисперсията y, обяснена от регресионното уравнение;
e 2 - остатъчна (необяснена от регресионното уравнение) дисперсия y ;
s 2 y - обща (обща) дисперсия y .
Коефициентът на детерминация характеризира дела на вариацията (дисперсията) на резултантната характеристика y, обяснена с регресия (и, следователно, фактора x), в общата вариация (дисперсия) y. Коефициентът на определяне R 2 yx приема стойности от 0 до 1. Съответно стойността 1-R 2 yx характеризира съотношението на дисперсията y, причинена от влиянието на други фактори, които не са взети предвид в модела и грешките в спецификацията.
Със сдвоена линейна регресия R 2 yx =r 2 yx .

Същността на метода на най-малките квадрати е при намиране на параметрите на модел на тенденция, който най-добре описва тенденцията на развитие на някакво случайно явление във времето или пространството (тенденцията е линия, която характеризира тенденцията на това развитие). Задачата на метода на най-малките квадрати (OLS) е да намери не просто някакъв модел на тенденция, а да намери най-добрия или оптимален модел. Този модел ще бъде оптимален, ако сумата от квадратните отклонения между наблюдаваните действителни стойности и съответните изчислени стойности на тенденцията е минимална (най-малка):

където е стандартното отклонение между наблюдаваната действителна стойност

и съответната изчислена стойност на тренда,

Действителната (наблюдавана) стойност на изследваното явление,

Прогнозна стойност на модела на тренда,

Броят на наблюденията на изследваното явление.

MNC рядко се използва самостоятелно. По правило най-често се използва само като необходима техника при корелационни изследвания. Трябва да се помни, че информационната основа на LSM може да бъде само надеждна статистическа серия и броят на наблюденията не трябва да бъде по-малък от 4, в противен случай процедурите за изглаждане на LSM могат да загубят здравия си смисъл.

Инструментариумът OLS се свежда до следните процедури:

Първа процедура. Оказва се дали изобщо има тенденция за промяна на резултатния атрибут при промяна на избрания фактор-аргумент или с други думи дали има връзка между " при " и " х ».

Втора процедура. Определя се коя линия (траектория) може най-добре да опише или характеризира тази тенденция.

Трета процедура.

Пример. Да предположим, че имаме информация за средния добив на слънчоглед за изследваната ферма (Таблица 9.1).

Таблица 9.1

Номер на наблюдение
Производителност, c/ha

Тъй като нивото на технологията на производството на слънчоглед у нас не се е променило много през последните 10 години, това означава, че най-вероятно колебанията в добивите през анализирания период са зависили в голяма степен от колебанията в метеорологичните и климатичните условия. Вярно ли е?

Първа процедура на MNC. Проверява се хипотезата за наличието на тенденция в изменението на добива от слънчоглед в зависимост от промените в метеорологичните и климатичните условия през анализираните 10 години.

В този пример за " г » препоръчително е да се вземе добивът от слънчоглед, а за « х » е номерът на наблюдаваната година в анализирания период. Проверка на хипотезата за съществуването на някаква връзка между " х " и " г » може да се извърши по два начина: ръчно и с помощта на компютърни програми. Разбира се, с наличието на компютърни технологии, този проблем се решава от само себе си. Но за да разберем по-добре инструментариума на OLS, е препоръчително да тестваме хипотезата за съществуването на връзка между " х " и " г » ръчно, когато имате под ръка само химикал и обикновен калкулатор. В такива случаи хипотезата за наличието на тенденция се проверява най-добре визуално чрез местоположението на графичното изображение на анализирания динамичен ред - корелационното поле:

Корелационното поле в нашия пример е разположено около бавно нарастваща линия. Това само по себе си говори за наличието на определена тенденция в изменението на добива от слънчоглед. Невъзможно е да се говори за наличието на някаква тенденция само когато корелационното поле изглежда като кръг, кръг, строго вертикален или строго хоризонтален облак или се състои от произволно разпръснати точки. Във всички останали случаи е необходимо да се потвърди хипотезата за наличието на връзка между " х " и " г и продължете изследванията.

Втора процедура на MNC. Определя се коя линия (траектория) може най-добре да опише или характеризира тенденцията в изменението на добива на слънчоглед за анализирания период.

С наличието на компютърна технология изборът на оптимална тенденция става автоматично. При "ръчна" обработка изборът на оптимална функция се извършва, като правило, визуално - чрез местоположението на корелационното поле. Тоест според вида на диаграмата се избира уравнението на линията, което е най-подходящо за емпиричния тренд (към реалната траектория).

Както знаете, в природата има огромно разнообразие от функционални зависимости, така че е изключително трудно да се анализира визуално дори малка част от тях. За щастие в реалната икономическа практика повечето връзки могат да бъдат точно описани или с парабола, или с хипербола, или с права линия. В тази връзка с опцията "ръчно" за избор на най-добрата функция можете да се ограничите само до тези три модела.

		Хипербола:

Парабола от втори ред: :

Лесно се вижда, че в нашия пример тенденцията в промените в добива на слънчоглед през анализираните 10 години се характеризира най-добре с права линия, така че регресионното уравнение ще бъде уравнение на права линия.

Трета процедура. Изчисляват се параметрите на регресионното уравнение, което характеризира тази линия, или с други думи се определя аналитична формула, която описва най-добрия трендов модел.

Намирането на стойностите на параметрите на регресионното уравнение, в нашия случай, параметрите и , е ядрото на LSM. Този процес се свежда до решаване на система от нормални уравнения.

(9.2)

Тази система от уравнения се решава доста лесно по метода на Гаус. Припомнете си, че в резултат на решението в нашия пример се намират стойностите на параметрите и . По този начин намереното регресионно уравнение ще има следната форма:

Метод на най-малките квадрати

Метод на най-малките квадрати ( MNK, OLS, обикновени най-малки квадрати) - един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни. Методът се основава на минимизиране на сумата от квадратите на регресионните остатъци.

Трябва да се отбележи, че самият метод на най-малките квадрати може да се нарече метод за решаване на проблем във всяка област, ако решението се състои от или удовлетворява определен критерий за минимизиране на сумата от квадратите на някои функции на неизвестните променливи. Следователно методът на най-малките квадрати може да се използва и за приблизително представяне (апроксимация) на дадена функция от други (по-прости) функции, когато се намира набор от величини, които отговарят на уравнения или ограничения, чийто брой надвишава броя на тези величини и т.н.

Същността на МНК

Нека някакъв (параметричен) модел на вероятностна (регресионна) зависимост между (обяснената) променлива ги много фактори (обяснителни променливи) х

където е векторът на неизвестните параметри на модела

- Случайна грешка в модела.

Нека има и примерни наблюдения на стойностите на посочените променливи. Нека е номерът на наблюдение (). След това са стойностите на променливите в -тото наблюдение. След това, за дадени стойности на параметрите b, е възможно да се изчислят теоретичните (моделни) стойности на обяснената променлива y:

Стойността на остатъците зависи от стойностите на параметрите b.

Същността на LSM (обикновен, класически) е да се намерят такива параметри b, за които сумата от квадратите на остатъците (англ. Остатъчен сбор от квадрати) ще бъде минимален:

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизация). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - английски. Нелинейни най-малки квадрати). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията чрез диференцирането й по отношение на неизвестните параметри b, приравняването на производните към нула и решаването на получената система от уравнения:

Ако случайните грешки на модела са нормално разпределени, имат една и съща вариация и не са корелирани една с друга, оценките на параметрите на най-малките квадрати са същите като оценките на метода на максималната вероятност (MLM).

LSM в случай на линеен модел

Нека регресионната зависимост е линейна:

Позволявам г- колонен вектор на наблюденията на обяснената променлива и - матрица на наблюденията на факторите (редове на матрицата - вектори на стойностите на факторите в дадено наблюдение, по колони - вектор на стойностите на даден фактор във всички наблюдения) . Матричното представяне на линейния модел има формата:

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни на

съответно сумата от квадратите на регресионните остатъци ще бъде равна на

Диференцирайки тази функция по отношение на вектора на параметъра и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

.

Решението на тази система от уравнения дава общата формула за оценки на най-малките квадрати за линейния модел:

За аналитични цели последното представяне на тази формула се оказва полезно. Ако данните в регресионния модел центриран, тогава в това представяне първата матрица има значението на примерната ковариационна матрица на факторите, а втората е векторът на ковариациите на факторите със зависима променлива. Ако в допълнение данните също са нормализиранв SKO (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - векторът на извадковите корелации на факторите със зависимата променлива.

Важно свойство на оценките на LLS за модели с константа- линията на построената регресия минава през центъра на тежестта на извадковите данни, т.е. равенството е изпълнено:

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на единичен параметър (самата константа) е равна на средната стойност на променливата, която се обяснява. Тоест средната аритметична стойност, известна с добрите си свойства от законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минимална сума на квадратите на отклонения от нея.

Пример: проста (по двойки) регресия

В случай на сдвоена линейна регресия, формулите за изчисление са опростени (можете да правите без матрична алгебра):

Свойства на оценките на OLS

На първо място, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни оценки, както следва от горната формула. За безпристрастни оценки на OLS е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: математическото очакване на случайна грешка, зависима от факторите, трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

1. математическото очакване на случайни грешки е нула и
2. факторите и случайните грешки са независими случайни променливи.

Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да приемем, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за съгласуваност на оценките е достатъчно да се изпълни условието за екзогенност заедно с конвергенцията на матрицата към някаква неособена матрица с увеличаване на размера на извадката до безкрайност.

За да бъдат, в допълнение към последователността и безпристрастността, оценките на (обичайните) най-малки квадрати също ефективни (най-добрите в класа на линейните безпристрастни оценки), е необходимо да се изпълнят допълнителни свойства на случайна грешка:

Тези предположения могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценките за класическа линейна регресия са безпристрастни, последователни и най-ефективни оценки в класа на всички линейни безпристрастни оценки (в англоезичната литература понякога се използва съкращението син (Най-добрият линеен небазиран оценител) е най-добрата линейна безпристрастна оценка; в местната литература по-често се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

Обобщени най-малки квадрати

Методът на най-малките квадрати позволява широко обобщение. Вместо да се минимизира сумата от квадрати на остатъците, може да се минимизира някаква положително определена квадратна форма на остатъчния вектор, където е някаква симетрична положително определена матрица на тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно от теорията на симетричните матрици (или оператори), за такива матрици има декомпозиция. Следователно посоченият функционал може да бъде представен по следния начин, тоест този функционал може да бъде представен като сбор от квадратите на някои трансформирани "остатъци". По този начин можем да разграничим клас от методи на най-малките квадрати - LS-методи (Least Squares).

Доказва се (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективни (в класа на линейните непредубедени оценки) са оценките на т.нар. обобщени OLS (OMNK, GLS - обобщени най-малки квадрати)- LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: .

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има формата

Ковариационната матрица на тези оценки съответно ще бъде равна на

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглени най-малки квадрати

В случай на диагонална матрица на тегло (и оттам ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава "тегло", което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: . Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки), а нормалните най-малки квадрати се прилагат към претеглените данни.

Някои частни случаи на приложение на LSM в практиката

Линейна апроксимация

Разгледайте случая, когато в резултат на изследване на зависимостта на определено скаларно количество от определено скаларно количество (Това може да бъде например зависимостта на напрежението от силата на тока: , където е постоянна стойност, съпротивлението на проводника ), тези количества бяха измерени, в резултат на което стойностите и и съответните им стойности. Данните от измерванията трябва да се записват в таблица.

Таблица. Резултати от измерването.

номер на измерване
1
2
3
4
5
6

Въпросът звучи така: каква стойност на коефициента може да се избере, за да опише най-добре зависимостта? Според най-малките квадрати тази стойност трябва да бъде такава, че сумата от квадратните отклонения на стойностите от стойностите

беше минимален

Сумата от квадратите на отклоненията има един екстремум - минимум, което ни позволява да използваме тази формула. Нека намерим стойността на коефициента от тази формула. За да направим това, трансформираме лявата му страна, както следва:

Последната формула ни позволява да намерим стойността на коефициента , която беше необходима в задачата.

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава се използваха определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, започвайки от едни и същи данни от наблюдения, стигаха до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres ) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда неговите вероятностни приложения. Методът е широко разпространен и подобрен с по-нататъшни изследвания на Encke, Bessel, Hansen и други.

Алтернативно използване на MNC

Идеята за метода на най-малките квадрати може да се използва и в други случаи, които не са пряко свързани с регресионния анализ. Факт е, че сумата от квадрати е една от най-често срещаните мерки за близост за вектори (Евклидова метрика в крайномерни пространства).

Едно приложение е „решаване“ на системи от линейни уравнения, в които броят на уравненията е по-голям от броя на променливите

където матрицата не е квадратна, а правоъгълна.

Такава система от уравнения в общия случай няма решение (ако рангът действително е по-голям от броя на променливите). Следователно тази система може да бъде "решена" само в смисъл на избор на такъв вектор, за да се минимизира "разстоянието" между векторите и . За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. Лесно е да се покаже, че решението на този проблем за минимизиране води до решението на следната система от уравнения