تقريب البيانات التجريبية. طريقة المربعات الصغرى

مثال.

بيانات تجريبية على قيم المتغيرات Xو فيترد في الجدول.

نتيجة محاذاة الوظيفة

استخدام طريقة التربيع الصغرى، تقريب هذه البيانات بالاعتماد الخطي ص = الفأس + ب(ابحث عن الخيارات أو ب). اكتشف أي من الخطين أفضل (بمعنى طريقة المربعات الصغرى) يضبط البيانات التجريبية. جعل الرسم.

جوهر طريقة المربعات الصغرى (LSM).

المشكلة هي إيجاد المعاملات الاعتماد الخطي، والتي لها وظيفة متغيرين أو ب يقبل أصغر قيمة. هذا هو ، بالنظر إلى البيانات أو بسيكون مجموع الانحرافات التربيعية للبيانات التجريبية من الخط المستقيم الموجود هو الأصغر. هذه هي النقطة الكاملة لطريقة المربعات الصغرى.

وبالتالي ، يتم تقليل حل المثال إلى إيجاد الحد الأقصى لدالة من متغيرين.

اشتقاق الصيغ لإيجاد المعاملات.

نظام من معادلتين مع مجهولين يتم تجميعها وحلها. إيجاد مشتقات جزئية لدالة فيما يتعلق بالمتغيرات أو ب، فنحن نساوي هذه المشتقات بصفر.

نقوم بحل نظام المعادلات الناتج بأي طريقة (على سبيل المثال طريقة الاستبدالأو) والحصول على الصيغ لإيجاد المعاملات باستخدام طريقة المربعات الصغرى (LSM).

مع البيانات أو بوظيفة يأخذ أصغر قيمة. يتم تقديم الدليل على هذه الحقيقة.

هذه هي الطريقة الكاملة للمربعات الصغرى. صيغة البحث عن المعلمة أيحتوي على المجاميع ، و ، والمعلمة ن- كمية البيانات التجريبية. يوصى بحساب قيم هذه المبالغ بشكل منفصل. معامل في الرياضيات او درجة بوجدت بعد الحساب أ.

حان الوقت لتذكر المثال الأصلي.

المحلول.

في مثالنا ن = 5. نقوم بملء الجدول لتسهيل حساب المبالغ التي تم تضمينها في صيغ المعاملات المطلوبة.

يتم الحصول على القيم الموجودة في الصف الرابع من الجدول بضرب قيم الصف الثاني في قيم الصف الثالث لكل رقم أنا.

يتم الحصول على القيم الموجودة في الصف الخامس من الجدول بتربيع قيم الصف الثاني لكل رقم أنا.

قيم العمود الأخير في الجدول هي مجاميع القيم عبر الصفوف.

نستخدم معادلات طريقة المربعات الصغرى لإيجاد المعاملات أو ب. نستبدل بها القيم المقابلة من العمود الأخير في الجدول:

بالتالي، ص = 0.165 س + 2.184هو الخط المستقيم التقريبي المطلوب.

يبقى معرفة أي من الخطوط ص = 0.165 س + 2.184أو تقترب بشكل أفضل من البيانات الأصلية ، أي لعمل تقدير باستخدام طريقة المربعات الصغرى.

تقدير خطأ طريقة المربعات الصغرى.

للقيام بذلك ، تحتاج إلى حساب مجموع الانحرافات التربيعية للبيانات الأصلية من هذه السطور و ، تتوافق القيمة الأصغر مع السطر الذي يقارب البيانات الأصلية بشكل أفضل من حيث طريقة المربعات الصغرى.

منذ ذلك الحين الخط ص = 0.165 س + 2.184تقرب البيانات الأصلية بشكل أفضل.

رسم توضيحي لطريقة المربعات الصغرى (LSM).

كل شيء يبدو رائعا على الرسوم البيانية. الخط الأحمر هو الخط الموجود ص = 0.165 س + 2.184، الخط الأزرق ، النقاط الوردية هي البيانات الأصلية.

ما هذا ، ولماذا كل هذه التقريبات؟

أنا شخصياً أستخدمه لحل مشاكل تنعيم البيانات والاستيفاء والاستقراء (في المثال الأصلي ، قد يُطلب منك العثور على قيمة القيمة المرصودة ذفي س = 3او متى س = 6وفقًا لطريقة MNC). لكننا سنتحدث أكثر عن هذا لاحقًا في قسم آخر من الموقع.

دليل - إثبات.

لذلك عندما وجدت أو بتأخذ الدالة أصغر قيمة ، فمن الضروري في هذه المرحلة أن تكون مصفوفة الشكل التربيعي للتفاضل من الدرجة الثانية للوظيفة كانت ايجابية مؤكدة. دعونا نظهر ذلك.

تقريب البيانات التجريبية هو طريقة تعتمد على استبدال البيانات التي تم الحصول عليها تجريبياً بوظيفة تحليلية تمر أو تتطابق بشكل وثيق عند النقاط العقدية مع القيم الأولية (البيانات التي تم الحصول عليها أثناء التجربة أو التجربة). يوجد حاليًا طريقتان لتحديد وظيفة تحليلية:

من خلال بناء استيفاء متعدد الحدود بدرجة n يمر مباشرة من خلال جميع النقاطمجموعة معينة من البيانات. في هذه الحالة ، يتم تمثيل دالة التقريب على النحو التالي: استيفاء متعدد الحدود في صيغة لاغرانج أو استيفاء متعدد الحدود في صيغة نيوتن.

من خلال بناء كثير الحدود التقريبي n- درجة يمر قريبة من النقاطمن مجموعة البيانات المحددة. وبالتالي ، تعمل وظيفة التقريب على تلطيف جميع الضوضاء العشوائية (أو الأخطاء) التي قد تحدث أثناء التجربة: تعتمد القيم المقاسة أثناء التجربة على عوامل عشوائية تتقلب وفقًا لقوانينها العشوائية (أخطاء القياس أو الأداة ، عدم الدقة أو التجريبية أخطاء). في هذه الحالة ، يتم تحديد دالة التقريب بطريقة المربعات الصغرى.

طريقة المربعات الصغرى(في الأدب الإنجليزي ، المربعات الصغرى العادية ، OLS) هي طريقة رياضية تعتمد على تعريف دالة تقريبية ، والتي تم إنشاؤها في أقرب نقطة من النقاط من مجموعة معينة من البيانات التجريبية. يتم تحديد القرب من الدالتين الأولي والتقريب F (x) بواسطة مقياس رقمي ، أي: يجب أن يكون مجموع الانحرافات التربيعية للبيانات التجريبية من المنحنى التقريبي F (x) هو الأصغر.

منحنى ملائم تم إنشاؤه بواسطة طريقة المربعات الصغرى

يتم استخدام طريقة المربعات الصغرى:

لحل أنظمة المعادلات شديدة التحديد عندما يتجاوز عدد المعادلات عدد المجهول ؛

للبحث عن حل في حالة أنظمة المعادلات غير الخطية العادية (غير المحددة بإفراط) ؛

لتقريب قيم النقطة ببعض الوظائف التقريبية.

يتم تحديد دالة التقريب بواسطة طريقة المربعات الصغرى من حالة الحد الأدنى لمجموع الانحرافات التربيعية لوظيفة التقريب المحسوبة من مجموعة معينة من البيانات التجريبية. تتم كتابة معيار طريقة المربعات الصغرى على النحو التالي:

قيم دالة التقريب المحسوبة عند النقاط العقدية ،

مجموعة محددة من البيانات التجريبية عند نقاط العقد.

يحتوي المعيار التربيعي على عدد من الخصائص "الجيدة" ، مثل التفاضل ، والتأكد الحل الوحيدمسائل التقريب لوظائف تقريب كثيرات الحدود.

اعتمادًا على ظروف المشكلة ، فإن دالة التقريب هي كثير حدود من الدرجة m

لا تعتمد درجة دالة التقريب على عدد النقاط العقدية ، ولكن يجب أن يكون بُعدها دائمًا أقل من بُعد (عدد النقاط) لمجموعة معينة من البيانات التجريبية.

∙ إذا كانت درجة دالة التقريب م = 1 ، فإننا نقرب دالة الجدول بخط مستقيم (الانحدار الخطي).

∙ إذا كانت درجة دالة التقريب م = 2 ، فإننا نقرب دالة الجدول بمكافئ تربيعي (تقريب تربيعي).

∙ إذا كانت درجة دالة التقريب م = 3 ، فإننا نقرب دالة الجدول بمقطع مكافئ مكعب (تقريب تكعيبي).

في الحالة العامة ، عندما يكون مطلوبًا إنشاء كثير حدود تقريبي للدرجة m لقيم جدولية معينة ، تتم إعادة كتابة شرط الحد الأدنى لمجموع الانحرافات التربيعية على جميع النقاط العقدية بالشكل التالي:

- معاملات غير معروفة لكثير الحدود التقريبي للدرجة م ؛

عدد قيم الجدول المحددة.

الشرط الضروري لوجود حد أدنى من الوظيفة هو المساواة إلى الصفر من مشتقاتها الجزئية فيما يتعلق بالمتغيرات غير المعروفة . نتيجة لذلك ، نحصل على نظام المعادلات التالي:

دعونا نحول المستقبل نظام خطيالمعادلات: افتح الأقواس وانقل المصطلحات الحرة إلى الجانب الأيمن من التعبير. نتيجة لذلك ، سيتم كتابة النظام الناتج من التعبيرات الجبرية الخطية بالشكل التالي:

يمكن إعادة كتابة هذا النظام من التعبيرات الجبرية الخطية في شكل مصفوفة:

كانت النتيجة نظام المعادلات الخطيةالبعد م + 1 ، والذي يتكون من م + 1 مجهولة. يمكن حل هذا النظام باستخدام أي طريقة لحل المعادلات الجبرية الخطية (على سبيل المثال ، طريقة غاوس). نتيجة للحل ، سيتم العثور على معلمات غير معروفة لوظيفة التقريب ، مما يوفر الحد الأدنى للمبلغتربيع الانحرافات للدالة التقريبية عن البيانات الأصلية ، أي أفضل تقريب تربيعي ممكن. يجب أن نتذكر أنه إذا تغيرت قيمة واحدة من البيانات الأولية ، فإن جميع المعاملات ستغير قيمها ، حيث يتم تحديدها بالكامل بواسطة البيانات الأولية.

تقريب البيانات الأولية بالاعتماد الخطي

(الانحدارالخطي)

كمثال ، ضع في اعتبارك طريقة تحديد دالة التقريب ، والتي يتم تقديمها كعلاقة خطية. وفقًا لطريقة المربعات الصغرى ، تتم كتابة شرط الحد الأدنى لمجموع الانحرافات المربعة على النحو التالي:

إحداثيات النقاط العقدية للجدول ؛

معاملات غير معروفة للدالة التقريبية ، والتي تُعطى كعلاقة خطية.

الشرط الضروري لوجود حد أدنى من الوظيفة هو المساواة إلى الصفر من مشتقاتها الجزئية فيما يتعلق بالمتغيرات غير المعروفة. نتيجة لذلك ، نحصل على نظام المعادلات التالي:

دعونا نحول النظام الخطي الناتج من المعادلات.

نحل نظام المعادلات الخطية الناتج. يتم تحديد معاملات دالة التقريب في الشكل التحليلي على النحو التالي (طريقة كرامر):

توفر هذه المعاملات بناء دالة تقريبية خطية وفقًا لمعيار تقليل مجموع مربعات دالة التقريب من قيم جدولية معينة (بيانات تجريبية).

خوارزمية لتنفيذ طريقة المربعات الصغرى

1. البيانات الأولية:

بالنظر إلى مجموعة من البيانات التجريبية مع عدد القياسات N

يتم إعطاء درجة التقريب كثير الحدود (م)

2. خوارزمية الحساب:

2.1. يتم تحديد المعاملات لبناء نظام معادلات ذات أبعاد

معاملات نظام المعادلات (الجانب الأيسر من المعادلة)

- فهرس رقم العمود مصفوفة مربعةأنظمة المعادلات

الأعضاء الأحرار في نظام المعادلات الخطية (الجانب الأيمن من المعادلة)

- فهرس رقم صف المصفوفة المربعة لنظام المعادلات

2.2. تكوين نظام معادلات خطية ذات أبعاد.

2.3 حل نظام معادلات خطية لتحديد المعاملات غير المعروفة لكثير الحدود التقريبي للدرجة م.

2.4 تحديد مجموع الانحرافات التربيعية لكثير الحدود التقريبي من القيم الأولية على جميع النقاط العقدية

القيمة التي تم العثور عليها لمجموع الانحرافات التربيعية هي الحد الأدنى الممكن.

التقريب مع وظائف أخرى

تجدر الإشارة إلى أنه عند تقريب البيانات الأولية وفقًا لطريقة المربعات الصغرى ، تُستخدم أحيانًا دالة لوغاريتمية ودالة أسية ودالة طاقة كدالة تقريبية.

تقريب السجل

ضع في اعتبارك الحالة عندما يتم إعطاء وظيفة التقريب دالة لوغاريتميةيكتب:

طريقة المربعات الصغرىيستخدم لتقدير معاملات معادلة الانحدار.

عدد الخطوط (بيانات أولية)

أحد طرق دراسة العلاقات العشوائية بين السمات هو تحليل الانحدار.
تحليل الانحداريمثل اشتقاق معادلة الانحدار ، والتي تُستخدم للعثور على متوسط ​​قيمة متغير عشوائي (نتيجة ميزة) ، إذا كانت قيمة متغيرات أخرى (أو غيرها) (عوامل مميزة) معروفة. يتضمن الخطوات التالية:

1. اختيار شكل الاتصال (نوع معادلة الانحدار التحليلي) ؛
2. تقدير معلمات المعادلة ؛
3. تقييم جودة معادلة الانحدار التحليلي.

في أغلب الأحيان ، يتم استخدام نموذج خطي لوصف العلاقة الإحصائية للسمات. يُفسر الاهتمام بالعلاقة الخطية من خلال تفسير اقتصادي واضح لمعاييرها ، مقيدًا بتغير المتغيرات ، وبحقيقة أنه في معظم الحالات ، يتم تحويل الأشكال غير الخطية للعلاقة (عن طريق أخذ اللوغاريتم أو تغيير المتغيرات) في شكل خطي لإجراء العمليات الحسابية.
في حالة العلاقة الزوجية الخطية ، تأخذ معادلة الانحدار الشكل: y i = a + b · x i + u i. يتم تقدير معلمات هذه المعادلة أ و ب من البيانات الملاحظة الإحصائيةس وص. نتيجة هذا التقييم هي المعادلة: ، أين ، - تقديرات المعلمات أ و ب ، - قيمة السمة الفعالة (المتغير) التي تم الحصول عليها بواسطة معادلة الانحدار (القيمة المحسوبة).

الأكثر استخدامًا لتقدير المعلمات هو طريقة المربعات الصغرى (LSM).
تعطي طريقة المربعات الصغرى أفضل التقديرات (المتسقة والفعالة وغير المتحيزة) لمعلمات معادلة الانحدار. ولكن فقط إذا تم استيفاء افتراضات معينة حول المصطلح العشوائي (u) والمتغير المستقل (x) (انظر افتراضات OLS).

مشكلة تقدير معاملات معادلة زوج خطية بطريقة المربعات الصغرىيتألف مما يلي: للحصول على مثل هذه التقديرات للمعلمات ، حيث يكون مجموع الانحرافات التربيعية للقيم الفعلية للميزة الفعالة - y i من القيم المحسوبة - ضئيلاً.
رسميا معيار OLSيمكن كتابتها على هذا النحو: .

تصنيف طرق المربعات الصغرى

1. طريقة المربعات الصغرى.
2. طريقة الاحتمالية القصوى (بالنسبة لنموذج الانحدار الخطي الكلاسيكي العادي ، يتم افتراض الحالة الطبيعية لبقايا الانحدار).
3. يتم استخدام طريقة المربعات الصغرى المعممة لـ GLSM في حالة الارتباط التلقائي للخطأ وفي حالة عدم التجانس.
4. طريقة المربعات الصغرى المرجحة (حالة خاصة من GLSM مع بقايا متجانسة).

وضح الجوهر الطريقة الكلاسيكيةالمربعات الصغرى بيانيا. للقيام بذلك ، سنقوم ببناء مخطط نقطي وفقًا لبيانات الرصد (x i ، y i ، i = 1 ؛ n) في نظام إحداثيات مستطيل (تسمى هذه النقطة النقطية حقل الارتباط). دعنا نحاول إيجاد خط مستقيم أقرب إلى نقاط حقل الارتباط. وفقًا لطريقة المربعات الصغرى ، يتم اختيار الخط بحيث يكون مجموع المسافات الرأسية المربعة بين نقاط حقل الارتباط وهذا الخط في حده الأدنى.

تدوين رياضي لهذه المشكلة: .
قيم y i و x i = 1 ... n معروفة لنا ، هذه بيانات رصدية. في الدالة S هم ثوابت. المتغيرات في هذه الوظيفة هي التقديرات المطلوبة للمعلمات - ،. للعثور على الحد الأدنى لدالة من متغيرين ، من الضروري حساب المشتقات الجزئية لهذه الوظيفة فيما يتعلق بكل من المعلمات ومعادلتها بالصفر ، أي .
نتيجة لذلك ، نحصل على نظام من معادلتين خطيتين عاديتين:
لحل هذا النظام ، نجد تقديرات المعلمات المطلوبة:

يمكن التحقق من صحة حساب معلمات معادلة الانحدار من خلال مقارنة المجاميع (بعض التناقض ممكن بسبب تقريب الحسابات).
لحساب تقديرات المعلمات ، يمكنك بناء الجدول 1.
تشير علامة معامل الانحدار ب إلى اتجاه العلاقة (إذا كانت ب> 0 ، تكون العلاقة مباشرة ، إذا ب<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
بشكل رسمي ، قيمة المعلمة a هي متوسط ​​قيمة y لـ x يساوي صفرًا. إذا لم يكن لعامل الإشارة قيمة صفرية ولا يمكن أن يكون لها ، فإن التفسير أعلاه للمعامل a لا معنى له.

تقييم مدى ضيق العلاقة بين السمات يتم تنفيذها باستخدام معامل الارتباط الزوجي الخطي - r x ، y. يمكن حسابها باستخدام الصيغة: . بالإضافة إلى ذلك ، يمكن تحديد معامل الارتباط الزوجي الخطي من حيث معامل الانحدار ب: .
يتراوح نطاق القيم المسموح بها للمعامل الخطي للارتباط الزوجي من -1 إلى +1. تشير علامة معامل الارتباط إلى اتجاه العلاقة. إذا كان r x ، y> 0 ، يكون الاتصال مباشرًا ؛ إذا ص س ، ذ<0, то связь обратная.
إذا كان هذا المعامل قريبًا من الوحدة في المعامل ، فيمكن تفسير العلاقة بين السمات على أنها علاقة خطية قريبة إلى حد ما. إذا كان معاملها يساوي واحد ê r x ، y ê = 1 ، فإن العلاقة بين السمات تكون وظيفية خطية. إذا كانت السمتان x و y مستقلتين خطيًا ، فإن r x و y قريبان من 0.
يمكن أيضًا استخدام الجدول 1 لحساب r x و y.

الجدول 1

ملاحظات N	س ط	ذ أنا	س ط ∙ ص ط
1	× 1	ص 1	× 1 ص 1
2	x2	y2	× 2 ص 2
...
ن	x ن	ذ ن	x n y n
مجموع العمود	∑x	∑y	∑x ذ
يعني

لتقييم جودة معادلة الانحدار التي تم الحصول عليها ، يتم حساب المعامل النظري للتحديد - R 2 yx:

,
حيث d 2 هو التباين y الذي تفسره معادلة الانحدار ؛
ه 2 - التباين المتبقي (غير المبرر بواسطة معادلة الانحدار) y ؛
s 2 y - إجمالي (إجمالي) التباين y.
يميز معامل التحديد حصة التباين (التشتت) للميزة الناتجة y ، التي يفسرها الانحدار (وبالتالي العامل x) ، في التباين الكلي (التشتت) y. معامل التحديد R 2 yx يأخذ قيمًا من 0 إلى 1. وفقًا لذلك ، تحدد القيمة 1-R 2 yx نسبة التباين y الناجم عن تأثير العوامل الأخرى التي لم تؤخذ في الاعتبار في النموذج وأخطاء المواصفات.
مع الانحدار الخطي المقترن R 2 yx = r 2 yx.

جوهر طريقة المربعات الصغرى هو في العثور على معلمات نموذج الاتجاه الذي يصف بشكل أفضل اتجاه التطور لبعض الظواهر العشوائية في الزمان أو المكان (الاتجاه هو الخط الذي يميز اتجاه هذا التطور). تتمثل مهمة طريقة المربعات الصغرى (OLS) في العثور ليس فقط على بعض نماذج الاتجاه ، ولكن في العثور على النموذج الأفضل أو الأمثل. سيكون هذا النموذج هو الأمثل إذا كان مجموع الانحرافات التربيعية بين القيم الفعلية المرصودة وقيم الاتجاه المحسوبة المقابلة هو الحد الأدنى (الأصغر):

أين هو الانحراف المعياري بين القيمة الفعلية الملاحظة

وقيمة الاتجاه المحسوبة المقابلة ،

القيمة الفعلية (المرصودة) للظاهرة قيد الدراسة ،

القيمة المقدرة لنموذج الاتجاه ،

عدد مشاهدات الظاهرة قيد الدراسة.

نادرا ما تستخدم MNC من تلقاء نفسها. كقاعدة عامة ، يتم استخدامه في أغلب الأحيان فقط كأسلوب ضروري في دراسات الارتباط. يجب أن نتذكر أن أساس المعلومات لـ LSM لا يمكن إلا أن يكون سلسلة إحصائية موثوقة ، ويجب ألا يقل عدد الملاحظات عن 4 ، وإلا ، فقد تفقد إجراءات التنعيم الخاصة بـ LSM الحس السليم.

تم تقليل مجموعة أدوات OLS إلى الإجراءات التالية:

الإجراء الأول. اتضح ما إذا كان هناك أي ميل على الإطلاق لتغيير السمة الناتجة عندما يتغير العامل المختار ، أو بعبارة أخرى ، ما إذا كان هناك ارتباط بين " في " و " X ».

الإجراء الثاني. يتم تحديد أي خط (مسار) هو الأفضل لوصف أو تمييز هذا الاتجاه.

الإجراء الثالث.

مثال. لنفترض أن لدينا معلومات عن متوسط ​​محصول عباد الشمس للمزرعة قيد الدراسة (الجدول 9.1).

الجدول 9.1

رقم الملاحظة
الإنتاجية ، ج / هكتار

نظرًا لأن مستوى التكنولوجيا في إنتاج عباد الشمس في بلدنا لم يتغير كثيرًا خلال السنوات العشر الماضية ، فهذا يعني ، على الأرجح ، أن التقلبات في الغلة في الفترة التي تم تحليلها تعتمد إلى حد كبير على التقلبات في الظروف الجوية والمناخية. هل هذا صحيح؟

أول إجراء MNC. يتم اختبار الفرضية حول وجود اتجاه في التغير في محصول عباد الشمس اعتمادًا على التغيرات في الظروف الجوية والمناخية على مدى السنوات العشر التي تم تحليلها.

في هذا المثال ، لـ " ذ »يستحب أخذ غلة عباد الشمس ، ولـ«. x »هو رقم السنة المرصودة في الفترة التي تم تحليلها. اختبار الفرضية حول وجود أي علاقة بين " x " و " ذ »يمكن القيام به بطريقتين: يدويا وبمساعدة برامج الكمبيوتر. بالطبع ، مع توافر تكنولوجيا الكمبيوتر ، يتم حل هذه المشكلة من تلقاء نفسها. ولكن من أجل فهم مجموعة أدوات OLS بشكل أفضل ، يُنصح باختبار الفرضية حول وجود علاقة بين " x " و " ذ »يدويًا ، عندما يكون في متناول اليد قلم وآلة حاسبة عادية. في مثل هذه الحالات ، من الأفضل التحقق من فرضية وجود اتجاه بصريًا من خلال موقع الصورة الرسومية للسلسلة الزمنية التي تم تحليلها - حقل الارتباط:

يقع حقل الارتباط في مثالنا حول خط يرتفع ببطء. يشير هذا في حد ذاته إلى وجود اتجاه معين في التغيير في محصول عباد الشمس. من المستحيل التحدث عن وجود أي اتجاه فقط عندما يبدو حقل الارتباط كدائرة أو دائرة أو سحابة رأسية تمامًا أو أفقية تمامًا أو يتكون من نقاط مبعثرة عشوائيًا. في جميع الحالات الأخرى ، من الضروري تأكيد فرضية وجود علاقة بين " x " و " ذ ومواصلة البحث.

إجراء MNC الثاني. يتم تحديد أي خط (مسار) هو الأفضل لوصف أو توصيف الاتجاه في تغيرات محصول عباد الشمس للفترة التي تم تحليلها.

مع توافر تكنولوجيا الكمبيوتر ، يتم اختيار الاتجاه الأمثل تلقائيًا. باستخدام المعالجة "اليدوية" ، يتم اختيار الوظيفة المثلى ، كقاعدة عامة ، بطريقة مرئية - من خلال موقع حقل الارتباط. أي وفقًا لنوع الرسم البياني ، يتم تحديد معادلة الخط ، والتي هي الأنسب للاتجاه التجريبي (للمسار الفعلي).

كما تعلم ، يوجد في الطبيعة مجموعة كبيرة ومتنوعة من التبعيات الوظيفية ، لذلك من الصعب للغاية تحليل حتى جزء صغير منها بصريًا. لحسن الحظ ، في الممارسة الاقتصادية الحقيقية ، يمكن وصف معظم العلاقات بدقة إما بواسطة القطع المكافئ ، أو القطع الزائد ، أو الخط المستقيم. في هذا الصدد ، باستخدام الخيار "اليدوي" لاختيار أفضل وظيفة ، يمكنك قصر نفسك على هذه النماذج الثلاثة فقط.

		القطع الزائد:

القطع المكافئ من الدرجة الثانية: :

من السهل أن نرى أنه في مثالنا ، فإن الاتجاه في تغيرات محصول عباد الشمس على مدى السنوات العشر التي تم تحليلها يتميز بشكل أفضل بخط مستقيم ، وبالتالي فإن معادلة الانحدار ستكون معادلة خط مستقيم.

الإجراء الثالث. يتم حساب معلمات معادلة الانحدار التي تميز هذا الخط ، أو بعبارة أخرى ، يتم تحديد صيغة تحليلية تصف أفضل نموذج للاتجاه.

العثور على قيم معلمات معادلة الانحدار ، في حالتنا ، المعلمات و ، هو جوهر LSM. يتم تقليل هذه العملية إلى حل نظام المعادلات العادية.

(9.2)

نظام المعادلات هذا يمكن حله بسهولة بطريقة غاوس. تذكر أنه نتيجة للحل ، في مثالنا ، تم العثور على قيم المعلمات. وبالتالي ، فإن معادلة الانحدار التي تم العثور عليها سيكون لها الشكل التالي:

طريقة المربعات الصغرى

طريقة التربيع الصغرى ( MNK ، OLS ، المربعات الصغرى العادية) - إحدى الطرق الأساسية لتحليل الانحدار لتقدير المعلمات غير المعروفة لنماذج الانحدار من بيانات العينة. تعتمد الطريقة على تقليل مجموع مربعات بقايا الانحدار.

تجدر الإشارة إلى أن طريقة المربعات الصغرى نفسها يمكن أن تسمى طريقة لحل مشكلة في أي منطقة ، إذا كان الحل يتكون من معيار معين أو يفي به لتقليل مجموع مربعات بعض وظائف المتغيرات غير المعروفة. لذلك ، يمكن أيضًا استخدام طريقة المربعات الصغرى للتمثيل التقريبي (التقريب) لوظيفة معينة بواسطة وظائف أخرى (أبسط) ، عند العثور على مجموعة من الكميات التي تفي بالمعادلات أو القيود ، والتي يتجاوز عددها عدد هذه الكميات ، إلخ.

جوهر الشركات متعددة الجنسيات

دع بعض النماذج (البارامترية) للاعتماد الاحتمالي (الانحدار) بين المتغير (الموضح) ذوالعديد من العوامل (المتغيرات التفسيرية) x

أين متجه معلمات النموذج غير المعروفة

- خطأ نموذج عشوائي.

يجب أن تكون هناك أيضًا ملاحظات نموذجية لقيم المتغيرات المشار إليها. اسمحوا ان يكون رقم الملاحظة (). ثم قيم المتغيرات في الملاحظة -th. بعد ذلك ، بالنسبة لقيم معينة للمعلمات b ، من الممكن حساب القيم النظرية (النموذجية) للمتغير الموضح y:

تعتمد قيمة القيم المتبقية على قيم المعلمات ب.

يتمثل جوهر LSM (عادي ، كلاسيكي) في إيجاد مثل هذه المعلمات ب التي يكون مجموع مربعات القيم المتبقية (eng. المجموع المتبقي للمربعات) سيكون ضئيلاً:

في الحالة العامة ، يمكن حل هذه المشكلة بالطرق العددية للتحسين (التصغير). في هذه الحالة ، يتحدث المرء عن المربعات الصغرى غير الخطية(NLS أو NLLS - الإنجليزية. المربعات الصغرى غير الخطية). في كثير من الحالات ، يمكن الحصول على حل تحليلي. لحل مشكلة التصغير ، من الضروري إيجاد النقاط الثابتة للدالة عن طريق تمييزها فيما يتعلق بالمعلمات غير المعروفة b ، معادلة المشتقات بالصفر ، وحل نظام المعادلات الناتج:

إذا تم توزيع الأخطاء العشوائية للنموذج بشكل طبيعي ، ولها نفس التباين ، وغير مرتبطة ببعضها البعض ، فإن تقديرات معلمات المربعات الصغرى هي نفسها تقديرات طريقة الاحتمال الأقصى (MLM).

LSM في حالة النموذج الخطي

دع تبعية الانحدار تكون خطية:

يترك ذ- متجه العمود لملاحظات المتغير الموضح ، و - مصفوفة ملاحظات العوامل (صفوف المصفوفة - متجهات قيم العامل في ملاحظة معينة ، حسب الأعمدة - متجه قيم عامل معين في جميع الملاحظات) . تمثيل المصفوفة للنموذج الخطي له الشكل:

ثم سيكون متجه تقديرات المتغير الموضح ومتجه بقايا الانحدار مساوياً لـ

وفقًا لذلك ، سيكون مجموع مربعات قيم الانحدار المتبقية مساويًا لـ

بالتفريق بين هذه الوظيفة فيما يتعلق بمتجه المعلمة ومعادلة المشتقات بالصفر ، نحصل على نظام من المعادلات (في شكل مصفوفة):

.

يعطي حل نظام المعادلات هذا الصيغة العامة لتقديرات المربعات الصغرى للنموذج الخطي:

لأغراض تحليلية ، تبين أن التمثيل الأخير لهذه الصيغة مفيد. إذا كانت البيانات في نموذج الانحدار تتمحور، ثم في هذا التمثيل المصفوفة الأولى لها معنى مصفوفة التغاير للعينة من العوامل ، والثانية هي متجه التغايرات المشتركة للعوامل ذات المتغير التابع. إذا ، بالإضافة إلى ذلك ، البيانات هي أيضا تطبيعفي SKO (أي في النهاية موحد) ، ثم المصفوفة الأولى لها معنى مصفوفة ارتباط العينة للعوامل ، والمتجه الثاني - متجه ارتباطات العينة مع المتغير التابع.

خاصية مهمة لتقديرات LLS للنماذج مع ثابت- يمر خط الانحدار المركب عبر مركز ثقل بيانات العينة ، أي أن المساواة تتحقق:

على وجه الخصوص ، في الحالة القصوى ، عندما يكون الانحدار الوحيد ثابتًا ، نجد أن تقدير OLS لمعامل واحد (الثابت نفسه) يساوي القيمة المتوسطة للمتغير الموضح. أي أن المتوسط ​​الحسابي ، المعروف بخصائصه الجيدة من قوانين الأعداد الكبيرة ، هو أيضًا تقدير المربعات الصغرى - فهو يفي بمعيار الحد الأدنى لمجموع الانحرافات التربيعية عنه.

مثال: الانحدار البسيط (الزوجي)

في حالة الانحدار الخطي المقترن ، يتم تبسيط معادلات الحساب (يمكنك الاستغناء عن جبر المصفوفة):

خصائص تقديرات OLS

بادئ ذي بدء ، نلاحظ أنه بالنسبة للنماذج الخطية ، فإن تقديرات المربعات الصغرى هي تقديرات خطية ، على النحو التالي من الصيغة أعلاه. بالنسبة لتقديرات OLS غير المتحيزة ، من الضروري والكافي للوفاء بأهم شرط لتحليل الانحدار: يجب أن يكون التوقع الرياضي لخطأ عشوائي مشروط بالعوامل مساويًا للصفر. يتم استيفاء هذا الشرط ، على وجه الخصوص ، إذا

1. التوقع الرياضي للأخطاء العشوائية هو صفر ، و
2. العوامل والأخطاء العشوائية هي متغيرات عشوائية مستقلة.

الشرط الثاني - حالة العوامل الخارجية - أساسي. إذا لم يتم استيفاء هذه الخاصية ، فيمكننا أن نفترض أن أي تقديرات تقريبًا ستكون غير مرضية للغاية: لن تكون حتى متسقة (أي ، حتى كمية كبيرة جدًا من البيانات لا تسمح بالحصول على تقديرات نوعية في هذه الحالة). في الحالة الكلاسيكية ، يتم وضع افتراض أقوى حول حتمية العوامل ، على عكس الخطأ العشوائي ، مما يعني تلقائيًا استيفاء الحالة الخارجية. في الحالة العامة ، من أجل اتساق التقديرات ، يكفي تحقيق شرط التجانس جنبًا إلى جنب مع تقارب المصفوفة مع بعض المصفوفة غير المفردة مع زيادة حجم العينة إلى ما لا نهاية.

من أجل ، بالإضافة إلى الاتساق وعدم التحيز ، أن تكون تقديرات المربعات الصغرى (المعتادة) فعالة أيضًا (الأفضل في فئة التقديرات الخطية غير المنحازة) ، من الضروري تحقيق خصائص إضافية للخطأ العشوائي:

يمكن صياغة هذه الافتراضات لمصفوفة التغاير لمتجه الخطأ العشوائي

يسمى النموذج الخطي الذي يلبي هذه الشروط كلاسيكي. تقديرات OLS للانحدار الخطي الكلاسيكي هي تقديرات غير متحيزة ومتسقة وأكثرها كفاءة في فئة جميع التقديرات الخطية غير المتحيزة (في الأدب الإنجليزي ، يستخدم الاختصار أحيانًا أزرق (أفضل مقدر خطي غير مدفوع) هو أفضل تقدير خطي غير متحيز ؛ في الأدب المحلي ، غالبًا ما يتم الاستشهاد بنظرية غاوس ماركوف). نظرًا لأنه من السهل إظهار ذلك ، فإن مصفوفة التغاير لمتجه تقديرات المعامل ستكون مساوية لـ:

المربعات الصغرى المعممة

طريقة المربعات الصغرى تسمح بتعميم واسع. بدلاً من تقليل مجموع مربعات القيم المتبقية ، يمكن تقليل بعض الأشكال التربيعية الموجبة المحددة للمتجه المتبقي ، حيث توجد بعض مصفوفة الوزن المحددة الإيجابية المتماثلة. المربعات الصغرى العادية هي حالة خاصة لهذا النهج ، عندما تكون مصفوفة الوزن متناسبة مع مصفوفة الهوية. كما هو معروف من نظرية المصفوفات المتماثلة (أو العوامل) ، هناك تحلل لمثل هذه المصفوفات. لذلك ، يمكن تمثيل الوظيفة المحددة على النحو التالي ، أي ، يمكن تمثيل هذه الوظيفة كمجموع المربعات لبعض "المخلفات" المحولة. وبالتالي ، يمكننا تمييز فئة طرق المربعات الصغرى - طرق LS (المربعات الصغرى).

ثبت (نظرية Aitken) أنه بالنسبة لنموذج الانحدار الخطي المعمم (حيث لا يتم فرض قيود على مصفوفة التباين المشترك للأخطاء العشوائية) ، فإن الأكثر فعالية (في فئة التقديرات الخطية غير المتحيزة) هي تقديرات لما يسمى. OLS المعمم (OMNK ، GLS - المربعات الصغرى المعممة)- طريقة LS بمصفوفة وزن تساوي مصفوفة التغاير العكسي للأخطاء العشوائية:.

يمكن إثبات أن صيغة تقديرات GLS لمعلمات النموذج الخطي لها الشكل

مصفوفة التغاير لهذه التقديرات ، على التوالي ، ستكون مساوية لـ

في الواقع ، يكمن جوهر OLS في تحويل معين (خطي) (P) للبيانات الأصلية وتطبيق المربعات الصغرى المعتادة على البيانات المحولة. الغرض من هذا التحول هو أنه بالنسبة للبيانات المحولة ، فإن الأخطاء العشوائية تفي بالفعل بالافتراضات الكلاسيكية.

المربعات الصغرى المرجحة

في حالة مصفوفة الوزن القطري (وبالتالي مصفوفة التغاير للأخطاء العشوائية) ، لدينا ما يسمى بالمربعات الصغرى الموزونة (WLS - المربعات الصغرى الموزونة). في هذه الحالة ، يتم تقليل مجموع المربعات الموزونة لبقايا النموذج ، أي أن كل ملاحظة تتلقى "وزنًا" يتناسب عكسياً مع تباين الخطأ العشوائي في هذه الملاحظة:. في الواقع ، يتم تحويل البيانات عن طريق ترجيح الملاحظات (قسمة مقدار يتناسب مع الانحراف المعياري المفترض للأخطاء العشوائية) ، ويتم تطبيق المربعات الصغرى العادية على البيانات الموزونة.

بعض الحالات الخاصة لتطبيق LSM في الممارسة

تقريب خطي

ضع في اعتبارك الحالة ، كنتيجة لدراسة اعتماد كمية قياسية معينة على كمية قياسية معينة (يمكن أن يكون هذا ، على سبيل المثال ، اعتماد الجهد على قوة التيار: حيث تكون القيمة الثابتة ، مقاومة الموصل ) ، تم قياس هذه الكميات ، ونتيجة لذلك تم قياس القيم والقيم المقابلة لها. يجب تسجيل بيانات القياس في جدول.

الطاولة. نتائج القياس.

رقم القياس
1
2
3
4
5
6

يبدو السؤال على هذا النحو: ما هي قيمة المعامل التي يمكن اختيارها لوصف التبعية على أفضل وجه؟ وفقًا لـ LSM ، يجب أن تكون هذه القيمة مثل مجموع الانحرافات التربيعية للقيم من القيم

كان ضئيلاً

مجموع الانحرافات التربيعية له حد أقصى واحد - الحد الأدنى ، مما يسمح لنا باستخدام هذه الصيغة. لنجد قيمة المعامل من هذه الصيغة. للقيام بذلك ، نقوم بتحويل جانبه الأيسر على النحو التالي:

تسمح لنا الصيغة الأخيرة بإيجاد قيمة المعامل المطلوب في المسألة.

قصة

حتى بداية القرن التاسع عشر. لم يكن لدى العلماء قواعد معينة لحل نظام معادلات يكون فيه عدد المجهول أقل من عدد المعادلات ؛ حتى ذلك الوقت ، تم استخدام طرق معينة ، اعتمادًا على نوع المعادلات وبراعة الآلات الحاسبة ، وبالتالي توصلت الآلات الحاسبة المختلفة ، بدءًا من نفس بيانات الملاحظة ، إلى استنتاجات مختلفة. يرجع الفضل إلى Gauss (1795) في أول تطبيق لهذه الطريقة ، واكتشفها Legendre (1805) بشكل مستقل ونشرها تحت اسمها الحديث (fr. ميثود دي مويندر المحاجر ). ربط لابلاس الطريقة بنظرية الاحتمالية ، واعتبر عالم الرياضيات الأمريكي Adrain (1808) تطبيقاتها الاحتمالية. هذه الطريقة منتشرة وتم تحسينها من خلال إجراء مزيد من البحث بواسطة Encke و Bessel و Hansen وغيرهم.

الاستخدام البديل للشركات متعددة الجنسيات

يمكن أيضًا استخدام فكرة طريقة المربعات الصغرى في حالات أخرى لا تتعلق مباشرة بتحليل الانحدار. الحقيقة هي أن مجموع المربعات هو أحد مقاييس القرب الأكثر شيوعًا للمتجهات (المقياس الإقليدي في المساحات ذات الأبعاد المحدودة).

أحد التطبيقات هو "حل" أنظمة المعادلات الخطية التي يكون فيها عدد المعادلات أكبر من عدد المتغيرات

حيث المصفوفة ليست مربعة بل مستطيلة.

نظام المعادلات هذا ، في الحالة العامة ، ليس له حل (إذا كانت المرتبة أكبر من عدد المتغيرات). لذلك ، يمكن "حل" هذا النظام فقط بمعنى اختيار مثل هذا المتجه لتقليل "المسافة" بين المتجهات و. للقيام بذلك ، يمكنك تطبيق معيار لتقليل مجموع الفروق التربيعية للأجزاء اليمنى واليسرى من معادلات النظام ، أي. من السهل إظهار أن حل مشكلة التصغير يؤدي إلى حل نظام المعادلات التالي