الرياضيات على الأصابع: طرق المربعات الصغرى. أين يتم استخدام طريقة المربعات الصغرى؟

جوهر الطريقة المربعات الصغرىيكون في العثور على معلمات نموذج الاتجاه الذي يصف بشكل أفضل ميل تطور أي ظاهرة عشوائية في الزمان أو المكان (الاتجاه هو الخط الذي يميز ميل هذا التطور). تتمثل مهمة طريقة المربعات الصغرى (LSM) في العثور ليس فقط على بعض نماذج الاتجاه، ولكن أيضًا في العثور على النموذج الأفضل أو الأمثل. سيكون هذا النموذج هو الأمثل إذا كان مجموع الانحرافات المربعة بين القيم الفعلية المرصودة وقيم الاتجاه المحسوبة المقابلة ضئيلًا (الأصغر):

أين هو الانحراف المربع بين القيمة الفعلية المرصودة

وقيمة الاتجاه المحسوبة المقابلة،

القيمة الفعلية (المرصودة) للظاهرة محل الدراسة،

القيمة المحسوبة لنموذج الاتجاه،

عدد مشاهدات الظاهرة محل الدراسة.

نادرًا ما يتم استخدام MNC بمفرده. كقاعدة عامة، يتم استخدامه في أغلب الأحيان فقط كتقنية فنية ضرورية في دراسات الارتباط. يجب أن نتذكر أن أساس المعلومات الخاص بالشركة متعددة الجنسيات لا يمكن الاعتماد عليه إلا سلسلة إحصائية، ويجب ألا يقل عدد الملاحظات عن 4، وإلا فإن إجراءات تجانس OLS قد تفقد المنطق السليم.

تتلخص مجموعة أدوات MNC في الإجراءات التالية:

الإجراء الأول. اتضح ما إذا كان هناك أي ميل على الإطلاق لتغيير السمة الناتجة عندما تتغير وسيطة العامل المحدد، أو بمعنى آخر، هل هناك علاقة بين "" في " و " X ».

الإجراء الثاني. ويتم تحديد الخط (المسار) الذي يمكنه وصف هذا الاتجاه أو وصفه بشكل أفضل.

الإجراء الثالث.

مثال. لنفترض أن لدينا معلومات حول متوسط ​​إنتاجية عباد الشمس للمزرعة قيد الدراسة (الجدول 9.1).

الجدول 9.1

رقم الملاحظة
الإنتاجية، ج/هك

نظرًا لأن مستوى التكنولوجيا في إنتاج عباد الشمس في بلدنا ظل دون تغيير تقريبًا على مدار السنوات العشر الماضية، فهذا يعني، على ما يبدو، أن التقلبات في الإنتاج خلال الفترة التي تم تحليلها كانت تعتمد إلى حد كبير على التقلبات في الطقس والظروف المناخية. هل هذا صحيح حقا؟

إجراء OLS الأول. تم اختبار الفرضية القائلة بوجود اتجاه في تغيرات محصول زهرة الشمس اعتمادا على التغيرات في الطقس والظروف المناخية خلال السنوات العشر التي تم تحليلها.

في في هذا المثالخلف " ذ "ينصح بأخذ محصول عباد الشمس، و" س » – رقم السنة المرصودة في الفترة التي تم تحليلها. اختبار الفرضية حول وجود أي علاقة بين " س " و " ذ » يمكن أن يتم ذلك بطريقتين: يدويًا وباستخدام برامج الحاسوب. وبطبيعة الحال، مع توفر تكنولوجيا الكمبيوتر، يمكن حل هذه المشكلة من تلقاء نفسها. ولكن من أجل فهم أدوات MNC بشكل أفضل، فمن المستحسن اختبار الفرضية حول وجود علاقة بين " س " و " ذ » يدويًا، عندما لا يكون في متناول اليد سوى قلم وآلة حاسبة عادية. في مثل هذه الحالات، من الأفضل التحقق من فرضية وجود الاتجاه بصريًا من خلال موقع الصورة الرسومية لسلسلة الديناميكيات التي تم تحليلها - مجال الارتباط:

يقع حقل الارتباط في مثالنا حول خط يتزايد ببطء. وهذا في حد ذاته يدل على وجود اتجاه معين في التغيرات في محصول زهرة الشمس. من المستحيل التحدث عن وجود أي اتجاه فقط عندما يبدو مجال الارتباط وكأنه دائرة أو دائرة أو سحابة رأسية أو أفقية تمامًا أو تتكون من نقاط متناثرة بشكل فوضوي. وفي جميع الحالات الأخرى فإن الفرضية حول وجود علاقة بين “ س " و " ذ "، ومواصلة البحث.

إجراء OLS الثاني. يتم تحديد الخط (المسار) الذي يمكن أن يصف أو يصف بشكل أفضل اتجاه التغيرات في محصول عباد الشمس خلال الفترة التي تم تحليلها.

إذا كان لديك تكنولوجيا الكمبيوتر، فسيتم اختيار الاتجاه الأمثل تلقائيا. في المعالجة "اليدوية"، يتم اختيار الوظيفة المثالية، كقاعدة عامة، بصريًا - حسب موقع حقل الارتباط. أي أنه بناءً على نوع الرسم البياني، يتم تحديد معادلة الخط الذي يناسب الاتجاه التجريبي (المسار الفعلي) بشكل أفضل.

كما هو معروف، يوجد في الطبيعة مجموعة كبيرة ومتنوعة من التبعيات الوظيفية، لذلك من الصعب للغاية تحليل جزء صغير منها بصريًا. لحسن الحظ، في الممارسة الاقتصادية الحقيقية، يمكن وصف معظم العلاقات بدقة تامة إما عن طريق القطع المكافئ، أو القطع الزائد، أو الخط المستقيم. في هذا الصدد، مع الخيار "اليدوي" لاختيار أفضل وظيفة، يمكنك قصر نفسك على هذه النماذج الثلاثة فقط.

		القطع الزائد:

القطع المكافئ من الدرجة الثانية: :

من السهل أن نرى أنه في مثالنا، فإن أفضل وصف للاتجاه في تغيرات إنتاجية عباد الشمس على مدى السنوات العشر التي تم تحليلها هو الخط المستقيم، وبالتالي فإن معادلة الانحدار ستكون معادلة الخط المستقيم.

الإجراء الثالث. يتم حساب معلمات معادلة الانحدار التي تميز هذا الخط، أو بمعنى آخر، يتم تحديد صيغة تحليلية تصف أفضل نموذجاتجاه.

العثور على قيم معلمات معادلة الانحدار، في حالتنا المعلمات و، هو جوهر OLS. هذه العمليةيقلل من حل نظام المعادلات العادية.

(9.2)

يمكن حل نظام المعادلات هذا بسهولة تامة باستخدام طريقة غاوس. دعونا نتذكر أنه نتيجة للحل، في مثالنا، تم العثور على قيم المعلمات. وبالتالي فإن معادلة الانحدار التي تم العثور عليها سيكون لها الشكل التالي:

طريقة المربع الأصغر

طريقة المربع الأصغر ( OLS، OLS، المربعات الصغرى العادية) - إحدى الطرق الأساسية لتحليل الانحدار لتقدير المعلمات غير المعروفة لنماذج الانحدار باستخدام بيانات العينة. تعتمد الطريقة على تقليل مجموع مربعات بقايا الانحدار.

تجدر الإشارة إلى أن طريقة المربعات الصغرى نفسها يمكن أن تسمى طريقة لحل مشكلة في أي مجال إذا كان الحل يكمن في أو يلبي بعض المعايير لتقليل مجموع مربعات بعض وظائف المتغيرات المطلوبة. لذلك، يمكن أيضًا استخدام طريقة المربعات الصغرى للتمثيل التقريبي (تقريب) لدالة معينة بواسطة دوال أخرى (أبسط)، عند العثور على مجموعة من الكميات التي تحقق المعادلات أو القيود، والتي يزيد عددها عن عدد هذه الكميات ، إلخ.

جوهر الشركات المتعددة الجنسيات

دع بعض النماذج (البارامترية) للعلاقة الاحتمالية (الانحدارية) بين المتغير (الموضح) ذوالعديد من العوامل (المتغيرات التفسيرية) س

أين هو متجه معلمات النموذج غير المعروفة

- خطأ في النموذج العشوائي.

ولتكن هناك أيضًا نماذج من الملاحظات لقيم هذه المتغيرات. ليكن رقم الملاحظة (). ثم هي قيم المتغيرات في الملاحظة. بعد ذلك، بالنسبة لقيم المعلمات b، من الممكن حساب القيم النظرية (النموذجية) للمتغير الموضح y:

حجم البقايا يعتمد على قيم المعلمات ب.

يتمثل جوهر طريقة المربعات الصغرى (العادية والكلاسيكية) في العثور على المعلمات ب التي يكون مجموع مربعات القيم المتبقية فيها (eng. مجموع المربعات المتبقية) سيكون الحد الأدنى:

في الحالة العامة، يمكن حل هذه المشكلة عن طريق طرق التحسين العددي (التقليل). في هذه الحالة يتحدثون عنها المربعات الصغرى غير الخطية(NLS أو NLLS - الإنجليزية) المربعات الصغرى غير الخطية). في كثير من الحالات من الممكن الحصول على حل تحليلي. لحل مشكلة التقليل، من الضروري إيجاد نقاط ثابتة للدالة عن طريق تمييزها فيما يتعلق بالمعلمات غير المعروفة ب، ومساواة المشتقات بالصفر وحل نظام المعادلات الناتج:

إذا كانت الأخطاء العشوائية للنموذج موزعة بشكل طبيعي، ولها نفس التباين، وغير مرتبطة، فإن تقديرات معلمات OLS هي نفس تقديرات الاحتمالية القصوى (MLM).

OLS في حالة النموذج الخطي

دع اعتماد الانحدار يكون خطيًا:

يترك ذهو متجه عمود لملاحظات المتغير الموضح، وهو عبارة عن مصفوفة لملاحظات العامل (صفوف المصفوفة هي متجهات قيم العامل في ملاحظة معينة، الأعمدة هي متجه قيم عامل معين في جميع الملاحظات). تمثيل المصفوفة للنموذج الخطي هو:

عندها سيكون متجه تقديرات المتغير الموضح ومتجه بقايا الانحدار متساويين

وبناء على ذلك، فإن مجموع مربعات بقايا الانحدار سيكون مساوياً لـ

بتفريق هذه الدالة فيما يتعلق بمتجه المعلمات ومساواة المشتقات بالصفر، نحصل على نظام المعادلات (في شكل مصفوفة):

.

يعطي حل نظام المعادلات هذا الصيغة العامة لتقديرات المربعات الصغرى للنموذج الخطي:

ولأغراض تحليلية، فإن التمثيل الأخير لهذه الصيغة مفيد. إذا كانت البيانات في نموذج الانحدار تركزت، فإن المصفوفة الأولى في هذا التمثيل لها معنى مصفوفة التغاير المشترك للعوامل، والثانية هي متجه لتغايرات العوامل مع المتغير التابع. إذا بالإضافة إلى ذلك فإن البيانات أيضا تطبيعإلى MSE (وهذا هو، في نهاية المطاف موحدة) ، فإن المصفوفة الأولى لها معنى مصفوفة ارتباط العينة للعوامل، والمتجه الثاني - ناقل ارتباطات العينة للعوامل مع المتغير التابع.

خاصية مهمة لتقديرات OLS للنماذج مع ثابت- يمر خط الانحدار المبني عبر مركز ثقل بيانات العينة أي أن المساواة قد تحققت:

على وجه الخصوص، في الحالة القصوى، عندما يكون التراجع الوحيد ثابتًا، نجد أن تقدير OLS للمعلمة الوحيدة (الثابت نفسه) يساوي متوسط ​​قيمة المتغير الموضح. أي الوسط الحسابي المعروف به خصائص جيدةمن قوانين الأعداد الكبيرة، هو أيضًا تقدير المربعات الصغرى - فهو يفي بمعيار الحد الأدنى لمجموع الانحرافات المربعة عنه.

مثال: أبسط الانحدار (الزوجي).

في حالة الانحدار الخطي المقترن، يتم تبسيط صيغ الحساب (يمكنك الاستغناء عن جبر المصفوفات):

خصائص مقدرات OLS

أولا وقبل كل شيء، نلاحظ أنه بالنسبة للنماذج الخطية، فإن تقديرات OLS هي تقديرات خطية، على النحو التالي من الصيغة أعلاه. بالنسبة لتقديرات OLS غير المتحيزة، من الضروري والكافي تحقيق الشرط الأكثر أهمية لتحليل الانحدار: التوقع الرياضي للخطأ العشوائي، المشروط بالعوامل، يجب أن يساوي الصفر. هذا الشرط، على وجه الخصوص، إذا كان راضيا

1. القيمة المتوقعةالأخطاء العشوائية هي صفر، و
2. العوامل والأخطاء العشوائية هي متغيرات عشوائية مستقلة.

الشرط الثاني – شرط نشوء العوامل الخارجية – هو شرط أساسي. إذا لم يتم استيفاء هذه الخاصية، فيمكننا أن نفترض أن أي تقديرات تقريبًا ستكون غير مرضية للغاية: فهي لن تكون متسقة (أي أنه حتى كمية كبيرة جدًا من البيانات لا تسمح لنا بالحصول على التقييمات النوعيةفي هذه الحالة). في الحالة الكلاسيكية، يتم وضع افتراض أقوى حول حتمية العوامل، بدلاً من الخطأ العشوائي، والذي يعني تلقائيًا أن شرط التولد الخارجي قد تم استيفائه. في الحالة العامة، من أجل اتساق التقديرات، يكفي استيفاء شرط التجانس الخارجي مع تقارب المصفوفة مع مصفوفة غير مفردة مع زيادة حجم العينة إلى ما لا نهاية.

لكي تكون تقديرات المربعات الصغرى (العادية) فعالة أيضًا (الأفضل في فئة التقديرات الخطية غير المتحيزة)، بالإضافة إلى الاتساق وعدم التحيز، يجب استيفاء خصائص إضافية للخطأ العشوائي:

يمكن صياغة هذه الافتراضات لمصفوفة التغاير لمتجه الخطأ العشوائي

يسمى النموذج الخطي الذي يحقق هذه الشروط كلاسيكي. تقديرات OLS للانحدار الخطي الكلاسيكي هي تقديرات غير متحيزة ومتسقة وأكثر فعالية في فئة جميع التقديرات الخطية غير المتحيزة (في الأدبيات الإنجليزية، يُستخدم الاختصار أحيانًا أزرق (أفضل مقدر خطي غير مقيد) - أفضل تقدير خطي غير متحيز؛ في الأدب الروسي يتم الاستشهاد بنظرية غاوس ماركوف في كثير من الأحيان). كما هو واضح، فإن مصفوفة التغاير لمتجه تقديرات المعامل ستكون مساوية لما يلي:

عملية شريان الحياة المعممة

تسمح طريقة المربعات الصغرى بالتعميم على نطاق واسع. بدلاً من تقليل مجموع مربعات البقايا، يمكن للمرء تقليل بعض الأشكال التربيعية المحددة الإيجابية لمتجه البقايا، حيث توجد مصفوفة وزن محددة إيجابية متماثلة. تعتبر المربعات الصغرى التقليدية حالة خاصة لهذا النهج، حيث تتناسب مصفوفة الوزن مع مصفوفة الهوية. كما هو معروف من نظرية المصفوفات المتماثلة (أو العوامل)، لمثل هذه المصفوفات هناك تحلل. وبالتالي، يمكن تمثيل الدالة المحددة على النحو التالي، أي أنه يمكن تمثيل هذه الدالة كمجموع مربعات بعض "البقايا" المحولة. وهكذا، يمكننا التمييز بين فئة من أساليب المربعات الصغرى - أساليب LS (المربعات الصغرى).

لقد ثبت (نظرية آيتكين) أنه بالنسبة لنموذج الانحدار الخطي المعمم (الذي لا يتم فيه فرض أي قيود على مصفوفة التغاير للأخطاء العشوائية)، فإن الأكثر فعالية (في فئة التقديرات الخطية غير المتحيزة) هي ما يسمى بالتقديرات. المربعات الصغرى المعممة (GLS - المربعات الصغرى المعممة)- طريقة LS بمصفوفة وزنية تساوي مصفوفة التغاير العكسي للأخطاء العشوائية : .

يمكن إثبات أن صيغة تقديرات GLS لمعلمات النموذج الخطي لها الشكل

وبالتالي فإن مصفوفة التغاير لهذه التقديرات ستكون مساوية لـ

في الواقع، يكمن جوهر OLS في تحويل (خطي) معين (P) للبيانات الأصلية وتطبيق OLS العادي على البيانات المحولة. والغرض من هذا التحويل هو أنه بالنسبة للبيانات المحولة، فإن الأخطاء العشوائية تلبي بالفعل الافتراضات الكلاسيكية.

OLS المرجح

في حالة مصفوفة الوزن القطرية (وبالتالي مصفوفة التغاير للأخطاء العشوائية)، لدينا ما يسمى بالمربعات الصغرى الموزونة (WLS). في هذه الحالة، يتم تقليل المجموع المرجح لمربعات بقايا النموذج، أي أن كل ملاحظة تتلقى "وزنًا" يتناسب عكسيًا مع تباين الخطأ العشوائي في هذه الملاحظة: . في الواقع، يتم تحويل البيانات عن طريق ترجيح الملاحظات (القسمة على مقدار يتناسب مع الانحراف المعياري المقدر للأخطاء العشوائية)، ويتم تطبيق عملية OLS العادية على البيانات المرجحة.

بعض الحالات الخاصة لاستخدام MNC في الممارسة العملية

تقريب الاعتماد الخطي

دعونا ننظر في الحالة عندما، نتيجة لدراسة اعتماد كمية عددية معينة على كمية عددية معينة (قد يكون هذا، على سبيل المثال، اعتماد الجهد على القوة الحالية: حيث تكون القيمة الثابتة، مقاومة الموصل)، وتم إجراء قياسات لهذه الكميات، ونتيجة لذلك تم تحديد القيم والقيم المقابلة لها. ويجب تسجيل بيانات القياس في جدول.

طاولة. نتائج القياس.

رقم القياس
1
2
3
4
5
6

والسؤال هو: ما هي قيمة المعامل التي يمكن اختيارها لوصف التبعية بشكل أفضل؟ وفقا لطريقة المربعات الصغرى، يجب أن تكون هذه القيمة بحيث يكون مجموع الانحرافات التربيعية للقيم من القيم

كان الحد الأدنى

مجموع الانحرافات التربيعية له حد أقصى واحد - وهو الحد الأدنى، مما يسمح لنا باستخدام هذه الصيغة. دعونا نجد من هذه الصيغة قيمة المعامل. للقيام بذلك، نقوم بتحويل جانبه الأيسر على النحو التالي:

الصيغة الأخيرة تسمح لنا بإيجاد قيمة المعامل، وهو ما هو مطلوب في المسألة.

قصة

قبل أوائل التاسع عشرالخامس. ولم يكن لدى العلماء قواعد معينة لحل نظام المعادلات الذي يكون فيه عدد المجهولين أقل من عدد المعادلات؛ حتى ذلك الوقت، تم استخدام تقنيات خاصة تعتمد على نوع المعادلات وعلى ذكاء الآلات الحاسبة، وبالتالي توصلت الآلات الحاسبة المختلفة، بناءً على نفس بيانات المراقبة، إلى استنتاجات مختلفة. كان غاوس (1795) أول من استخدم الطريقة، واكتشفها ليجيندر (1805) بشكل مستقل ونشرها تحت اسمها الحديث (فرنسي. طريقة المحاجر ) . ربط لابلاس الطريقة بنظرية الاحتمالات، ونظر عالم الرياضيات الأمريكي أدريان (1808) في تطبيقاتها النظرية الاحتمالية. وقد انتشرت هذه الطريقة على نطاق واسع وتم تحسينها من خلال المزيد من الأبحاث التي أجراها إنكي، وبيسيل، وهانسن وآخرون.

الاستخدامات البديلة لـ OLS

يمكن أيضًا استخدام فكرة طريقة المربعات الصغرى في حالات أخرى لا تتعلق مباشرة بتحليل الانحدار. الحقيقة هي أن مجموع المربعات هو أحد مقاييس القرب الأكثر شيوعًا للمتجهات (القياس الإقليدي في المساحات محدودة الأبعاد).

أحد التطبيقات هو "حل" الأنظمة المعادلات الخطيةحيث يكون عدد المعادلات أكبر من عدد المتغيرات

حيث المصفوفة ليست مربعة، بل مستطيلة الحجم.

مثل هذا النظام من المعادلات، في الحالة العامة، ليس له حل (إذا كانت المرتبة في الواقع أكبر من عدد المتغيرات). لذلك، لا يمكن "حل" هذا النظام إلا بمعنى اختيار مثل هذا المتجه لتقليل "المسافة" بين المتجهات و. للقيام بذلك، يمكنك تطبيق معيار تقليل مجموع مربعات الاختلافات بين الجانبين الأيسر والأيمن لمعادلات النظام، أي. ومن السهل توضيح أن حل مشكلة التصغير هذه يؤدي إلى حل نظام المعادلات التالي

الذي يجد التطبيق الأوسع في مناطق مختلفةالأنشطة العلمية والعملية. يمكن أن يكون هذا الفيزياء، والكيمياء، وعلم الأحياء، والاقتصاد، وعلم الاجتماع، وعلم النفس، وما إلى ذلك. بمشيئة القدر، غالبًا ما أضطر إلى التعامل مع الاقتصاد، ولذلك سأرتب لك اليوم رحلة إلى بلد رائع يسمى الاقتصاد القياسي=) ...كيف لا تريد ذلك؟! إنه أمر جيد جدًا هناك - ما عليك سوى اتخاذ قرارك! ...ولكن ما تريده بالتأكيد هو أن تتعلم كيفية حل المشكلات طريقة المربعات الصغرى. وسيتعلم القراء المجتهدون بشكل خاص حلها ليس بدقة فحسب، بل أيضًا بسرعة كبيرة ؛-) ولكن أولاً بيان عام للمشكلة+ المثال المصاحب:

دعونا ندرس المؤشرات في مجال موضوعي معين له تعبير كمي. وفي الوقت نفسه، هناك كل الأسباب للاعتقاد بأن المؤشر يعتمد على المؤشر. يمكن أن يكون هذا الافتراض إما فرضية علمية أو مبنية على أسس أولية الفطرة السليمة. ومع ذلك، دعونا نترك العلم جانبًا، ونستكشف المزيد من المجالات الشهية - وهي متاجر البقالة. دعنا نشير بـ:

- منطقة البيع بالتجزئة لمحل بقالة، متر مربع،
– حجم التداول السنوي لمحل بقالة مليون روبل.

من الواضح تماما أنه كلما كانت مساحة المتجر أكبر، كلما زاد معدل دورانها في معظم الحالات.

لنفترض أنه بعد إجراء الملاحظات/التجارب/الحسابات/الرقصات باستخدام الدف، لدينا بيانات رقمية تحت تصرفنا:

مع محلات البقالة، أعتقد أن كل شيء واضح: - هذه هي مساحة المتجر الأول، - حجم مبيعاتها السنوي، - مساحة المتجر الثاني، - حجم مبيعاتها السنوي، وما إلى ذلك. بالمناسبة، ليس من الضروري على الإطلاق الوصول إلى المواد السرية - تمامًا تقييم دقيقيمكن الحصول على حجم التداول عن طريق الوسائل الإحصائيات الرياضية. ومع ذلك، دعونا لا نتشتت انتباهنا، فدورة التجسس التجاري مدفوعة بالفعل =)

يمكن أيضًا كتابة البيانات الجدولية على شكل نقاط وتصويرها بالشكل المألوف النظام الديكارتي .

سوف نقوم بالرد سؤال مهم: كم عدد النقاط اللازمة للدراسة النوعية؟

الأكبر، كلما كان ذلك أفضل. الحد الأدنى المقبول للمجموعة يتكون من 5-6 نقاط. بالإضافة إلى ذلك، عندما تكون كمية البيانات صغيرة، لا يمكن تضمين النتائج "الشاذة" في العينة. لذلك، على سبيل المثال، يمكن لمتجر النخبة الصغير أن يكسب طلبات ذات حجم أكبر من "زملائه"، وبالتالي تشويه النمط العام الذي تحتاج إلى العثور عليه!

بكل بساطة، نحن بحاجة إلى تحديد وظيفة، جدولالذي يمر أقرب ما يمكن إلى النقاط . تسمى هذه الوظيفة تقريب (تقريب - تقريب)أو الوظيفة النظرية . بشكل عام، يظهر هنا على الفور "منافس" واضح - متعدد الحدود عالي الدرجة، والذي يمر الرسم البياني الخاص به عبر جميع النقاط. لكن هذا الخيار معقد وغالبًا ما يكون غير صحيح. (نظرًا لأن الرسم البياني سوف "يتكرر" طوال الوقت ويعكس الاتجاه الرئيسي بشكل سيئ).

وبالتالي، يجب أن تكون الوظيفة المطلوبة بسيطة للغاية وفي نفس الوقت تعكس التبعية بشكل مناسب. كما قد تتخيل، يتم استدعاء إحدى الطرق للعثور على مثل هذه الوظائف طريقة المربعات الصغرى. أولا، دعونا ننظر إلى جوهرها في منظر عام. دع بعض الوظائف تقريبية للبيانات التجريبية:


كيفية تقييم دقة هذا التقريب؟ دعونا أيضًا نحسب الاختلافات (الانحرافات) بين القيم التجريبية والوظيفية (ندرس الرسم). أول فكرة تتبادر إلى ذهني هي تقدير حجم المبلغ، لكن المشكلة هي أن الاختلافات يمكن أن تكون سلبية (على سبيل المثال، ) والانحرافات نتيجة لهذا الجمع سوف تلغي بعضها البعض. ولذلك، كتقدير لدقة التقريب، فإنه يطرح لأخذ المبلغ وحداتالانحرافات:

أو انهار: (في حالة عدم معرفة أي شخص: - هذه هي أيقونة المجموع، و - متغير "العداد" المساعد، والذي يأخذ القيم من 1 إلى ).

ومن خلال تقريب النقاط التجريبية مع وظائف مختلفة، سوف نحصل على معان مختلفةومن الواضح أنه عندما يكون هذا المبلغ أصغر، تكون هذه الوظيفة أكثر دقة.

مثل هذه الطريقة موجودة وتسمى طريقة المعامل الأقل. ومع ذلك، في الممارسة العملية أصبح أكثر انتشارا طريقة المربعات الصغرى، حيث لا يتم التخلص من القيم السلبية المحتملة بواسطة الوحدة، ولكن عن طريق تربيع الانحرافات:

، وبعد ذلك تهدف الجهود إلى اختيار دالة بحيث يكون مجموع الانحرافات المربعة كانت صغيرة قدر الإمكان. في الواقع، هذا هو المكان الذي يأتي منه اسم الطريقة.

والآن سنعود إلى شيء آخر نقطة مهمة: كما هو مذكور أعلاه، يجب أن تكون الوظيفة المحددة بسيطة جدًا - ولكن هناك أيضًا العديد من هذه الوظائف: خطي , القطعي, متسارع, لوغاريتمي, من الدرجة الثانية إلخ. وبالطبع، أود هنا على الفور "تقليل مجال النشاط". ما هي فئة الوظائف التي يجب أن أختارها للبحث؟ تقنية بدائية ولكنها فعالة:

- أسهل طريقة هي تصوير النقاط على الرسم وتحليل موقعهم. إذا كانوا يميلون إلى الركض في خط مستقيم، فعليك أن تبحث عنهم معادلة الخط مع القيم المثلى و. بمعنى آخر، المهمة هي العثور على مثل هذه المعاملات بحيث يكون مجموع الانحرافات المربعة هو الأصغر.

إذا كانت النقاط موجودة، على سبيل المثال، على طول مقارنة مبالغ فيهافمن الواضح أن الدالة الخطية ستعطي تقديرًا تقريبيًا سيئًا. في هذه الحالة، نحن نبحث عن المعاملات الأكثر "أفضل" لمعادلة القطع الزائد - أولئك الذين يعطون الحد الأدنى للمبلغمربعات .

لاحظ الآن أننا نتحدث في كلتا الحالتين وظائف اثنين من المتغيرات، والتي هي الحجج معلمات التبعية التي تم البحث عنها:

ونحن في الأساس بحاجة إلى حل مشكلة قياسية - البحث الحد الأدنى من وظيفة اثنين من المتغيرات.

دعونا نتذكر مثالنا: لنفترض أن نقاط "المتجر" تميل إلى أن تكون موجودة في خط مستقيم، وهناك كل الأسباب للاعتقاد بذلك الاعتماد الخطيدوران من مساحات البيع بالتجزئة. دعونا نجد مثل هذه المعاملات "أ" و "تكون" بحيث يكون مجموع الانحرافات المربعة كان الأصغر. كل شيء كالمعتاد - أولاً المشتقات الجزئية من الدرجة الأولى. وفق القاعدة الخطيةيمكنك التمييز مباشرة تحت أيقونة المجموع:

إذا كنت تريد استخدام هذه المعلومات في مقال أو ورقة بحثية، سأكون ممتنًا جدًا للرابط الموجود في قائمة المصادر؛ ستجد مثل هذه الحسابات التفصيلية في أماكن قليلة:

لنقم بإنشاء نظام قياسي:

نقوم بتبسيط كل معادلة بمقدار "اثنين"، بالإضافة إلى "تقسيم" المجاميع:

ملحوظة : حلل بشكل مستقل سبب إمكانية إزالة "a" و"be" خارج رمز المجموع. بالمناسبة، رسميا يمكن القيام بذلك مع المبلغ

دعونا نعيد كتابة النظام في النموذج "التطبيقي":

وبعد ذلك تبدأ خوارزمية حل مشكلتنا في الظهور:

هل نعرف إحداثيات النقاط؟ نعلم. كميات هل يمكننا العثور عليه؟ بسهولة. دعونا نجعل أبسط نظام من معادلتين خطيتين في مجهولين("أ" و"يكون"). نقوم بحل النظام مثلا طريقة كريمرونتيجة لذلك نحصل على نقطة ثابتة. تدقيق حالة كافية للأقصى، يمكننا التحقق من أن الوظيفة عند هذه النقطة يصل بالضبط الحد الأدنى. يتضمن الفحص حسابات إضافية وبالتالي سنتركه وراء الكواليس (إذا لزم الأمر، يمكن عرض الإطار المفقود). نستخلص النتيجة النهائية:

وظيفة أفضل طريقة (على الأقل بالمقارنة مع أي وظيفة خطية أخرى)يجعل النقاط التجريبية أقرب . بشكل تقريبي، يمر الرسم البياني الخاص به بالقرب من هذه النقاط قدر الإمكان. في التقليد الاقتصاد القياسيوتسمى أيضًا وظيفة التقريب الناتجة معادلة الانحدار الخطي المقترنة .

المشكلة قيد النظر لديها كبيرة أهمية عملية. في حالة مثالنا، مكافئ. يسمح لك بالتنبؤ بحجم التداول التجاري ("الإغريقي")سيكون للمتجر قيمة أو أخرى من منطقة المبيعات (معنى أو آخر لـ "x"). نعم، ستكون التوقعات الناتجة مجرد توقعات، ولكن في كثير من الحالات ستكون دقيقة تمامًا.

سأقوم بتحليل مشكلة واحدة فقط بأرقام "حقيقية"، حيث لا توجد صعوبات فيها - جميع الحسابات على المستوى المنهج المدرسي 7-8 درجات. في 95 بالمائة من الحالات، سيُطلب منك العثور على دالة خطية فقط، ولكن في نهاية المقالة سأوضح أنه لم يعد من الصعب العثور على معادلات القطع الزائد الأمثل والدوال الأسية وبعض الدوال الأخرى.

في الواقع، كل ما تبقى هو توزيع الأشياء الجيدة الموعودة - حتى تتمكن من تعلم كيفية حل هذه الأمثلة ليس بدقة فحسب، بل أيضًا بسرعة. نحن ندرس المعيار بعناية:

مهمة

ونتيجة لدراسة العلاقة بين مؤشرين تم الحصول على أزواج الأرقام التالية:

باستخدام طريقة المربعات الصغرى، أوجد الدالة الخطية الأقرب للدالة التجريبية (ذوي الخبرة)بيانات. أنشئ رسمًا لبناء النقاط التجريبية ورسمًا بيانيًا للدالة التقريبية في نظام الإحداثيات الديكارتي المستطيل . أوجد مجموع الانحرافات التربيعية بين القيم التجريبية والنظرية. اكتشف ما إذا كانت الميزة ستكون أفضل (من وجهة نظر طريقة المربعات الصغرى)تقريب النقاط التجريبية.

يرجى ملاحظة أن معاني "x" طبيعية، وهذا له معنى مميز ذو معنى، والذي سأتحدث عنه بعد قليل؛ لكنها بالطبع يمكن أن تكون كسرية أيضًا. بالإضافة إلى ذلك، اعتمادًا على محتوى مهمة معينة، يمكن أن تكون قيمتي "X" و"اللعبة" سالبة تمامًا أو جزئيًا. حسنًا، لقد تم تكليفنا بمهمة "مجهولة الهوية"، ونحن نبدأها حل:

نجد معاملات الدالة المثلى كحل للنظام:

لغرض تسجيل أكثر إحكاما، يمكن حذف متغير "العداد"، لأنه من الواضح بالفعل أن الجمع يتم من 1 إلى .

من الأنسب حساب المبالغ المطلوبة في شكل جدول:


يمكن إجراء الحسابات على آلة حاسبة صغيرة، ولكن من الأفضل استخدام Excel - بشكل أسرع وبدون أخطاء؛ شاهد فيديو قصير:

وهكذا نحصل على ما يلي نظام:

هنا يمكنك ضرب المعادلة الثانية بـ 3 و اطرح الثاني من حد المعادلة الأول بمصطلح. ولكن هذا هو الحظ - في الممارسة العملية، غالبا ما تكون الأنظمة ليست هدية، وفي مثل هذه الحالات يتم حفظها طريقة كريمر:
مما يعني أن النظام لديه حل فريد.

دعونا تحقق. أتفهم أنك لا تريد ذلك، ولكن لماذا تتخطى الأخطاء حيث لا يمكن تفويتها على الإطلاق؟ دعونا نعوض الحل الموجود في الجانب الأيسر من كل معادلة في النظام:

تم الحصول على الطرف الأيمن من المعادلات المقابلة، مما يعني أن النظام قد تم حله بشكل صحيح.

وبالتالي فإن وظيفة التقريب المطلوبة: - من جميع الوظائف الخطيةإنها هي التي تقريب البيانات التجريبية بشكل أفضل.

على عكس مستقيم اعتماد حجم مبيعات المتجر على منطقته، والاعتماد الموجود هو يعكس (مبدأ "كلما كان أكثر، أقل")، وهذه الحقيقة تكشفها السلبية على الفور ميل. وظيفة يخبرنا أنه مع زيادة مؤشر معين بمقدار وحدة واحدة، تنخفض قيمة المؤشر التابع متوسطبنسبة 0.65 وحدة. كما يقولون، كلما ارتفع سعر الحنطة السوداء، قل بيعها.

لرسم الرسم البياني للدالة التقريبية، نجد قيمتين لها:

وتنفيذ الرسم:


يسمى الخط المستقيم المبني خط الاتجاه (أي خط الاتجاه الخطي، أي في الحالة العامة، الاتجاه ليس بالضرورة خطًا مستقيمًا). الجميع على دراية بتعبير "أن تكون في الاتجاه"، وأعتقد أن هذا المصطلح لا يحتاج إلى تعليقات إضافية.

دعونا نحسب مجموع الانحرافات التربيعية بين القيم التجريبية والنظرية. هندسيًا، هذا هو مجموع مربعات أطوال شرائح "التوت". (اثنان منها صغيران جدًا بحيث لا يمكن رؤيتهما حتى).

دعونا نلخص الحسابات في الجدول:


مرة أخرى، يمكن القيام بذلك يدويًا، فقط في حالة حدوث ذلك، سأقدم مثالاً للنقطة الأولى:

ولكن من الأكثر فعالية القيام بذلك بالطريقة المعروفة بالفعل:

ونكرر مرة أخرى: ما معنى النتيجة التي تم الحصول عليها؟من جميع الوظائف الخطيةوظيفة ذ المؤشر هو الأصغر، أي أنه في عائلته هو أفضل تقريب. وهنا، بالمناسبة، السؤال الأخير للمشكلة ليس عرضيًا: ماذا لو كانت الدالة الأسية المقترحة هل سيكون من الأفضل تقريب النقاط التجريبية؟

دعونا نجد المبلغ المقابل للانحرافات التربيعية - للتمييز، سأشير إليها بالحرف "إبسيلون". التقنية هي نفسها تمامًا:


ومرة أخرى، فقط في حالة، حسابات النقطة الأولى:

في Excel نستخدم الوظيفة القياسية خبرة (يمكن العثور على بناء الجملة في تعليمات Excel).

خاتمة: مما يعني أن الدالة الأسية تقرب النقاط التجريبية بشكل أسوأ من الخط المستقيم .

ولكن هنا تجدر الإشارة إلى أن "الأسوأ" هو لا يعني بعد، ما الخطأ. لقد قمت الآن ببناء رسم بياني لهذه الدالة الأسية - وهي تمر أيضًا بالقرب من النقاط - لدرجة أنه بدون البحث التحليلي يصعب تحديد الوظيفة الأكثر دقة.

وبهذا ينتهي الحل، وأعود إلى مسألة القيم الطبيعية للحجة. في العديد من الدراسات، الاقتصادية أو الاجتماعية عادةً، تُستخدم علامات "X" الطبيعية لترقيم الأشهر أو السنوات أو فترات زمنية متساوية أخرى. خذ بعين الاعتبار، على سبيل المثال، المشكلة التالية.

طريقة المربعات الصغرى العادية (OLS).- الطريقة الرياضية المستخدمة في الحل المهام المختلفة، بناءً على تقليل مجموع الانحرافات التربيعية لبعض الوظائف عن المتغيرات المطلوبة. يمكن استخدامه "لحل" أنظمة المعادلات المفرطة التحديد (عندما يتجاوز عدد المعادلات عدد المجهولين) ، لإيجاد حلول في حالة أنظمة المعادلات غير الخطية العادية (غير المحددة بشكل مفرط) ، لتقريب قيم النقاط لبعضها وظيفة. تعد OLS إحدى الطرق الأساسية لتحليل الانحدار لتقدير المعلمات غير المعروفة لنماذج الانحدار من بيانات العينة.

يوتيوب الموسوعي

1 / 5

✪ طريقة المربعات الصغرى. موضوع

✪ طريقة المربعات الصغرى الدرس 1/2. دالة خطية

✪ الاقتصاد القياسي. المحاضرة 5. طريقة المربعات الصغرى

✪ Mitin IV - معالجة النتائج الجسدية. التجربة - طريقة المربعات الصغرى (المحاضرة 4)

✪ الاقتصاد القياسي: جوهر طريقة المربعات الصغرى رقم 2

ترجمات

قصة

حتى بداية القرن التاسع عشر. ولم يكن لدى العلماء قواعد معينة لحل نظام المعادلات الذي يكون فيه عدد المجهولين أقل من عدد المعادلات؛ حتى ذلك الوقت، تم استخدام تقنيات خاصة تعتمد على نوع المعادلات وعلى ذكاء الآلات الحاسبة، وبالتالي توصلت الآلات الحاسبة المختلفة، بناءً على نفس بيانات المراقبة، إلى استنتاجات مختلفة. كان غاوس (1795) أول من استخدم الطريقة، واكتشفها ليجيندر (1805) بشكل مستقل ونشرها تحت اسمها الحديث (فرنسي. طريقة المحاجر) . ربط لابلاس الطريقة بنظرية الاحتمالات، ونظر عالم الرياضيات الأمريكي أدريان (1808) في تطبيقاتها النظرية الاحتمالية. وقد انتشرت هذه الطريقة على نطاق واسع وتم تحسينها من خلال المزيد من الأبحاث التي أجراها إنكي، وبيسيل، وهانسن وآخرون.

جوهر طريقة المربعات الصغرى

يترك س (\displaystyle x)- عدة ن (\displaystyle n)متغيرات غير معروفة (المعلمات)، و أنا (x) (\displaystyle f_(i)(x)), , م > ن (\displaystyle m>n)- مجموعة من الوظائف من هذه المجموعة من المتغيرات. المهمة هي اختيار هذه القيم س (\displaystyle x)بحيث تكون قيم هذه الدوال قريبة قدر الإمكان من قيم معينة ص ط (\displaystyle y_(i)). نحن نتحدث بشكل أساسي عن "حل" نظام المعادلات المفرط التحديد و i (x) = y i (\displaystyle f_(i)(x)=y_(i)), أنا = 1، …، م (\displaystyle i=1,\ldots ,m)بالمعنى المشار إليه بأقصى قدر من القرب من الأجزاء اليسرى واليمنى من النظام. جوهر طريقة المربعات الصغرى هو تحديد مجموع الانحرافات التربيعية للجانبين الأيسر والأيمن "كمقياس للقرب" | و أنا (س) − ذ أنا | (\displaystyle |f_(i)(x)-y_(i)|). وبالتالي، يمكن التعبير عن جوهر MNC على النحو التالي:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).

إذا كان لنظام المعادلات حل، فإن الحد الأدنى لمجموع المربعات سيكون مساويًا للصفر ويمكن العثور على الحلول الدقيقة لنظام المعادلات تحليليًا أو، على سبيل المثال، باستخدام طرق التحسين العددية المختلفة. إذا كان النظام مفرط التحديد، فهذا يعني بشكل عام عدد المعادلات المستقلة المزيد من الكميةالمتغيرات المطلوبة، فإن النظام ليس لديه حل دقيق وتسمح لنا طريقة المربعات الصغرى بإيجاد بعض المتجهات "المثلى" س (\displaystyle x)بمعنى القرب الأقصى من المتجهات ذ (\displaystyle ذ)و و (خ) (\displaystyle f(x))أو أقصى قرب من ناقل الانحراف ه (\displaystyle e)إلى الصفر (يُفهم القرب بمعنى المسافة الإقليدية).

مثال - نظام المعادلات الخطية

على وجه الخصوص، يمكن استخدام طريقة المربعات الصغرى "لحل" نظام من المعادلات الخطية

أ س = ب (\displaystyle Ax=b),

أين أ (\displaystyle A) مصفوفة مستطيلةمقاس م × ن , م > ن (\displaystyle m\times n,m>n)(أي أن عدد صفوف المصفوفة A أكبر من عدد المتغيرات المطلوبة).

في الحالة العامة، مثل هذا النظام من المعادلات ليس له حل. لذلك، لا يمكن "حل" هذا النظام إلا بمعنى اختيار مثل هذا المتجه س (\displaystyle x)لتقليل "المسافة" بين المتجهات أ س (\displaystyle الفأس)و ب (\displaystyle b). للقيام بذلك، يمكنك تطبيق معيار تقليل مجموع مربعات الاختلافات بين الجانبين الأيسر والأيمن لمعادلات النظام، أي (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). ومن السهل توضيح أن حل مشكلة التصغير هذه يؤدي إلى حل نظام المعادلات التالي

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (ت)ب).

OLS في تحليل الانحدار (تقريب البيانات)

فليكن هناك ن (\displaystyle n)قيم بعض المتغيرات ذ (\displaystyle ذ)(قد تكون هذه نتائج الملاحظات والتجارب وما إلى ذلك) والمتغيرات ذات الصلة س (\displaystyle x). التحدي هو التأكد من أن العلاقة بين ذ (\displaystyle ذ)و س (\displaystyle x)تقريبي بواسطة بعض الوظائف المعروفة ضمن بعض المعلمات غير المعروفة ب (\displaystyle b)أي العثور فعليًا على أفضل قيم المعلمات ب (\displaystyle b)، تقريب القيم إلى أقصى حد و (x , ب) (\displaystyle f(x,b))إلى القيم الفعلية ذ (\displaystyle ذ). في الواقع، يتعلق الأمر بحالة "حل" نظام معادلات محدد للغاية فيما يتعلق بـ ب (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

في تحليل الانحدار وخاصة في الاقتصاد القياسي، يتم استخدام النماذج الاحتمالية للاعتماد بين المتغيرات

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

أين ε t (\displaystyle \varepsilon _(t))- ما يسمى أخطاء عشوائيةعارضات ازياء.

وفقا لذلك، انحرافات القيم المرصودة ذ (\displaystyle ذ)من النموذج و (x , ب) (\displaystyle f(x,b))يفترض بالفعل في النموذج نفسه. جوهر طريقة المربعات الصغرى (العادية والكلاسيكية) هو العثور على مثل هذه المعلمات ب (\displaystyle b)، حيث يكون مجموع الانحرافات التربيعية (الأخطاء، بالنسبة لنماذج الانحدار يطلق عليها غالبًا اسم بقايا الانحدار) ه ر (\displaystyle e_(t))سيكون الحد الأدنى:

ب ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

أين آر إس إس (\displaystyle RSS)- إنجليزي يتم تعريف مجموع المربعات المتبقية على النحو التالي:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

في الحالة العامة، يمكن حل هذه المشكلة عن طريق طرق التحسين العددي (التقليل). في هذه الحالة يتحدثون عنها المربعات الصغرى غير الخطية(NLS أو NLLS - المربعات الصغرى غير الخطية باللغة الإنجليزية). في كثير من الحالات من الممكن الحصول على حل تحليلي. لحل مشكلة التصغير، من الضروري إيجاد نقاط ثابتة للدالة آر إس إس (ب) (\displaystyle RSS(b))، وتمييزه وفقًا لمعلمات غير معروفة ب (\displaystyle b)، معادلة المشتقات بالصفر وحل نظام المعادلات الناتج:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

OLS في حالة الانحدار الخطي

دع اعتماد الانحدار يكون خطيًا:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( ر)^(T)ب+\فاريبسيلون _(ر)).

يترك ذهو متجه العمود لملاحظات المتغير الجاري شرحه، و إكس (\displaystyle X)- هذا (ن × ك) (\displaystyle ((n\times k)))- مصفوفة ملاحظات العامل (صفوف المصفوفة هي ناقلات لقيم العوامل في ملاحظة معينة، والأعمدة هي متجهات لقيم عامل معين في جميع الملاحظات). تمثيل المصفوفة للنموذج الخطي له الشكل:

y = X b + ε (\displaystyle y=Xb+\varepsilon ).

عندها سيكون متجه تقديرات المتغير الموضح ومتجه بقايا الانحدار متساويين

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

وبناء على ذلك، فإن مجموع مربعات بقايا الانحدار سيكون مساوياً لـ

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

التفريق بين هذه الوظيفة فيما يتعلق بمتجه المعلمات ب (\displaystyle b)وبمساواة المشتقات بالصفر نحصل على نظام المعادلات (في شكل مصفوفة):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

في شكل مصفوفة مفكوكة، يبدو نظام المعادلات كما يلي:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑ س ر 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\مجموع x_(t1)x_(tk)\\\مجموع x_(t2)x_(t1)&\مجموع x_(t2)^(2)&\مجموع x_(t2)x_(t3)&\ldots &\ مجموع x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (تك)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3) )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)))،)حيث يتم أخذ جميع المبالغ للجميع القيم المقبولة ر (\displaystyle t).

إذا تم تضمين ثابت في النموذج (كالعادة)، إذن س ر 1 = 1 (\displaystyle x_(t1)=1)أمام الجميع ر (\displaystyle t)لذلك، في الزاوية اليسرى العليا من مصفوفة نظام المعادلات يوجد عدد الملاحظات ن (\displaystyle n)وفي العناصر المتبقية من الصف الأول والعمود الأول - ببساطة مجموع القيم المتغيرة: ∑ x t j (\displaystyle \sum x_(tj))والعنصر الأول في الجانب الأيمن من النظام هو ∑ y t (\displaystyle \sum y_(t)).

يعطي حل نظام المعادلات هذا الصيغة العامة لتقديرات المربعات الصغرى للنموذج الخطي:

ب ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n) ))X^(T)y=V_(x)^(-1)C_(xy)).

ولأغراض تحليلية، فإن التمثيل الأخير لهذه الصيغة مفيد (في نظام المعادلات عند القسمة على n، تظهر الوسائل الحسابية بدلا من المجاميع). إذا كانت البيانات في نموذج الانحدار تركزت، فإن المصفوفة الأولى في هذا التمثيل لها معنى مصفوفة التغاير المشترك للعوامل، والثانية هي متجه لتغايرات العوامل مع المتغير التابع. إذا بالإضافة إلى ذلك فإن البيانات أيضا تطبيعإلى MSE (وهذا هو، في نهاية المطاف موحدة) ، فإن المصفوفة الأولى لها معنى مصفوفة ارتباط العينة للعوامل، والمتجه الثاني - ناقل ارتباطات العينة للعوامل مع المتغير التابع.

خاصية مهمة لتقديرات OLS للنماذج مع ثابت- يمر خط الانحدار المبني عبر مركز ثقل بيانات العينة أي أن المساواة قد تحققت:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (ب))_(ي)(\bar (x))_(ي)).

على وجه الخصوص، في الحالة القصوى، عندما يكون التراجع الوحيد ثابتًا، نجد أن تقدير OLS للمعلمة الوحيدة (الثابت نفسه) يساوي متوسط ​​قيمة المتغير الموضح. أي أن الوسط الحسابي، المعروف بخصائصه الجيدة من قوانين الأعداد الكبيرة، هو أيضًا تقدير بالمربعات الصغرى - فهو يفي بمعيار الحد الأدنى لمجموع الانحرافات المربعة عنه.

أبسط الحالات الخاصة

في حالة الانحدار الخطي المقترن y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t))عند تقييمها الاعتماد الخطيمن متغير إلى آخر، يتم تبسيط الصيغ الحسابية (يمكنك الاستغناء عن جبر المصفوفات). نظام المعادلات له الشكل:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).

من هنا يسهل العثور على تقديرات المعامل:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2)))،\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

على الرغم من أنه في الحالة العامة تكون النماذج ذات الثابت هي الأفضل، إلا أنه في بعض الحالات يُعرف من الاعتبارات النظرية أن الثابت أ (\displaystyle أ)يجب أن يكون مساوياً للصفر. على سبيل المثال، في الفيزياء العلاقة بين الجهد والتيار هي U = أنا ⋅ R (\displaystyle U=I\cdot R); عند قياس الجهد والتيار، من الضروري تقدير المقاومة. في هذه الحالة، نحن نتحدث عن النموذج ص = ب س (\displaystyle y=bx). في هذه الحالة، بدلًا من نظام المعادلات، لدينا معادلة واحدة

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

ولذلك، فإن صيغة تقدير المعامل الفردي لها الشكل

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

حالة نموذج متعدد الحدود

إذا كانت البيانات مناسبة بواسطة دالة انحدار متعددة الحدود لمتغير واحد f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i))ثم إدراك الدرجات س ط (\displaystyle x^(i))كعوامل مستقلة لكل منها أنا (\displaystyle i)من الممكن تقدير معلمات النموذج بناءً على الصيغة العامة لتقدير معلمات النموذج الخطي. للقيام بذلك، يكفي أن نأخذ في الاعتبار في الصيغة العامة أنه مع هذا التفسير x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))و x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). وبالتالي فإن معادلات المصفوفة في هذه الحالة سوف تأخذ الشكل:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x t 2 … ∑ n x t k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ مجموع \حدود _(ن)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(ن)x_(ر)^(ك)y_(t)\end(bmatrix)).)

الخصائص الإحصائية لمقدرات OLS

أولا وقبل كل شيء، نلاحظ أنه بالنسبة للنماذج الخطية، فإن تقديرات OLS هي تقديرات خطية، على النحو التالي من الصيغة أعلاه. بالنسبة لتقديرات OLS غير المتحيزة، من الضروري والكافي تحقيق الشرط الأكثر أهمية لتحليل الانحدار: التوقع الرياضي للخطأ العشوائي، المشروط بالعوامل، يجب أن يساوي الصفر. وهذا الشرط، على وجه الخصوص، يتم استيفاءه إذا

1. التوقع الرياضي للأخطاء العشوائية هو صفر، و
2. العوامل والأخطاء العشوائية هي متغيرات مستقلة عشوائية .

الشرط الثاني – شرط نشوء العوامل الخارجية – هو شرط أساسي. إذا لم يتم استيفاء هذه الخاصية، فيمكننا أن نفترض أن أي تقديرات تقريبًا ستكون غير مرضية للغاية: فهي لن تكون متسقة حتى (أي أنه حتى كمية كبيرة جدًا من البيانات لا تسمح لنا بالحصول على تقديرات عالية الجودة في هذه الحالة ). في الحالة الكلاسيكية، يتم وضع افتراض أقوى حول حتمية العوامل، بدلاً من الخطأ العشوائي، والذي يعني تلقائيًا أن شرط التولد الخارجي قد تم استيفائه. في الحالة العامة، من أجل اتساق التقديرات، يكفي استيفاء شرط التجانس الخارجي مع تقارب المصفوفة V × (\displaystyle V_(x))لبعض المصفوفات غير المفردة مع زيادة حجم العينة إلى ما لا نهاية.

لكي تكون تقديرات المربعات الصغرى (العادية) فعالة أيضًا (الأفضل في فئة التقديرات الخطية غير المتحيزة)، بالإضافة إلى الاتساق وعدم التحيز، يجب استيفاء خصائص إضافية للخطأ العشوائي:

يمكن صياغة هذه الافتراضات لمصفوفة التغاير لمتجه الخطأ العشوائي V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

يسمى النموذج الخطي الذي يحقق هذه الشروط كلاسيكي. تقديرات OLS للانحدار الخطي الكلاسيكي هي تقديرات غير متحيزة ومتسقة وأكثر فعالية في فئة جميع التقديرات الخطية غير المتحيزة (في الأدبيات الإنجليزية، يُستخدم الاختصار أحيانًا أزرق (أفضل مقدر خطي غير متحيز) - أفضل تقدير خطي غير متحيز؛ في الأدب الروسي، يتم الاستشهاد بنظرية غاوس ماركوف في كثير من الأحيان). كما هو واضح، فإن مصفوفة التغاير لمتجه تقديرات المعامل ستكون مساوية لما يلي:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

تعني الكفاءة أن مصفوفة التغاير هذه هي "الحد الأدنى" (أي مجموعة خطية من المعاملات، وخاصة المعاملات نفسها، لديها الحد الأدنى من التباين)، أي أن مقدرات OLS هي الأفضل في فئة المقدرين الخطيين غير المتحيزين. تعتبر العناصر القطرية لهذه المصفوفة - تباينات تقديرات المعاملات - من المعالم المهمة لجودة التقديرات التي تم الحصول عليها. ومع ذلك، ليس من الممكن حساب مصفوفة التغاير لأن تباين الخطأ العشوائي غير معروف. يمكن إثبات أن التقدير غير المتحيز والمتسق (للنموذج الخطي الكلاسيكي) لتباين الأخطاء العشوائية هو الكمية:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

أستعاض قيمة معينةفي صيغة مصفوفة التغاير والحصول على تقدير لمصفوفة التغاير. والتقديرات الناتجة هي أيضًا غير متحيزة ومتسقة. ومن المهم أيضًا أن يكون تقدير تباين الخطأ (وبالتالي تباين المعاملات) وتقديرات معلمات النموذج متغيرات عشوائية مستقلة، مما يجعل من الممكن الحصول على إحصائيات الاختبار لاختبار الفرضيات حول معاملات النموذج.

تجدر الإشارة إلى أنه إذا لم يتم استيفاء الافتراضات الكلاسيكية، فإن تقديرات معلمات OLS ليست الأكثر كفاءة وأين ث (\displaystyle W)هي بعض مصفوفة الوزن المحددة الإيجابية المتماثلة. تعتبر المربعات الصغرى التقليدية حالة خاصة لهذا النهج، حيث تتناسب مصفوفة الوزن مع مصفوفة الهوية. كما هو معروف، بالنسبة للمصفوفات المتماثلة (أو العوامل) هناك توسع W = P T P (\displaystyle W=P^(T)P). لذلك، يمكن تمثيل الوظيفة المحددة على النحو التالي e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *))أي أنه يمكن تمثيل هذه الوظيفة كمجموع مربعات بعض "البقايا" المحولة. وهكذا، يمكننا التمييز بين فئة من أساليب المربعات الصغرى - أساليب LS (المربعات الصغرى).

لقد ثبت (نظرية آيتكين) أنه بالنسبة لنموذج الانحدار الخطي المعمم (الذي لا يتم فيه فرض أي قيود على مصفوفة التغاير للأخطاء العشوائية)، فإن الأكثر فعالية (في فئة التقديرات الخطية غير المتحيزة) هي ما يسمى بالتقديرات. المربعات الصغرى المعممة (GLS - المربعات الصغرى المعممة)- طريقة LS بمصفوفة وزنية تساوي مصفوفة التغاير العكسي للأخطاء العشوائية: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

يمكن إثبات أن صيغة تقديرات GLS لمعلمات النموذج الخطي لها الشكل

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)ص).

وبالتالي فإن مصفوفة التغاير لهذه التقديرات ستكون مساوية لـ

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

في الواقع، يكمن جوهر OLS في تحويل (خطي) معين (P) للبيانات الأصلية وتطبيق OLS العادي على البيانات المحولة. والغرض من هذا التحويل هو أنه بالنسبة للبيانات المحولة، فإن الأخطاء العشوائية تلبي بالفعل الافتراضات الكلاسيكية.

OLS المرجح

في حالة مصفوفة الوزن القطرية (وبالتالي مصفوفة التغاير للأخطاء العشوائية)، لدينا ما يسمى بالمربعات الصغرى الموزونة (WLS). في هذه الحالة، يتم تقليل المجموع المرجح لمربعات بقايا النموذج، أي أن كل ملاحظة تتلقى "وزنًا" يتناسب عكسيًا مع تباين الخطأ العشوائي في هذه الملاحظة: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ سيجما_(ر)^(2)))). في الواقع، يتم تحويل البيانات عن طريق ترجيح الملاحظات (القسمة على مقدار يتناسب مع الانحراف المعياري المقدر للأخطاء العشوائية)، ويتم تطبيق عملية OLS العادية على البيانات المرجحة.

ISBN 978-5-7749-0473-0.

الاقتصاد القياسي. الكتاب المدرسي / إد. إليسيفا الثانية - الطبعة الثانية. - م: المالية والإحصاء، 2006. - 576 ص. -ردمك 5-279-02786-3.

ألكسندروفا إن.في.تاريخ المصطلحات والمفاهيم والرموز الرياضية: كتاب مرجعي للقاموس. - الطبعة الثالثة - م: LKI، 2008. - 248 ص. -ردمك 978-5-382-00839-4. IV ميتين، روساكوف في. تحليل ومعالجة البيانات التجريبية – الطبعة الخامسة – 24 ص.

تتيح لك طريقة المربعات الصغرى (OLS) تقدير الكميات المختلفة باستخدام نتائج العديد من القياسات التي تحتوي على أخطاء عشوائية.

خصائص الشركات المتعددة الجنسيات

الفكرة الرئيسية هذه الطريقةهو أنه كمعيار لدقة حل المشكلة، يتم أخذ مجموع الأخطاء المربعة في الاعتبار، والتي يسعون جاهدين لتقليلها. عند استخدام هذه الطريقة، يمكن استخدام كلا النهجين العددي والتحليلي.

على وجه الخصوص، كتطبيق عددي، تتضمن طريقة المربعات الصغرى تنفيذ أكبر قدر ممكن أكثرقياسات المجهول متغير عشوائي. علاوة على ذلك، كلما زادت الحسابات، كلما كان الحل أكثر دقة. وبناء على هذه المجموعة من الحسابات (البيانات الأولية)، يتم الحصول على مجموعة أخرى من الحلول المقدرة، ومن ثم يتم اختيار أفضلها. إذا كانت مجموعة الحلول ذات معلمات، فسيتم تقليل طريقة المربعات الصغرى لإيجاد القيمة المثلى للمعلمات.

كنهج تحليلي لتنفيذ LSM على مجموعة من البيانات الأولية (القياسات) ومجموعة الحلول المتوقعة، يتم تحديد واحد معين (وظيفي)، والذي يمكن التعبير عنه بصيغة تم الحصول عليها كفرضية معينة تتطلب تأكيدًا. في هذه الحالة، تتلخص طريقة المربعات الصغرى في إيجاد الحد الأدنى من هذه الدالة على مجموعة الأخطاء المربعة للبيانات الأصلية.

يرجى ملاحظة أن الأمر لا يتعلق بالأخطاء نفسها، بل بمربعات الأخطاء. لماذا؟ والحقيقة هي أن انحرافات القياسات عن القيمة الدقيقة غالبًا ما تكون إيجابية وسلبية. عند تحديد المتوسط، يمكن أن يؤدي الجمع البسيط إلى استنتاج غير صحيح حول جودة التقدير، حيث أن التدمير المتبادل للإيجابي و القيم السلبيةسوف يقلل من قوة أخذ العينات من أبعاد متعددة. وبالتالي دقة التقييم.

لمنع حدوث ذلك، يتم تلخيص الانحرافات التربيعية. علاوة على ذلك، ومن أجل معادلة أبعاد القيمة المقاسة والتقدير النهائي، يتم استخراج مجموع الأخطاء المربعة

بعض تطبيقات MNC

يتم استخدام MNC على نطاق واسع في مختلف المجالات. على سبيل المثال، في نظرية الاحتمالات والإحصاء الرياضي، يتم استخدام الطريقة لتحديد خاصية المتغير العشوائي مثل الانحراف المعياري، الذي يحدد عرض نطاق قيم المتغير العشوائي.