प्रयोगात्मक डेटा का अनुमान। कम से कम वर्ग विधि

उदाहरण।

चर के मूल्यों पर प्रायोगिक डेटा एक्सतथा परतालिका में दिए गए हैं।

उनके संरेखण के परिणामस्वरूप, फ़ंक्शन

का उपयोग करते हुए कम से कम वर्ग विधि, इन आंकड़ों को एक रैखिक निर्भरता के साथ अनुमानित करें वाई = कुल्हाड़ी + बी(विकल्प खोजें एकतथा बी) पता लगाएँ कि दोनों में से कौन सी रेखा बेहतर है (न्यूनतम वर्ग विधि के अर्थ में) प्रयोगात्मक डेटा को संरेखित करती है। एक चित्र बनाओ।

कम से कम वर्गों (LSM) की विधि का सार।

समस्या गुणांक खोजने की है रैखिक निर्भरता, जिसके लिए दो चर का कार्य एकतथा बी स्वीकार सबसे छोटा मान. यानी डेटा दिया गया है एकतथा बीपाई गई सीधी रेखा से प्रयोगात्मक डेटा के वर्ग विचलन का योग सबसे छोटा होगा। यह न्यूनतम वर्ग विधि का संपूर्ण बिंदु है।

इस प्रकार, उदाहरण का समाधान दो चरों के एक फ़ंक्शन के चरम को खोजने के लिए कम हो गया है।

गुणांक खोजने के लिए सूत्रों की व्युत्पत्ति।

दो अज्ञात के साथ दो समीकरणों की एक प्रणाली संकलित और हल की जाती है। चर के संबंध में किसी फ़ंक्शन के आंशिक व्युत्पन्न ढूँढना एकतथा बी, हम इन व्युत्पन्नों को शून्य के बराबर करते हैं।

हम समीकरणों की परिणामी प्रणाली को किसी भी विधि से हल करते हैं (उदाहरण के लिए प्रतिस्थापन विधिया ) और अल्पतम वर्ग विधि (LSM) का उपयोग करके गुणांक ज्ञात करने के लिए सूत्र प्राप्त करें।

डेटा के साथ एकतथा बीसमारोह सबसे छोटा मान लेता है। इस तथ्य का प्रमाण दिया है।

यह कम से कम वर्गों की पूरी विधि है। पैरामीटर खोजने के लिए सूत्र एकइसमें रकम , , , और पैरामीटर शामिल हैं एन- प्रयोगात्मक डेटा की मात्रा। इन राशियों के मूल्यों की अलग से गणना करने की अनुशंसा की जाती है। गुणक बीगणना के बाद पाया गया एक.

मूल उदाहरण को याद करने का समय आ गया है।

समाधान।

हमारे उदाहरण में एन = 5. हम आवश्यक गुणांक के सूत्रों में शामिल राशियों की गणना की सुविधा के लिए तालिका में भरते हैं।

तालिका की चौथी पंक्ति के मान दूसरी पंक्ति के मानों को प्रत्येक संख्या के लिए तीसरी पंक्ति के मानों से गुणा करके प्राप्त किए जाते हैं मैं.

तालिका की पाँचवीं पंक्ति के मान प्रत्येक संख्या के लिए दूसरी पंक्ति के मानों को चुकता करके प्राप्त किए जाते हैं मैं.

तालिका के अंतिम स्तंभ के मान पंक्तियों के मानों का योग हैं।

हम गुणांक ज्ञात करने के लिए अल्पतम वर्ग विधि के सूत्रों का उपयोग करते हैं एकतथा बी. हम उनमें तालिका के अंतिम कॉलम से संबंधित मानों को प्रतिस्थापित करते हैं:

फलस्वरूप, वाई=0.165x+2.184वांछित सन्निकटन सीधी रेखा है।

यह पता लगाना बाकी है कि कौन सी पंक्तियाँ वाई=0.165x+2.184या मूल डेटा का बेहतर अनुमान लगाता है, यानी कम से कम वर्ग विधि का उपयोग करके अनुमान लगाने के लिए।

कम से कम वर्गों की विधि की त्रुटि का अनुमान।

ऐसा करने के लिए, आपको इन पंक्तियों से मूल डेटा के वर्ग विचलन के योग की गणना करने की आवश्यकता है तथा , एक छोटा मान उस रेखा से मेल खाता है जो कम से कम वर्ग विधि के संदर्भ में मूल डेटा का बेहतर अनुमान लगाती है।

तब से , तब रेखा वाई=0.165x+2.184मूल डेटा का बेहतर अनुमान लगाता है।

कम से कम वर्ग विधि (LSM) का ग्राफिक चित्रण।

चार्ट पर सब कुछ बहुत अच्छा लग रहा है। लाल रेखा पाई गई रेखा है वाई=0.165x+2.184, नीली रेखा है , गुलाबी बिंदु मूल डेटा हैं।

यह किस लिए है, ये सभी अनुमान किस लिए हैं?

मैं व्यक्तिगत रूप से डेटा स्मूथिंग समस्याओं, इंटरपोलेशन और एक्सट्रपलेशन समस्याओं को हल करने के लिए उपयोग करता हूं (मूल उदाहरण में, आपको देखे गए मूल्य का मूल्य खोजने के लिए कहा जा सकता है आपपर एक्स = 3या जब एक्स = 6बहुराष्ट्रीय कंपनी विधि के अनुसार)। लेकिन हम इसके बारे में साइट के दूसरे भाग में बाद में बात करेंगे।

सबूत।

ताकि जब मिले एकतथा बीफ़ंक्शन सबसे छोटा मान लेता है, यह आवश्यक है कि इस बिंदु पर फ़ंक्शन के लिए दूसरे क्रम के अंतर के द्विघात रूप का मैट्रिक्स सकारात्मक निश्चित था। आइए इसे दिखाते हैं।

प्रयोगात्मक डेटा का अनुमान एक विश्लेषणात्मक फ़ंक्शन के साथ प्रयोगात्मक रूप से प्राप्त डेटा के प्रतिस्थापन पर आधारित एक विधि है जो प्रारंभिक मूल्यों (प्रयोग या प्रयोग के दौरान प्राप्त डेटा) के साथ नोडल बिंदुओं पर सबसे निकट से गुजरता है या मेल खाता है। विश्लेषणात्मक फ़ंक्शन को परिभाषित करने के लिए वर्तमान में दो तरीके हैं:

एक एन-डिग्री इंटरपोलेशन बहुपद का निर्माण करके जो गुजरता है सीधे सभी बिंदुओं के माध्यम सेडेटा की दी गई सरणी। इस मामले में, सन्निकटन फलन को इस प्रकार दर्शाया जाता है: लैग्रेंज रूप में एक प्रक्षेप बहुपद या न्यूटन रूप में एक प्रक्षेप बहुपद।

एक n-डिग्री सन्निकटन बहुपद का निर्माण करके जो गुजरता है अंक के करीबदिए गए डेटा सरणी से। इस प्रकार, अनुमानित कार्य प्रयोग के दौरान होने वाले सभी यादृच्छिक शोर (या त्रुटियों) को सुचारू करता है: प्रयोग के दौरान मापा गया मान यादृच्छिक कारकों पर निर्भर करता है जो अपने स्वयं के यादृच्छिक कानूनों (माप या उपकरण त्रुटियों, अशुद्धि या प्रयोगात्मक) के अनुसार उतार-चढ़ाव करते हैं। त्रुटियां)। इस मामले में, अनुमानित कार्य कम से कम वर्ग विधि द्वारा निर्धारित किया जाता है।

कम से कम वर्ग विधि(अंग्रेजी साहित्य में साधारण कम से कम वर्ग, ओएलएस) एक अनुमानित कार्य की परिभाषा के आधार पर एक गणितीय विधि है, जो प्रयोगात्मक डेटा के दिए गए सरणी से बिंदुओं के निकटतम निकटता में बनाया गया है। प्रारंभिक और अनुमानित कार्यों की निकटता F(x) एक संख्यात्मक माप द्वारा निर्धारित की जाती है, अर्थात्: अनुमानित वक्र F(x) से प्रयोगात्मक डेटा के वर्ग विचलन का योग सबसे छोटा होना चाहिए।

कम से कम वर्ग विधि द्वारा निर्मित फिटिंग वक्र

कम से कम वर्ग विधि का उपयोग किया जाता है:

समीकरणों की संख्या अज्ञात की संख्या से अधिक होने पर समीकरणों की अतिनिर्धारित प्रणालियों को हल करने के लिए;

समीकरणों के साधारण (अतिनिर्धारित नहीं) गैर-रेखीय प्रणालियों के मामले में समाधान खोजने के लिए;

कुछ अनुमानित फ़ंक्शन द्वारा बिंदु मानों को अनुमानित करने के लिए।

कम से कम वर्ग विधि द्वारा अनुमानित कार्य प्रयोगात्मक डेटा के दिए गए सरणी से परिकलित सन्निकटन फ़ंक्शन के वर्ग विचलन के न्यूनतम योग की स्थिति से निर्धारित होता है। न्यूनतम वर्ग विधि का यह मानदंड निम्नलिखित व्यंजक के रूप में लिखा गया है:

नोडल बिंदुओं पर परिकलित सन्निकटन फलन के मान,

नोडल बिंदुओं पर प्रयोगात्मक डेटा की निर्दिष्ट सरणी।

द्विघात मानदंड में कई "अच्छे" गुण होते हैं, जैसे कि भिन्नता, सुनिश्चित करना एकमात्र समाधानबहुपद सन्निकटन फलन के लिए सन्निकटन समस्याएँ।

समस्या की स्थितियों के आधार पर, सन्निकटन फलन घात m . का एक बहुपद है

सन्निकटन फ़ंक्शन की डिग्री नोडल बिंदुओं की संख्या पर निर्भर नहीं करती है, लेकिन इसका आयाम हमेशा प्रयोगात्मक डेटा के दिए गए सरणी के आयाम (अंकों की संख्या) से कम होना चाहिए।

यदि सन्निकटन फलन की घात m=1 है, तो हम एक सीधी रेखा (रैखिक प्रतिगमन) के साथ तालिका फलन का अनुमान लगाते हैं।

यदि सन्निकटन फलन की घात m=2 है, तो हम एक द्विघात परवलय (द्विघात सन्निकटन) के साथ तालिका फलन का अनुमान लगाते हैं।

यदि सन्निकटन फलन की घात m=3 है, तो हम तालिका फलन को घन परवलय (घन सन्निकटन) के साथ सन्निकटित करते हैं।

सामान्य स्थिति में, जब दिए गए सारणीबद्ध मानों के लिए घात m का एक सन्निकट बहुपद बनाना आवश्यक होता है, तो सभी नोडल बिंदुओं पर वर्ग विचलन के न्यूनतम योग की शर्त को निम्न रूप में फिर से लिखा जाता है:

- डिग्री एम के अनुमानित बहुपद के अज्ञात गुणांक;

निर्दिष्ट तालिका मानों की संख्या।

किसी फ़ंक्शन के न्यूनतम अस्तित्व के लिए एक आवश्यक शर्त अज्ञात चर के संबंध में इसके आंशिक व्युत्पन्न के शून्य की समानता है . नतीजतन, हम समीकरणों की निम्नलिखित प्रणाली प्राप्त करते हैं:

आइए प्राप्त को रूपांतरित करें रैखिक प्रणालीसमीकरण: कोष्ठक खोलिए और मुक्त पदों को व्यंजक के दाईं ओर ले जाइए। परिणामस्वरूप, रैखिक बीजीय व्यंजकों की परिणामी प्रणाली निम्नलिखित रूप में लिखी जाएगी:

रैखिक बीजीय व्यंजकों की इस प्रणाली को मैट्रिक्स रूप में फिर से लिखा जा सकता है:

परिणाम एक प्रणाली थी रेखीय समीकरणआयाम m+1, जिसमें m+1 अज्ञात हैं। इस प्रणाली को रैखिक बीजीय समीकरणों को हल करने के लिए किसी भी विधि का उपयोग करके हल किया जा सकता है (उदाहरण के लिए, गॉस विधि)। समाधान के परिणामस्वरूप, अनुमानित फ़ंक्शन के अज्ञात पैरामीटर मिलेंगे, जो प्रदान करते हैं न्यूनतम राशिमूल डेटा से सन्निकटन फलन का वर्ग विचलन, अर्थात सर्वोत्तम संभव द्विघात सन्निकटन। यह याद रखना चाहिए कि यदि प्रारंभिक डेटा का एक भी मान बदलता है, तो सभी गुणांक अपने मूल्यों को बदल देंगे, क्योंकि वे प्रारंभिक डेटा द्वारा पूरी तरह से निर्धारित होते हैं।

रैखिक निर्भरता द्वारा प्रारंभिक डेटा का अनुमान

(रेखीय प्रतिगमन)

एक उदाहरण के रूप में, सन्निकटन फलन को निर्धारित करने की विधि पर विचार करें, जिसे रैखिक संबंध के रूप में दिया गया है। न्यूनतम वर्ग विधि के अनुसार, वर्ग विचलनों के न्यूनतम योग की शर्त इस प्रकार लिखी जाती है:

तालिका के नोडल बिंदुओं के निर्देशांक;

सन्निकटन फलन के अज्ञात गुणांक, जो रैखिक संबंध के रूप में दिए गए हैं।

किसी फ़ंक्शन के न्यूनतम अस्तित्व के लिए एक आवश्यक शर्त अज्ञात चर के संबंध में इसके आंशिक व्युत्पन्न के शून्य की समानता है। नतीजतन, हम समीकरणों की निम्नलिखित प्रणाली प्राप्त करते हैं:

आइए हम समीकरणों की परिणामी रैखिक प्रणाली को रूपांतरित करें।

हम रैखिक समीकरणों की परिणामी प्रणाली को हल करते हैं। विश्लेषणात्मक रूप में अनुमानित कार्य के गुणांक निम्नानुसार निर्धारित किए जाते हैं (क्रैमर की विधि):

ये गुणांक दिए गए सारणीबद्ध मानों (प्रायोगिक डेटा) से अनुमानित फ़ंक्शन के वर्गों के योग को कम करने के मानदंड के अनुसार एक रैखिक सन्निकटन फ़ंक्शन का निर्माण प्रदान करते हैं।

कम से कम वर्गों की विधि को लागू करने के लिए एल्गोरिदम

1. प्रारंभिक डेटा:

माप की संख्या के साथ प्रयोगात्मक डेटा की एक सरणी को देखते हुए N

सन्निकट बहुपद (m) की घात दी गई है

2. गणना एल्गोरिथ्म:

2.1. आयाम के साथ समीकरणों की एक प्रणाली के निर्माण के लिए गुणांक निर्धारित किए जाते हैं

समीकरणों की प्रणाली के गुणांक (समीकरण के बाईं ओर)

- कॉलम नंबर इंडेक्स वर्ग मैट्रिक्ससमीकरणों की प्रणाली

रैखिक समीकरणों की प्रणाली के मुक्त सदस्य (समीकरण के दाईं ओर)

- समीकरणों की प्रणाली के वर्ग मैट्रिक्स की पंक्ति संख्या का सूचकांक

2.2. आयाम के साथ रैखिक समीकरणों की एक प्रणाली का गठन।

2.3. घात m के सन्निकट बहुपद के अज्ञात गुणांक ज्ञात करने के लिए रैखिक समीकरणों के निकाय का हल।

2.4 सभी नोडल बिंदुओं पर प्रारंभिक मूल्यों से अनुमानित बहुपद के वर्ग विचलन के योग का निर्धारण

वर्ग विचलन के योग का पाया गया मान न्यूनतम संभव है।

अन्य कार्यों के साथ सन्निकटन

यह ध्यान दिया जाना चाहिए कि कम से कम वर्ग विधि के अनुसार प्रारंभिक डेटा का अनुमान लगाते समय, एक लॉगरिदमिक फ़ंक्शन, एक घातीय फ़ंक्शन, और एक पावर फ़ंक्शन को कभी-कभी अनुमानित फ़ंक्शन के रूप में उपयोग किया जाता है।

लॉग सन्निकटन

उस मामले पर विचार करें जब सन्निकटन फलन दिया गया हो लॉगरिदमिक फ़ंक्शनप्रकार:

कम से कम वर्ग विधिप्रतिगमन समीकरण के मापदंडों का अनुमान लगाने के लिए प्रयोग किया जाता है।

पंक्तियों की संख्या (प्रारंभिक आंकड़े)

सुविधाओं के बीच स्टोकेस्टिक संबंधों का अध्ययन करने के तरीकों में से एक प्रतिगमन विश्लेषण है।
प्रतिगमन विश्लेषणप्रतिगमन समीकरण की व्युत्पत्ति का प्रतिनिधित्व करता है, जिसका उपयोग एक यादृच्छिक चर (सुविधा-परिणाम) के औसत मूल्य को खोजने के लिए किया जाता है, यदि दूसरे (या अन्य) चर (सुविधा-कारक) का मान ज्ञात है। इसमें निम्नलिखित चरण शामिल हैं:

1. कनेक्शन के रूप का चुनाव (विश्लेषणात्मक प्रतिगमन समीकरण का प्रकार);
2. समीकरण मापदंडों का आकलन;
3. विश्लेषणात्मक प्रतिगमन समीकरण की गुणवत्ता का मूल्यांकन।

अक्सर, सुविधाओं के सांख्यिकीय संबंध का वर्णन करने के लिए एक रैखिक रूप का उपयोग किया जाता है। एक रैखिक संबंध पर ध्यान इसके मापदंडों की एक स्पष्ट आर्थिक व्याख्या द्वारा समझाया गया है, जो चर की भिन्नता से सीमित है, और इस तथ्य से कि ज्यादातर मामलों में, एक रिश्ते के गैर-रैखिक रूपों को परिवर्तित किया जाता है (एक लघुगणक या परिवर्तनशील चर लेकर) गणना करने के लिए एक रैखिक रूप में।
एक रैखिक जोड़ी संबंध के मामले में, प्रतिगमन समीकरण रूप लेगा: y i =a+b·x i +u i । इस समीकरण के पैरामीटर ए और बी डेटा से अनुमानित हैं सांख्यिकीय अवलोकनएक्स और वाई। इस तरह के मूल्यांकन का परिणाम समीकरण है: , जहां , - मापदंडों का अनुमान a और b , - प्रतिगमन समीकरण (परिकलित मूल्य) द्वारा प्राप्त प्रभावी विशेषता (चर) का मूल्य।

पैरामीटर अनुमान के लिए सबसे अधिक उपयोग किया जाता है कम से कम वर्ग विधि (LSM)।
कम से कम वर्ग विधि प्रतिगमन समीकरण के मापदंडों का सर्वोत्तम (सुसंगत, कुशल और निष्पक्ष) अनुमान देती है। लेकिन केवल अगर यादृच्छिक पद (यू) और स्वतंत्र चर (एक्स) के बारे में कुछ धारणाएं पूरी होती हैं (ओएलएस धारणाएं देखें)।

न्यूनतम वर्ग विधि द्वारा एक रैखिक युग्म समीकरण के प्राचलों का आकलन करने की समस्यानिम्नलिखित में शामिल हैं: मापदंडों के ऐसे अनुमान प्राप्त करने के लिए, जिस पर प्रभावी विशेषता के वास्तविक मूल्यों के वर्ग विचलन का योग - y i परिकलित मूल्यों से - न्यूनतम है।
औपचारिक रूप से ओएलएस मानदंडइस तरह लिखा जा सकता है: .

कम से कम वर्ग विधियों का वर्गीकरण

1. कम से कम वर्ग विधि।
2. अधिकतम संभावना विधि (एक सामान्य शास्त्रीय रैखिक प्रतिगमन मॉडल के लिए, प्रतिगमन अवशिष्टों की सामान्यता पोस्ट की गई है)।
3. जीएलएलएस की सामान्यीकृत कम से कम वर्ग विधि त्रुटि स्वत: सहसंबंध के मामले में और विषमलैंगिकता के मामले में उपयोग की जाती है।
4. भारित न्यूनतम वर्ग विधि (विषमयुग्मजी अवशिष्टों के साथ जीएलएसएम का एक विशेष मामला)।

सार का चित्रण करें शास्त्रीय विधिग्राफिक रूप से कम से कम वर्ग. ऐसा करने के लिए, हम एक आयताकार समन्वय प्रणाली में अवलोकन डेटा (x i, y i, i=1;n) के अनुसार एक डॉट प्लॉट का निर्माण करेंगे (ऐसे डॉट प्लॉट को सहसंबंध क्षेत्र कहा जाता है)। आइए एक ऐसी सीधी रेखा खोजने का प्रयास करें जो सहसंबंध क्षेत्र के बिंदुओं के सबसे निकट हो। न्यूनतम वर्ग विधि के अनुसार, रेखा का चयन इस प्रकार किया जाता है कि सहसंबंध क्षेत्र के बिंदुओं और इस रेखा के बीच वर्गाकार ऊर्ध्वाधर दूरियों का योग न्यूनतम हो।

इस समस्या का गणितीय संकेतन: .
y i और x i = 1...n के मान हमें ज्ञात हैं, ये प्रेक्षण संबंधी आंकड़े हैं। फलन S में वे अचर हैं। इस फ़ंक्शन में वेरिएबल पैरामीटर के आवश्यक अनुमान हैं - , । 2 चरों के एक फलन का न्यूनतम ज्ञात करने के लिए, प्रत्येक प्राचल के संबंध में इस फलन के आंशिक अवकलजों की गणना करना और उन्हें शून्य के बराबर करना आवश्यक है, अर्थात्। .
नतीजतन, हम 2 सामान्य रैखिक समीकरणों की एक प्रणाली प्राप्त करते हैं:
इस प्रणाली को हल करते हुए, हमें आवश्यक पैरामीटर अनुमान मिलते हैं:

प्रतिगमन समीकरण के मापदंडों की गणना की शुद्धता की जाँच राशियों की तुलना करके की जा सकती है (गणना के गोल होने के कारण कुछ विसंगति संभव है)।
पैरामीटर अनुमानों की गणना करने के लिए, आप तालिका 1 बना सकते हैं।
प्रतिगमन गुणांक b का संकेत संबंध की दिशा को इंगित करता है (यदि b > 0, संबंध प्रत्यक्ष है, यदि b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
औपचारिक रूप से, पैरामीटर a का मान x के लिए y का औसत मान शून्य के बराबर है। यदि साइन-फैक्टर में शून्य मान नहीं है और नहीं हो सकता है, तो पैरामीटर की उपरोक्त व्याख्या का कोई मतलब नहीं है।

सुविधाओं के बीच संबंधों की जकड़न का आकलन रैखिक जोड़ी सहसंबंध के गुणांक का उपयोग करके किया जाता है - r x,y । इसकी गणना सूत्र का उपयोग करके की जा सकती है: . इसके अलावा, रैखिक जोड़ी सहसंबंध के गुणांक को प्रतिगमन गुणांक b के संदर्भ में निर्धारित किया जा सकता है: .
जोड़ी सहसंबंध के रैखिक गुणांक के स्वीकार्य मूल्यों की सीमा -1 से +1 तक है। सहसंबंध गुणांक का चिन्ह संबंध की दिशा को इंगित करता है। यदि r x, y >0, तो कनेक्शन प्रत्यक्ष है; अगर आर एक्स, वाई<0, то связь обратная.
यदि यह गुणांक मापांक में एकता के करीब है, तो सुविधाओं के बीच संबंध की व्याख्या काफी करीबी रैखिक के रूप में की जा सकती है। यदि इसका मापांक एक r x , y ê =1 के बराबर है, तो सुविधाओं के बीच संबंध कार्यात्मक रैखिक है। यदि गुण x और y रैखिक रूप से स्वतंत्र हैं, तो r x, y 0 के करीब है।
तालिका 1 का उपयोग r x, y की गणना के लिए भी किया जा सकता है।

तालिका एक

एन अवलोकन	एक्स मैं	यी	एक्स मैं वाई मैं
1	एक्स 1	वाई 1	एक्स 1 वाई 1
2	x2	y2	एक्स 2 वाई 2
...
एन	एक्स एन	Y n	एक्स एन वाई एन
कॉलम योग	x	y	x y
अर्थ

प्राप्त प्रतिगमन समीकरण की गुणवत्ता का आकलन करने के लिए, निर्धारण के सैद्धांतिक गुणांक की गणना की जाती है - R 2 yx:

,
जहाँ d 2 प्रतीपगमन समीकरण द्वारा समझाया गया प्रसरण y है;
ई 2 - अवशिष्ट (प्रतिगमन समीकरण द्वारा अस्पष्टीकृत) प्रसरण y ;
s 2 y - कुल (कुल) विचरण y ।
निर्धारण का गुणांक परिणामी विशेषता y की भिन्नता (फैलाव) के हिस्से की विशेषता है, जिसे प्रतिगमन (और, परिणामस्वरूप, कारक x) द्वारा समझाया गया है, कुल भिन्नता (फैलाव) y में। निर्धारण गुणांक R 2 yx 0 से 1 तक मान लेता है। तदनुसार, मान 1-R 2 yx मॉडल और विनिर्देश त्रुटियों में अन्य कारकों के प्रभाव के कारण विचरण y के अनुपात को दर्शाता है।
युग्मित रैखिक समाश्रयण के साथ R 2 yx =r 2 yx ।

कम से कम वर्ग विधि का सार है एक प्रवृत्ति मॉडल के मापदंडों को खोजने में जो समय या स्थान में कुछ यादृच्छिक घटना के विकास की प्रवृत्ति का सबसे अच्छा वर्णन करता है (एक प्रवृत्ति एक ऐसी रेखा है जो इस विकास की प्रवृत्ति को दर्शाती है)। कम से कम वर्ग विधि (ओएलएस) का कार्य न केवल कुछ प्रवृत्ति मॉडल ढूंढना है, बल्कि सबसे अच्छा या इष्टतम मॉडल ढूंढना है। यह मॉडल इष्टतम होगा यदि देखे गए वास्तविक मूल्यों और संबंधित परिकलित प्रवृत्ति मूल्यों के बीच चुकता विचलन का योग न्यूनतम (सबसे छोटा) है:

प्रेक्षित वास्तविक मान के बीच मानक विचलन कहाँ है

और संगत परिकलित प्रवृत्ति मूल्य,

अध्ययन के तहत घटना का वास्तविक (मनाया) मूल्य,

ट्रेंड मॉडल का अनुमानित मूल्य,

अध्ययन के तहत घटना की टिप्पणियों की संख्या।

MNC का उपयोग शायद ही कभी अपने आप होता है। एक नियम के रूप में, अक्सर इसका उपयोग केवल सहसंबंध अध्ययन में एक आवश्यक तकनीक के रूप में किया जाता है। यह याद रखना चाहिए कि एलएसएम का सूचना आधार केवल एक विश्वसनीय सांख्यिकीय श्रृंखला हो सकती है, और टिप्पणियों की संख्या 4 से कम नहीं होनी चाहिए, अन्यथा, एलएसएम की चौरसाई प्रक्रियाएं अपना सामान्य ज्ञान खो सकती हैं।

OLS टूलकिट को निम्न प्रक्रियाओं में घटाया गया है:

पहली प्रक्रिया। यह पता चलता है कि क्या चयनित कारक-तर्क में परिवर्तन होने पर परिणामी विशेषता को बदलने की कोई प्रवृत्ति है, या दूसरे शब्दों में, क्या "के बीच कोई संबंध है" पर " तथा " एक्स ».

दूसरी प्रक्रिया। यह निर्धारित किया जाता है कि कौन सी रेखा (प्रक्षेपवक्र) इस प्रवृत्ति का वर्णन या वर्णन करने में सबसे अच्छी है।

तीसरी प्रक्रिया।

उदाहरण. मान लीजिए हमारे पास अध्ययनाधीन खेत के लिए सूरजमुखी की औसत उपज के बारे में जानकारी है (सारणी 9.1)।

तालिका 9.1

अवलोकन संख्या
उत्पादकता, सी/हे

चूंकि हमारे देश में सूरजमुखी के उत्पादन में प्रौद्योगिकी का स्तर पिछले 10 वर्षों में बहुत अधिक नहीं बदला है, इसका मतलब है कि, सबसे अधिक संभावना है, विश्लेषण की अवधि में उपज में उतार-चढ़ाव मौसम और जलवायु परिस्थितियों में उतार-चढ़ाव पर बहुत अधिक निर्भर करता है। क्या यह सच है?

पहली बहुराष्ट्रीय कंपनी प्रक्रिया। विश्लेषण किए गए 10 वर्षों में मौसम और जलवायु परिस्थितियों में परिवर्तन के आधार पर सूरजमुखी की उपज में परिवर्तन की प्रवृत्ति के अस्तित्व के बारे में परिकल्पना का परीक्षण किया जा रहा है।

इस उदाहरण में, के लिए " आप » सूरजमुखी की उपज लेने की सलाह दी जाती है, और « एक्स » विश्लेषण की गई अवधि में देखे गए वर्ष की संख्या है। के बीच किसी भी संबंध के अस्तित्व के बारे में परिकल्पना का परीक्षण करना " एक्स " तथा " आप » दो तरीकों से किया जा सकता है: मैन्युअल रूप से और कंप्यूटर प्रोग्राम की मदद से। बेशक, कंप्यूटर प्रौद्योगिकी की उपलब्धता के साथ, यह समस्या अपने आप हल हो जाती है। लेकिन, ओएलएस टूलकिट को बेहतर ढंग से समझने के लिए, "के बीच संबंध के अस्तित्व के बारे में परिकल्पना का परीक्षण करना उचित है" एक्स " तथा " आप » मैन्युअल रूप से, जब केवल एक पेन और एक साधारण कैलकुलेटर हाथ में हों। ऐसे मामलों में, एक प्रवृत्ति के अस्तित्व की परिकल्पना को विश्लेषण की गई समय श्रृंखला की ग्राफिक छवि के स्थान से दृष्टि से सबसे अच्छी तरह से जांचा जाता है - सहसंबंध क्षेत्र:

हमारे उदाहरण में सहसंबंध क्षेत्र धीरे-धीरे बढ़ती हुई रेखा के आसपास स्थित है। यह अपने आप में सूरजमुखी की उपज में परिवर्तन में एक निश्चित प्रवृत्ति के अस्तित्व को इंगित करता है। किसी भी प्रवृत्ति की उपस्थिति के बारे में केवल तभी बोलना असंभव है जब सहसंबंध क्षेत्र एक वृत्त, एक वृत्त, एक कड़ाई से लंबवत या कड़ाई से क्षैतिज बादल जैसा दिखता है, या इसमें बेतरतीब ढंग से बिखरे हुए बिंदु होते हैं। अन्य सभी मामलों में, "के बीच संबंध के अस्तित्व की परिकल्पना की पुष्टि करना आवश्यक है" एक्स " तथा " आप और अनुसंधान जारी रखें।

दूसरी बहुराष्ट्रीय कंपनी प्रक्रिया। यह निर्धारित किया जाता है कि विश्लेषण की गई अवधि के लिए कौन सी रेखा (प्रक्षेपवक्र) सूरजमुखी की उपज में परिवर्तन की प्रवृत्ति का वर्णन या विशेषता बताने में सक्षम है।

कंप्यूटर प्रौद्योगिकी की उपलब्धता के साथ, इष्टतम प्रवृत्ति का चयन स्वचालित रूप से होता है। "मैनुअल" प्रसंस्करण के साथ, इष्टतम फ़ंक्शन का चुनाव, एक नियम के रूप में, दृश्य तरीके से - सहसंबंध क्षेत्र के स्थान से किया जाता है। यही है, चार्ट के प्रकार के अनुसार, रेखा के समीकरण का चयन किया जाता है, जो अनुभवजन्य प्रवृत्ति (वास्तविक प्रक्षेपवक्र के लिए) के लिए सबसे उपयुक्त है।

जैसा कि आप जानते हैं, प्रकृति में कार्यात्मक निर्भरता की एक विशाल विविधता है, इसलिए उनमें से एक छोटे से हिस्से का भी नेत्रहीन विश्लेषण करना बेहद मुश्किल है। सौभाग्य से, वास्तविक आर्थिक व्यवहार में, अधिकांश संबंधों को या तो एक परवलय, या एक अतिपरवलय, या एक सीधी रेखा द्वारा सटीक रूप से वर्णित किया जा सकता है। इस संबंध में, सर्वोत्तम फ़ंक्शन का चयन करने के लिए "मैनुअल" विकल्प के साथ, आप स्वयं को केवल इन तीन मॉडलों तक सीमित कर सकते हैं।

		अतिपरवलय:

दूसरे क्रम का परवलय: :

यह देखना आसान है कि हमारे उदाहरण में, विश्लेषण किए गए 10 वर्षों में सूरजमुखी की उपज में बदलाव की प्रवृत्ति एक सीधी रेखा द्वारा सबसे अच्छी विशेषता है, इसलिए प्रतिगमन समीकरण एक सीधी रेखा समीकरण होगा।

तीसरी प्रक्रिया। इस रेखा की विशेषता वाले प्रतिगमन समीकरण के मापदंडों की गणना की जाती है, या दूसरे शब्दों में, एक विश्लेषणात्मक सूत्र निर्धारित किया जाता है जो सर्वोत्तम प्रवृत्ति मॉडल का वर्णन करता है।

प्रतिगमन समीकरण के मापदंडों के मूल्यों को ढूँढना, हमारे मामले में, पैरामीटर और , एलएसएम का मूल है। यह प्रक्रिया सामान्य समीकरणों की एक प्रणाली को हल करने के लिए कम हो जाती है।

(9.2)

गॉस विधि द्वारा समीकरणों की यह प्रणाली काफी आसानी से हल हो जाती है। याद रखें कि समाधान के परिणामस्वरूप, हमारे उदाहरण में, मापदंडों के मूल्य और पाए जाते हैं। इस प्रकार, पाया गया प्रतिगमन समीकरण का निम्न रूप होगा:

कम से कम वर्ग विधि

न्यूनतम वर्ग विधि ( एमएनके, ओएलएस, साधारण कम से कम वर्ग) - नमूना डेटा से प्रतिगमन मॉडल के अज्ञात मापदंडों का अनुमान लगाने के लिए प्रतिगमन विश्लेषण के बुनियादी तरीकों में से एक। विधि प्रतिगमन अवशेषों के वर्गों के योग को कम करने पर आधारित है।

यह ध्यान दिया जाना चाहिए कि कम से कम वर्ग विधि को किसी भी क्षेत्र में किसी समस्या को हल करने के लिए एक विधि कहा जा सकता है, यदि समाधान अज्ञात चर के कुछ कार्यों के वर्गों के योग को कम करने के लिए एक निश्चित मानदंड को पूरा करता है या पूरा करता है। इसलिए, कम से कम वर्ग विधि का उपयोग अन्य (सरल) कार्यों द्वारा दिए गए फ़ंक्शन के अनुमानित प्रतिनिधित्व (सन्निकटन) के लिए भी किया जा सकता है, जब समीकरणों या प्रतिबंधों को संतुष्ट करने वाली मात्राओं का एक सेट ढूंढा जाता है, जिसकी संख्या इन मात्राओं की संख्या से अधिक होती है , आदि।

MNC . का सार

(व्याख्या) चर के बीच संभाव्यता (प्रतिगमन) निर्भरता के कुछ (पैरामीट्रिक) मॉडल दें आपऔर कई कारक (व्याख्यात्मक चर) एक्स

अज्ञात मॉडल पैरामीटर का वेक्टर कहां है

- रैंडम मॉडल त्रुटि।

बता दें कि संकेतित चरों के मूल्यों का नमूना अवलोकन भी होना चाहिए। आज्ञा देना प्रेक्षण संख्या () हो। फिर -वें अवलोकन में चरों के मान हैं। फिर, पैरामीटर b के दिए गए मानों के लिए, व्याख्या किए गए चर y के सैद्धांतिक (मॉडल) मानों की गणना करना संभव है:

अवशिष्टों का मान पैरामीटर b के मानों पर निर्भर करता है।

एलएसएम (साधारण, शास्त्रीय) का सार ऐसे पैरामीटर बी को ढूंढना है जिसके लिए अवशिष्ट के वर्गों का योग (इंग्लैंड। वर्गों का अवशिष्ट योग) न्यूनतम होगा:

सामान्य स्थिति में, इस समस्या को अनुकूलन (न्यूनतमीकरण) के संख्यात्मक तरीकों से हल किया जा सकता है। इस मामले में, कोई बोलता है अरेखीय कम से कम वर्ग(एनएलएस या एनएलएलएस - अंग्रेजी। गैर रेखीय कम से कम वर्ग) कई मामलों में, एक विश्लेषणात्मक समाधान प्राप्त किया जा सकता है। न्यूनीकरण समस्या को हल करने के लिए, फ़ंक्शन के स्थिर बिंदुओं को अज्ञात पैरामीटर बी के संबंध में अंतर करके, डेरिवेटिव को शून्य के बराबर करना, और समीकरणों की परिणामी प्रणाली को हल करना आवश्यक है:

यदि मॉडल की यादृच्छिक त्रुटियों को सामान्य रूप से वितरित किया जाता है, समान भिन्नता होती है, और एक दूसरे के साथ सहसंबद्ध नहीं होते हैं, तो कम से कम वर्ग पैरामीटर अनुमान अधिकतम संभावना विधि (एमएलएम) अनुमानों के समान होते हैं।

रैखिक मॉडल के मामले में एलएसएम

प्रतिगमन निर्भरता को रैखिक होने दें:

होने देना आप- समझाया चर के अवलोकन के कॉलम वेक्टर, और - कारकों के अवलोकन के मैट्रिक्स (मैट्रिक्स की पंक्तियां - किसी दिए गए अवलोकन में कारक मानों के वैक्टर, कॉलम द्वारा - सभी अवलोकनों में किसी दिए गए कारक के मूल्यों के वेक्टर) . रैखिक मॉडल के मैट्रिक्स प्रतिनिधित्व का रूप है:

फिर समझाया गया चर के अनुमानों का वेक्टर और प्रतिगमन अवशिष्ट के वेक्टर के बराबर होगा

तदनुसार, प्रतिगमन अवशेषों के वर्गों का योग बराबर होगा

पैरामीटर वेक्टर के संबंध में इस फ़ंक्शन को अलग करना और व्युत्पन्न को शून्य के बराबर करना, हम समीकरणों की एक प्रणाली प्राप्त करते हैं (मैट्रिक्स रूप में):

.

समीकरणों की इस प्रणाली का समाधान रैखिक मॉडल के लिए कम से कम वर्ग अनुमानों के लिए सामान्य सूत्र देता है:

विश्लेषणात्मक उद्देश्यों के लिए, इस सूत्र का अंतिम प्रतिनिधित्व उपयोगी साबित होता है। यदि प्रतिगमन मॉडल में डेटा केंद्रित, तो इस निरूपण में पहले मैट्रिक्स में कारकों के नमूना सहप्रसरण मैट्रिक्स का अर्थ है, और दूसरा एक आश्रित चर वाले कारकों के सहप्रसरणों का वेक्टर है। यदि, इसके अतिरिक्त, डेटा भी है सामान्यीकृत SKO पर (अर्थात, अंततः मानकीकृत), तो पहले मैट्रिक्स में कारकों के नमूना सहसंबंध मैट्रिक्स का अर्थ है, दूसरा वेक्टर - आश्रित चर के साथ कारकों के नमूना सहसंबंधों का वेक्टर।

मॉडल के लिए एलएलएस अनुमानों की एक महत्वपूर्ण संपत्ति स्थिरांक के साथ- निर्मित प्रतिगमन की रेखा नमूना डेटा के गुरुत्वाकर्षण के केंद्र से होकर गुजरती है, अर्थात समानता पूरी होती है:

विशेष रूप से, चरम मामले में, जब एकमात्र प्रतिगामी स्थिर होता है, तो हम पाते हैं कि एकल पैरामीटर (स्थिर स्वयं) का ओएलएस अनुमान चर के औसत मूल्य के बराबर है। अर्थात्, बड़ी संख्याओं के नियमों से अपने अच्छे गुणों के लिए जाना जाने वाला अंकगणितीय माध्य भी एक न्यूनतम वर्ग अनुमान है - यह इससे वर्ग विचलन के न्यूनतम योग के मानदंड को पूरा करता है।

उदाहरण: सरल (जोड़ीवार) प्रतिगमन

युग्मित रैखिक प्रतिगमन के मामले में, गणना सूत्र सरल होते हैं (आप मैट्रिक्स बीजगणित के बिना कर सकते हैं):

ओएलएस अनुमानों के गुण

सबसे पहले, हम ध्यान दें कि रैखिक मॉडल के लिए, कम से कम वर्ग अनुमान रैखिक अनुमान हैं, जैसा कि उपरोक्त सूत्र से निम्नानुसार है। निष्पक्ष ओएलएस अनुमानों के लिए, प्रतिगमन विश्लेषण की सबसे महत्वपूर्ण शर्त को पूरा करना आवश्यक और पर्याप्त है: कारकों पर सशर्त यादृच्छिक त्रुटि की गणितीय अपेक्षा शून्य के बराबर होनी चाहिए। यह शर्त संतुष्ट है, विशेष रूप से, यदि

1. यादृच्छिक त्रुटियों की गणितीय अपेक्षा शून्य है, और
2. कारक और यादृच्छिक त्रुटियां स्वतंत्र यादृच्छिक चर हैं।

दूसरी शर्त - बहिर्जात कारकों की स्थिति - मौलिक है। यदि यह संपत्ति संतुष्ट नहीं है, तो हम मान सकते हैं कि लगभग कोई भी अनुमान बेहद असंतोषजनक होगा: वे सुसंगत भी नहीं होंगे (अर्थात, बहुत बड़ी मात्रा में डेटा भी इस मामले में गुणात्मक अनुमान प्राप्त करने की अनुमति नहीं देता है)। शास्त्रीय मामले में, एक यादृच्छिक त्रुटि के विपरीत, कारकों के नियतत्ववाद के बारे में एक मजबूत धारणा बनाई जाती है, जिसका स्वचालित रूप से मतलब है कि बहिर्जात स्थिति संतुष्ट है। सामान्य मामले में, अनुमानों की स्थिरता के लिए, नमूना आकार में अनंत तक वृद्धि के साथ कुछ गैर-एकवचन मैट्रिक्स के मैट्रिक्स के अभिसरण के साथ-साथ बहिर्जात स्थिति को पूरा करने के लिए पर्याप्त है।

निरंतरता और निष्पक्षता के अलावा, (सामान्य) कम से कम वर्गों के अनुमान भी प्रभावी होने के लिए (रैखिक निष्पक्ष अनुमानों के वर्ग में सर्वश्रेष्ठ), यादृच्छिक त्रुटि के अतिरिक्त गुणों को पूरा करना आवश्यक है:

इन मान्यताओं को यादृच्छिक त्रुटि वेक्टर के सहप्रसरण मैट्रिक्स के लिए तैयार किया जा सकता है

एक रैखिक मॉडल जो इन शर्तों को पूरा करता है, कहलाता है क्लासिक. शास्त्रीय रैखिक प्रतिगमन के लिए ओएलएस अनुमान सभी रैखिक निष्पक्ष अनुमानों के वर्ग में निष्पक्ष, सुसंगत और सबसे कुशल अनुमान हैं (अंग्रेजी साहित्य में, संक्षेप में कभी-कभी उपयोग किया जाता है नीला (सर्वश्रेष्ठ रैखिक निष्पक्ष अनुमानक) सबसे अच्छा रैखिक निष्पक्ष अनुमान है; घरेलू साहित्य में, गॉस-मार्कोव प्रमेय को अधिक बार उद्धृत किया जाता है)। जैसा कि यह दिखाना आसान है, गुणांक अनुमान वेक्टर का सहप्रसरण मैट्रिक्स इसके बराबर होगा:

सामान्यीकृत कम से कम वर्ग

कम से कम वर्गों की विधि व्यापक सामान्यीकरण की अनुमति देती है। अवशेषों के वर्गों के योग को कम करने के बजाय, कोई अवशिष्ट वेक्टर के कुछ सकारात्मक निश्चित द्विघात रूप को कम कर सकता है, जहां कुछ सममित सकारात्मक निश्चित वजन मैट्रिक्स है। साधारण कम से कम वर्ग इस दृष्टिकोण का एक विशेष मामला है, जब वजन मैट्रिक्स पहचान मैट्रिक्स के समानुपाती होता है। जैसा कि सममित मैट्रिक्स (या ऑपरेटरों) के सिद्धांत से जाना जाता है, ऐसे मैट्रिक्स के लिए एक अपघटन होता है। इसलिए, निर्दिष्ट कार्यात्मक को निम्नानुसार दर्शाया जा सकता है, अर्थात, इस कार्यात्मक को कुछ रूपांतरित "अवशिष्ट" के वर्गों के योग के रूप में दर्शाया जा सकता है। इस प्रकार, हम कम से कम वर्ग विधियों के एक वर्ग को अलग कर सकते हैं - एलएस-विधियां (कम से कम वर्ग)।

यह साबित होता है (ऐटकेन का प्रमेय) कि एक सामान्यीकृत रैखिक प्रतिगमन मॉडल के लिए (जिसमें यादृच्छिक त्रुटियों के सहप्रसरण मैट्रिक्स पर कोई प्रतिबंध नहीं लगाया जाता है), सबसे प्रभावी (रैखिक निष्पक्ष अनुमानों के वर्ग में) तथाकथित के अनुमान हैं। सामान्यीकृत ओएलएस (ओएमएनके, जीएलएस - सामान्यीकृत कम वर्ग)- यादृच्छिक त्रुटियों के व्युत्क्रम सहप्रसरण मैट्रिक्स के बराबर भार मैट्रिक्स के साथ LS-विधि: .

यह दिखाया जा सकता है कि रैखिक मॉडल के मापदंडों के जीएलएस-अनुमानों के सूत्र का रूप है

इन अनुमानों का सहप्रसरण मैट्रिक्स, क्रमशः, के बराबर होगा

वास्तव में, ओएलएस का सार मूल डेटा के एक निश्चित (रैखिक) परिवर्तन (पी) और रूपांतरित डेटा के लिए सामान्य न्यूनतम वर्गों के अनुप्रयोग में निहित है। इस परिवर्तन का उद्देश्य यह है कि रूपांतरित डेटा के लिए, यादृच्छिक त्रुटियां पहले से ही शास्त्रीय मान्यताओं को संतुष्ट करती हैं।

भारित न्यूनतम वर्ग

एक विकर्ण भार मैट्रिक्स (और इसलिए यादृच्छिक त्रुटियों के सहप्रसरण मैट्रिक्स) के मामले में, हमारे पास तथाकथित भारित न्यूनतम वर्ग (WLS - भारित कम से कम वर्ग) हैं। इस मामले में, मॉडल के अवशेषों के वर्गों के भारित योग को कम से कम किया जाता है, अर्थात, प्रत्येक अवलोकन को एक "वजन" प्राप्त होता है जो इस अवलोकन में यादृच्छिक त्रुटि के विचरण के व्युत्क्रमानुपाती होता है: । वास्तव में, डेटा को प्रेक्षणों को भारित करके (यादृच्छिक त्रुटियों के कल्पित मानक विचलन के अनुपात में विभाजित करके) रूपांतरित किया जाता है, और भारित डेटा पर सामान्य न्यूनतम वर्ग लागू होते हैं।

व्यवहार में एलएसएम के प्रयोग के कुछ विशेष मामले

रैखिक सन्निकटन

उस मामले पर विचार करें, जब एक निश्चित अदिश मात्रा पर एक निश्चित अदिश मात्रा की निर्भरता का अध्ययन करने के परिणामस्वरूप (यह हो सकता है, उदाहरण के लिए, वर्तमान ताकत पर वोल्टेज की निर्भरता: , जहां एक स्थिर मूल्य है, कंडक्टर का प्रतिरोध ), इन मात्राओं को मापा गया, जिसके परिणामस्वरूप मान और उनके संगत मान। माप डेटा एक तालिका में दर्ज किया जाना चाहिए।

मेज। माप परिणाम।

मापन संख्या
1
2
3
4
5
6

सवाल इस तरह लगता है: निर्भरता का सबसे अच्छा वर्णन करने के लिए गुणांक का कौन सा मूल्य चुना जा सकता है? कम से कम वर्गों के अनुसार, यह मान ऐसा होना चाहिए कि मानों के चुकता विचलन का योग मानों से

न्यूनतम था

वर्ग विचलन के योग में एक चरम सीमा होती है - न्यूनतम, जो हमें इस सूत्र का उपयोग करने की अनुमति देती है। आइए इस सूत्र से गुणांक का मान ज्ञात करें। ऐसा करने के लिए, हम इसके बाईं ओर को इस प्रकार बदलते हैं:

अंतिम सूत्र हमें गुणांक का मान ज्ञात करने की अनुमति देता है, जो समस्या में आवश्यक था।

कहानी

XIX सदी की शुरुआत तक। वैज्ञानिकों के पास समीकरणों की एक प्रणाली को हल करने के लिए कुछ नियम नहीं थे जिसमें अज्ञात की संख्या समीकरणों की संख्या से कम हो; उस समय तक, समीकरणों के प्रकार और कैलकुलेटर की सरलता के आधार पर, विशेष विधियों का उपयोग किया जाता था, और इसलिए एक ही अवलोकन डेटा से शुरू होने वाले विभिन्न कैलकुलेटर अलग-अलग निष्कर्ष पर आते थे। गॉस (1795) को विधि के पहले आवेदन का श्रेय दिया जाता है, और लीजेंड्रे (1805) ने स्वतंत्र रूप से इसे अपने आधुनिक नाम (fr। मेथोड डेस मोइन्ड्रेस क्वारेस ) . लैपलेस ने विधि को संभाव्यता के सिद्धांत से जोड़ा, और अमेरिकी गणितज्ञ एड्रेन (1808) ने इसके संभाव्य अनुप्रयोगों पर विचार किया। Encke, Bessel, Hansen और अन्य द्वारा आगे के शोध द्वारा विधि व्यापक और बेहतर है।

बहुराष्ट्रीय कंपनियों का वैकल्पिक उपयोग

कम से कम वर्ग विधि के विचार का उपयोग अन्य मामलों में भी किया जा सकता है जो सीधे प्रतिगमन विश्लेषण से संबंधित नहीं हैं। तथ्य यह है कि वर्गों का योग वैक्टर के लिए सबसे आम निकटता उपायों में से एक है (परिमित-आयामी रिक्त स्थान में यूक्लिडियन मीट्रिक)।

एक अनुप्रयोग रैखिक समीकरणों की "समाधान" प्रणाली है जिसमें समीकरणों की संख्या चर की संख्या से अधिक होती है

जहां मैट्रिक्स वर्गाकार नहीं, बल्कि आयताकार है।

समीकरणों की ऐसी प्रणाली, सामान्य स्थिति में, कोई हल नहीं है (यदि रैंक वास्तव में चर की संख्या से अधिक है)। इसलिए, इस प्रणाली को केवल ऐसे वेक्टर को चुनने के अर्थ में "हल" किया जा सकता है ताकि वैक्टर और के बीच "दूरी" को कम किया जा सके। ऐसा करने के लिए, आप सिस्टम के समीकरणों के बाएँ और दाएँ भागों के वर्ग अंतरों के योग को न्यूनतम करने के लिए मानदंड लागू कर सकते हैं, अर्थात्। यह दिखाना आसान है कि इस न्यूनीकरण समस्या का समाधान समीकरणों की निम्नलिखित प्रणाली के समाधान की ओर ले जाता है