1-4-لاسو. 6

1-4-1-رفتار مجانبی ……. 8

1-5-تعاریف…. 10

1-5-1- تُنُکی… 10

1-5-2-برآوردگر پیشگو. 10

1-5-3-نماد لاندا 11

1-5-4-بهینه سازی محدب… 12

1-5-5-1-همگرایی در توزیع.. 12

1-5-5-2-همگرایی در احتمال.. 13

1-5-5-3-سازگاری با نرخ ریشه  ام. 13

1-5-5-4-همگرایی با احتمال یک….. 14

1-5-6-فرایند ایستا 14

1-5-7-فرایند خودبازگشتی-میانگین متحرک…. 14

1-5-8-معیارهای انتخاب مدل.. 15

1-5-8-1-معیار اطلاع بیزی… 15

1-5-8-2-اعتبارسنجی متقابل… 16

اعتبارسنجی متقابل  لایه. 17

 

فصل دوم: برآوردگرهای لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی

2-1-مدل رگرسیون خطی با خطای سری زمانی… 21

2-2-برآوردکمترین مربعات درمدل رگرسیونی باخطاهای خودبازگشتی میانگین متحرک…. 22

2-3-برآورد کمترین مربعات پارامترها 24

2-4-توزیع برآوردها 26

2-5-برآوردیابی به روش لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی… 28

2-6-خواص نظری برآوردگرهای لاسو. 30

2-6-1-خواص برآوردگر لاسو سنتی… 31

2-6-2-خواص برآوردگر لاسو اصلاح شده. 35

 

فصل سوم: الگوریتم دستیابی به برآوردگرهای لاسو در مدل رگرسیون خطی با خطای خود بازگشتی

 

3-1-فرایند تکراری… 42

3-2-تحدب موضعی 44

3-3-برآوردگر شروع.. 45

3-4-پارامترهای تنظیم کننده. 45

 

فصل چهارم: مثالهای کاربردی و شبیه سازی

4-1-مثال شبیه سازی… 49

4-2-مثال واقعی… 52

پیوست…. 55

مارتینگل و قضیه حد مرکزی مارتینگلها 56

قضیه ارگودیک….. 57

فهرست منابع و مآخذ.. 58

واژه نامه فارسی به انگلیسی… 61

واژه نامه انگلیسی به فارسی… 66

 

یک مطلب دیگر :

 فهرست جدول ها

 

 

عنوان                                                                                             صفحه

 

جدول4-1: نتایج شبیه سازی برای ………………………………………………………………………… 51

جدول4-2: نتایج مثال واقعی……………………………………………………………………………………………………… 53

 

 

فهرست علائم اختصاری

 

 

LASSO: Least Absolute Shrinkage and Selection Operator

i.i.d: independent  and  identical distribution

MSE: Mean Square Error

CV: Cross Validation

GCV: Generalized Cross Validation

OLS: Ordinary Least Square

 

فصل اول

 

 

مقدمات و تعاریف

 

 

مقدمه :

در این فصل به تعاریف و مقدمات لازم از جمله مدل رگرسیون خطی چندگانه استاندارد، مفهوم چند همخطی، رگرسیون ریج، بریج، روش لاسو و … که در فصلهای بعد به آنها نیاز داریم، خواهیم پرداخت.

 

1-1-رگرسیون خطی چندگانه و مسئله چند همخطی

یک مدل رگرسیون که شامل بیش از یک متغیر مستقل باشد و نسبت به پارامترها خطی باشد را مدل رگرسیون خطی چندگانه می نامند. فرم کلی یک مدل رگرسیون خطی چندگانه استاندارد به صورت زیر میباشد:

 

 

(1-1)

 

که درآن  متغیرهای تصادفی مستقل و هم توزیع با میانگین صفر و واریانس  میباشد .  بردار پارامترها، برای    بردار متغیرهای مستقل و  متغیر پاسخ میباشد. ماتریس  را ماتریس طرح مینامیم.

هنگامی که بین متغیر های مستقل همبستگی وجود داشته باشد، می گوییم بین آنها چند همخطی وجود دارد. از آثار چند همخطی می توان به موارد زیر اشاره کرد:

الف : از آنجاییکه در این حالت اطلاعات مستقل در مورد هریک از متغیرهای مستقل وجود ندارد، لذا نمی توان اثرات جزئی متغیرهای مذکور روی متغیر وابسته را برآورد کرد .

ب : هنگامی که همبستگی شدید بین متغیرهای مستقل وجود داشته باشد، کوواریانس و واریانس ضرایب، بزرگتر برآورد خواهند شد .

ج : در حالتی که با چند همخطی شدید در مدل مواجه هستیم، پیش بینی های صورت گرفته از آن غیر قابل اعتماد خواهد بود. در این حالت پیش بینی ها براساس مدلی که دارای زیر مجموعه ای از متغیرهای مستقل مدل اصلی است، بهتر صورت می گیرد .

د : رابطه قوی بین دو یا چند متغیر مستقل سبب می شود که نتوان ماتریس  را معکوس کرد. زیرا در این صورت ستون های ماتریس  به هم وابسته هستند و در نتیجه ستون های  نیز با هم وابسته هستند و پررتبه نیست.