1. 1. با مقدار اولیه که ، شروع می­کنیم.

 

1. 1. با بهره گرفتن از مقدار اخیر ، نقطه کاندید از توزیع جهشی که احتمال بازگشت مقدار به شرط مقدار قبلی است، نمونه گیری می­ شود. تنها محدودیت روی چگالی جهش در الگوریتم متروپلیس این است که آن متقارن است یعنی، .

 

1. 1. به شرط نقطه کاندید ، نسبت چگالی در و نقاط اخیر به صورت زیر محاسبه می­ شود:

 

1. 1. اگر چگالی پرش افزایش یابد ()، آن­گاه نقطه کاندید پذیرفته می­ شود () و به گام ۲ برمی­گردیم. اگر چگالی جهشی کاهش یابد ()، آن­گاه با احتمال نقطه کاندید پذیرفته می­ شود در غیر این صورت رد می­ شود و به گام ۲ برمی­گردیم.

 

می­توان نمونه گیری متروپلیس را به این صورت خلاصه کرد که ابتدا
را محاسبه کرد، سپس نقطه کاندید را با احتمال (احتمال یک حرکت) می­پذیریم. این روش زنجیر مارکوف را تولید می­ کند، به طوری که، احتمالات انتقال از به تنها وابسته به است. با دنبال کردن یک دوره داغیدن مناسب، زنجیر توزیع ایستایش را تقریب می­زند و نمونه­های بردار از نمونه گیری می­شوند.
هستینگس (۱۹۷۰) الگوریتم متروپلیس را با بهره گرفتن از تابع احتمال انتقال دلخواه ، انجام داد و احتمال پذیرش نقطه کاندید را به صورت زیر تعیین کرد:
به این رابطه الگوریتم متروپلیس هستینگس گویند.

۱-۶-۵ نمونه گیری متروپلیس هستینگس به عنوان یک زنجیر مارکوف

برای نشان دادن این که نمونه گیری متروپلیس هستینگس، زنجیر مارکوفی تولید می­ کند که چگالی تعادل، چگالی کاندید است، کافی است نشان دهیم که هسته انتقال متروپلیس هستینگس در معادله تعادل با صدق می­ کند.

بر اساس الگوریتم متروپلیس هستینگس از نمونه گیری می­کنیم سپس، انتقال با احتمال را می­پذیریم بنابراین، هسته احتمال انتقال عبارت است از:
پس اگر هسته متروپلیس هستینگس در یا
صدق کند آن­گاه، توزیع ایستا از این هسته مطابق نمونه گیری از توزیع هدف به دست می ­آید. لازم است معادله تعادل با این هسته، به ازای هر جفت و خاص، با در نظر گرفتن سه حالت ممکن ، مطابقت کند.

 

1. 1. . در این جا، دلالت بر این دارد که و و بنابراین با نشان دادن این که معادله تعادل برقرار است، در این حالت داریم:

 

1. 1. ، در این حالت

 

بنابراین

 

1. 1. ، در این حالت

 

 

بنابراین

 

۱-۶-۶ نمونه گیری گیبز

نمونه­بردار گیبز حالت خاصی از نمونه گیری متروپلیس هستینگس است که در آن متغیر تصادفی همیشه پذیرفته می­ شود (یعنی ). کلید نمونه گیری گیبز این است که وقتی همه متغیرها جز یکی از آن­ها، مقادیر ثابت می­گیرند، توزیع­های شرطی، تک متغیره در نظر گرفته شوند. چنین توزیع­های شرطی راحت­تر از توزیع­های توأم پیچیده شبیه­سازی می­شوند (اغلب نرمال، وارون خی­دو و دیگر توزیع­های پیشین متداول). بنابراین، به جای تولید یک بردار بعدی یکتا در یک مرحله با بهره گرفتن از توزیع توأم کامل، متغیر تصادفی از توزیع تک متغیره شبیه­سازی می­ شود.
برای توضیح نمونه­بردار گیبز، متغیر تصادفی دو متغیره را در نظر بگیرید و فرض کنید که هدف محاسبه توزیع­های کناری و یا یکی از آن­ها باشد. نمونه­برداری که دنباله­ای از توزیع­های شرطی و در نظر گرفته شود راحت­تر از نمونه­برداری است که از حاشیه­هایی که از انتگرال چگالی توأم (مثلاً ) تعیین می­ شود، است. نمونه­بردار برای ، با مقدار اولیه شروع می­ کند و به وسیله تولید یک متغیر تصادفی از توزیع شرطی تعیین می­ شود. سپس از توزیع شرطی مبتنی بر مقدار ، ، برای تولید مقدار جدید استفاده می­ شود. نمونه­بردار از روابط زیر پیروی می­ کند:

با تکرار بار این فرایند، دنباله گیبز به طول تولید می­ شود، به طوری که، به ازای هر زیرمجموعه­ای از نقاط به عنوان شبیه­سازی­امان از توزیع توأم کامل، تعیین می­ شود. تکرار همه توزیع­های تک متغیره اغلب کاوش نمونه­بردار نامیده می­ شود. برای تعیین نقطه دلخواه (در این جا هر نقطه روی نمونه­بردار، برداری از دو پارامتر است) از زنجیر، به روش­های زیر نمونه گیری می­ شود:

 

بعد از داغیدن مناسب برای حذف اثرهای مقادیر اولیه نمونه گیری.

 

در مجموعه نقاط زمانی (مثلاً هر نمونه)، با پیروی از داغیدن.

 

دنباله گیبز به توزیع ایستایی که مستقل از مقادیر شروع است همگرا می­ شود و این توزیع ایستا توزیع هدف است.

 

وقتی بیشتر از دو متغیر موجود باشد، نمونه­بردار به صورت واضحی بسط داده می­ شود. به طور خاص، مقدار متغیر -ام از توزیع به دست می ­آید به طوری که بردار شامل همه متغیرها به جز است. بنابراین، در طول تکرار -ام نمونه برای تعیین مقدار از توزیع زیر استفاده می­کنیم:

به عنوان مثال، اگر چهار متغیر تصادفی داشته باشیم، نمونه­بردار عبارت است از:

۱-۶-۷ استفاده از نمونه گیری گیبز برای تقریب زدن توزیع­های کناری

هر شکل دلخواهی برای حاشیه­ها را می­توان از تحقق دنباله گیبز محاسبه کرد. به عنوان مثال، امیدریاضی هر تابع متغیر تصادفی ، با رابطه زیر تقریب زده می­ شود:
وقتی و ، این رابطه برآورد مونت کارلوی است. هم­چنین، برآورد مونت کارلو به ازای هر تابع متغیر عبارت است از:
در حالی که، محاسبه برآورد مونت کارلوی هر گشتاور با بهره گرفتن از نمونه­بردار درست است، اما محاسبه شکل درست چگالی کناری واضح­تر است. در حالی که، دنباله­ی گیبز مقادیر را می­توان برای تقریب توزیع کناری به کار برد اما آن به خصوص برای تعیین دم­های توزیع ناکارا است. رویکرد بهتر استفاده از میانگین چگال­های شرطی است، به عنوان مثال، شکل تابعی چگالی شرطی، شامل اطلاعات بیشتری در مورد شکل توزیع کامل نسبت به دنباله تحقق­های منحصربه­فرد است. چون
پس می­توان چگالی کناری را به صورت زیر تقریب زد:

فصل۲٫ بیز و چندگانگی در مسئله انتخاب متغیرها و رگرسیون بر پایه مفصل

 

۲-۱ انتخاب متغیرهای مدل

 

۲-۱-۱ نمادگذاری

موضوع انتخاب متغیر در رگرسیون خطی را در نظر بگیرید. با داشتن بردار متغیرهای وابسته تایی و ماتریس طرح ، ، هدف انتخاب پیشگوکننده از مشاهده برای برازش مدلی به شکل زیر است :
به ازای برخی ، به­ طوری­که به ازای واریانس نامعلوم .
فرض می­ شود که همه مدل­ها، شامل بخش ثابت هستند. فرض کنید مدل صفر تنها با بخش ثابت با و مدل کامل با همه متغیرهای کمکی تحت بررسی با نمادگذاری شود.
بنابراین مدل کامل شامل بردار پارامتر است که در آن . زیر مدل­های ، با بردار دودویی به طول اندیس­گذاری می­ شود. که مجموعه ­ای از ضرایب رگرسیونی غیرصفر را نشان می­دهد:
عدم حتمیت مدل متناظر با عدم حتمیت ، متغیری تصادفی است که در مقادیر فضای گسسته قرار می­گیرد و عضو دارد. استنباط، به احتمال پیشین هر مدل، ، همراه با درستنمایی کناری داده ­های هر مدل، وابسته است: