وبلاگ

در روش‏های کنونی برای استخراج ویژگی‏های خستگی و عدم تمرکز حواس راننده از تصویر چهره، ابتدا باید اجزای چهره آشکارسازی شود. تقریبا در تمام سیستم‏های نظارت چهره راننده از ویژگی‏های ناحیه چشم استفاده شده است، بنابراین آشکارسازی چشم اهمیت ویژه‏ای دارد. مهمترین روش‏های آشکارسازی چشم به سه دسته اصلی قابل تقسیم است: روش‏های مبتنی بر نورپردازی و تصویربرداری طیف مادون قرمز روش‏های مبتنی بر دوسطحی کردن تصویر روش‏های مبتنی بر پروجکشن روش‏های مبتنی بر نورپردازی و تصویربرداری در طیف مادون قرمز یکی از روش‏های سریع و نسبتا دقیق در آشکارسازی چشم، استفاده از روش‏های مبتنی بر نورپردازی و تصویربرداری در طیف مادون قرمز می‏باشد که در آن از ساختار فیزیولوژی و اپتیکی چشم در طیف مادون قرمز استفاده می‏شود. این روش بدون نیاز به آشکارسازی چهره، قادر به آشکارسازی چشم است. به همین علت، حجم محاسبات در سیستم‏هایی که از این نوع روش استفاده می‏کنند، نسبت به سایر سیستم‏ها کمتر است. البته این روش بیشتر برای سیستم‏هایی مناسب می‏باشد که فقط بر اساس پردازش ناحیه چشم خستگی و عدم تمرکز حواس راننده را تشخیص می‏دهند. مهمترین عیب این روش این است که اگر به دلیل خطای ردیابی در هنگام خواب‏آلودگی راننده که چشم تقریبا بسته می‏باشد، مکان چشم گم شود، سیستم قادر به آشکارسازی آن نخواهد بود. چرا که در این حالت مردمک چشم تقریبا مشخص نیست و آشکارسازی چشم مشکل است. بسیاری از سیستم‏های نظارت چهره راننده از این روش برای آشکارسازی چشم استفاده کرده‏اند [۶, ۲۰-۲۳, ۳۹-۴۳]. در اکثر این‏گونه سیستم‏ها، از یک پیکربندی خاص برای سیستم نورپردازی و تصویربرداری طیف مادون قرمز استفاده گردیده است. در این پیکربندی نورپردازی مادون قرمز توسط دو دسته LED تامین می‏شود که در این سیستم نقش بسیار موثری ایفا می‏کنند. مطابق شکل ‏۲‑۴، LED‏ها به دو دسته تقسیم شده و در دو حلقه متحدالمرکز و با شعاع‏های مختلف قرار می‏گیرند. در هر لحظه فقط یکی از دو حلقه روشن و دیگری خاموش است. هنگامی‏که حلقه داخلی روشن باشد، نور بازتابیده شده از سطح مردمک چشم[۴۳] به دوربین می‏رسد و چشم به طور واضح، روشن‏تر از سایر قسمت‏های چهره است. اما وقتی حلقه خارجی روشن باشد، چنین حالتی برای مردمک چشم رخ نمی‏دهد و چشم تاریک است. به دو حالت متفاوت چشم به ترتیب مردمک روشن[۴۴] و مردمک تیره[۴۵] می‏گویند (شکل ‏۲‑۵). شکل ‏۲‑۴: سیستم نورپردازی مادون قرمز شامل دو دسته LED به شکل دو حلقه کوچک و بزرگ [۶] منبع نور مادون قرمز پرتوی منعکس شده از چشم پرتوی تابیده شده به چشم چشم دوربین منبع نور مادون قرمز پرتوی منعکس شده از چشم پرتوی تابیده شده به چشم چشم دوربین مردمک روشن مردمک تیره شکل ‏۲‑۵: نمایش ایجاد پدیده مردمک روشن و مردمک تیره در نورپردازی مادون قرمز در مرحله آشکارسازی چشم، از خاصیت مردمک روشن و مردمک تیره استفاده شده است. در این روش ابتدا تفاضل فریم زوج از فریم فرد بدست می‏آید (مطابق شکل ‏۲‑۶). سپس تصویر حاصل از تفاضل، دوسطحی شده و مکان چشم تعیین می‏گردد. شکل ‏۲‑۶: آشکارسازی چشم بر اساس ویژگی مردمک تیره و روشن: شکل‏ها از سمت راست به ترتیب فریم زوج با تصویر مردمک روشن، فریم فرد با تصویر مردمک تیره و تفاضل فریم‏‏های زوج و فرد [۶] Zhu و همکارانش [۳۹] روشی مشابه روش فوق برای آشکارسازی چشم استفاده کرده‏اند. با این تفاوت که پس از تعیین نقاط چشم از ماشین بردار پشتیبان[۴۶] (SVM) برای افزایش دقت آشکارسازی چشم استفاده شده است. در این مقاله هسته[۴۷]‏های مختلفی برای SVM انتخاب گردیده و نشان داده شده که هسته گوسی بهترین دقت را دارد. با انتخاب هسته گوسی برای SVM، دقت آشکارسازی چشم بیش از ۹۵% خواهد بود. در [۴۱, ۴۲, ۴۴] نیز مشابه این روش برای آشکارسازی چشم استفاده شده است. Zhao و همکارش [۴۵] برای آشکارسازی چشم تنها از یک منبع نور مادون قرمز استفاده کرده‏اند که در راستای محور اپتیکی دوربین قرار دارد. با توجه به این چینش منبع نور، همواره بازتابش مردمک چشم در دوربین وجود دارد و در تصویر چهره، مردمک روشن دیده می‏شود. با بهره گرفتن از عملگر ریخت‏شناسی[۴۸] بازکردن[۴۹] تصویر و محاسبه تفاضل این تصویر و تصویر اصلی، نقاط منتخب چشم معین می‏شود. این نقاط منتخب با اعمال یک سطح آستانه بر روی تفاضل دو تصویر و استفاده از تحلیل اجزای همبند قابل استخراج است. برای اطمینان از انتخاب صحیح این نقاط به عنوان چشم، از ماشین بردار پشتیبان (SVM) و تبدیل تقارن تعمیم‏یافته[۵۰] (GST) استفاده شده است. با ترکیب نتایج حاصل از خروجی SVM و تبدیل GST، نقاط چشم تعیین خواهد شد. در ارزیابی این روش برای آشکارسازی چشم بدون عینک، TPR 4/99% و FPR صفر و برای آشکارسازی چشم با عینک TPR 3/88% و FPR 14% گزارش شده است. این در حالی است که در صورت عدم استفاده از تبدیل GST، برای آشکارسازی چشم با عینک TPR 1/54% و FPR 3% است. روش‏های مبتنی بر دوسطحی کردن تصویر یکی از ساده‏ترین روش‏های آشکارسازی چشم، اعمال یک حد آستانه بر روی مقادیر پیکسل‏های تصویر چهره برای دو سطحی کردن تصویر و تخمین مکان چشم است. این روش بر اساس این فرض عمل می‏کند که مردمک چشم‏ها تیره‏ترین نقاط چهره هستند. مهمترین بخش این الگوریتم تعیین مقدار حد آستانه می‏باشد. این روش دقت چندانی در آشکارسازی چشم ندارد، به‏ویژه اینکه در افراد سیاه‏پوست یا در محیطی با نور کم خطای آن به شدت افزایش می‏یابد. به همین دلیل معمولا پس از دوسطحی کردن تصویر چهره، پردازش‏های دیگری مانند تحلیل اجزای همبند[۵۱] (CCA) [46, 47] یا محاسبه کانتور نواحی آشکارسازی شده [۷, ۲۷] انجام می‏گیرد تا دقت آشکارسازی چشم افزایش یابد. روش‏های مبتنی بر پروجکشن یکی دیگر از ساده‏ترین و پرکاربردترین روش‏های آشکارسازی چشم، استفاده از پروجکشن[۵۲] است. پروجکشن به معنی محاسبه مجموع مقادیر پیکسل‏ها در یک جهت مشخص است. جهت پروجکشن معمولا در راستای افقی یا عمودی انتخاب می‏شود. این روش می‏تواند بر روی تصاویر دوسطحی یا سطح خاکستری اعمال شود. پروجکشن در راستای افقی و عمودی برای تصویر با ابعاد به ترتیب از روابط ‏(۱) و ‏(۲) محاسبه می‏شود. در این روابط i مربوط به ستون‏های تصویر و j مربوط به سطرهای آن است. مهمترین مسئله در این روش، فرض یکنواخت بودن نورپردازی و تیره‏تر بودن چشم‏ها (مردمک) نسبت به پوست چهره است. بنابراین انتظار می‏رود پروجکشن افقی تصویر چهره در محل چشم‏ها دارای مقدار کمینه محلی باشد. اگر نور محیط به گونه‏ای باشد که تصویر چهره به شکل یکنواخت نورپردازی نشود یا اینکه فرد دارای پوست تیره‏ای باشد، آشکارسازی چشم دچار اختلال می‏شود. به همین دلیل در برخی سیستم‏ها، پردازش‏های بیشتری بر روی نواحی انتخاب شده انجام می‏شود تا دقت آشکارسازی چشم افزایش یابد. در [۲۶, ۲۸, ۳۴, ۳۵, ۴۸]، پروجکشن به عنوان روش اصلی برای آشکارسازی چشم می‏باشد و در [۴۹] از پروجکشن برای تعیین مکان اولیه چشم‏ها استفاده شده است. برای افزایش دقت پروجکشن در آشکارسازی چشم، معمولا آشکارسازی با یک یا چند فرض اولیه انجام می‏شود. به عنوان مثال فرض بر این که چشم همواره در نیمه بالایی چهره قرار دارد [۲۸, ۳۰]، باعث می‏شود تا پروجکشن نیمه پایین چهره محاسبه نشود و مواردی همچون ریش یا سبیل، باعث کاهش دقت آشکارسازی چشم نگردد. علاوه بر این، معمولا پس از آشکارسازی چشم‏ها، برای اطمینان از آشکارسازی، روش‏هایی مثل تحلیل اجزای همبند استفاده می‏شود [۲۸]. در برخی سیستم‏ها برای کاهش وابستگی الگوریتم آشکارسازی به نور محیط، به جای محاسبه پروجکشن از روی تصویر اصلی، ابتدا تصویر چهره لبه‏یابی گردیده، سپس پروجکشن محاسبه می‏شود [۳۰]. گاهی نیز به‏جای پروجکشن تصویر، پروجکشن واریانس تصویر محاسبه می‏شود [۲۷]. پروجکشن واریانس نسبت به تغییرات نور محیط حساسیت کمتری دارد. پروجکشن واریانس در راستای افقی و عمودی به ترتیب از روابط ‏(۳) و ‏(۴) محاسبه می‏شوند. در این روابط و به ترتیب میانگین مقادیر پیکسل‏ها در ستون i و سطر j از تصویر I هستند. روش‏های مبتنی بر یادگیری گاه برای افزایش دقت سیستم نظارت چهره در آشکارسازی صحیح چشم، یکی از روش‏های قبلی به عنوان روش پایه استفاده شده و چند نقطه از تصویر چهره را به عنوان نقاط کاندیدا انتخاب می‏کنند. سپس با بهره گرفتن از روش‏های مبتنی بر یادگیری مانند شبکه‏های عصبی یا ماشین بردار پشتیبان (SVM)‏، مکان دقیق چشم مشخص می‏شود. در سیستم‏های [۳۹, ۴۱, ۴۲, ۴۴, ۴۵] روش اصلی آشکارسازی چشم بر اساس نورپردازی و تصویربرداری در طیف مادون قرمز است، اما پس از انتخاب نقاط کاندیدا، از ماشین بردار پشتیبان برای انتخاب نهایی نقاط چشم استفاده شده است. در [۵۰] از تبدیل هاف دایروی[۵۳] و بررسی تقارن نقاط برای انتخاب اولیه چند نقطه کاندیدا استفاده شده، سپس با بهره گرفتن از شبکه عصبی، وجود یا عدم وجود چشم در نقاط کاندیدا تعیین می‏گردد. آشکارسازی سایر اجزای چهره در سیستم‏های نظارت چهره راننده کمتر از ویژگی‏های سایر اجزای چهره مانند بینی و لب‏ها استفاده شده، اما در این بخش مروری کوتاه بر روش‏های آشکارسازی بینی و لب خواهد شد. معمولا از مکان بینی برای تعیین جهت سر و از مکان لب‏ها برای تشخیص خمیازه کشیدن[۵۴] یا صحبت کردن راننده استفاده می‏شود. آشکارسازی دهان (لب) در اکثر سیستم‏های نظارت چهره راننده که از مکان و شکل هندسی لب استفاده کرده‏اند، آشکارسازی لب را با بهره گرفتن از مدل رنگی انجام داده ‏اند [۲۷, ۳۶, ۴۶, ۴۷]. بنابراین باید تصویربرداری در طیف مرئی انجام گیرد. مشکل دیگر این روش این است که در محیطی با نور کم، تفکیک رنگ‏ها مشکل بوده و آشکارسازی لب دچار خطا می‏شود. با توجه به عدم امکان نورپردازی چهره راننده در شب، استفاده از مدل رنگی برای آشکارسازی لب در سیستم‏های واقعی عملی به‏نظر نمی‏رسد. Saradadevi و همکارش [۵۱] برای آشکارسازی دهان از ویژگی‏های شبه هار استفاده کرده‏اند. این روش دربرابر نور محیط مقاوم بوده و کارایی خوبی از لحاظ دقت و سرعت دارد. آشکارسازی بینی مکان نوک بینی نسبت به چهره و چشم‏ها معیار بسیار مناسبی برای تعیین جهت سر است. با بهره گرفتن از مکان نوک بینی نسبت به مکان چشم‏ها می‏توان فقط با یک دوربین مدل سه بعدی چهره را تخمین زد. پس از تخمین مدل سه بعدی چهره، تعیین جهت سر به راحتی امکان‏پذیر است. Bergasa و همکارانش [۲۱-۲۳] برای آشکارسازی سوراخ‏های بینی[۵۵] از ویژگی سیاه بودن آنها نسبت به پوست چهره استفاده کرده‏اند. به این ترتیب با اعمال یک حد آستانه در محدوده بینی، سوراخ‏های بینی آشکارسازی می‏شود. Katahara و همکارش [۵۲] برای افزایش دقت آشکارسازی سوراخ بینی، از یک ماسک دایروی استفاده کرده‏اند. این روش نیز بر پایه این فرض انجام شده که سوراخ بینی تیره‏تر از پوست چهره است. این گونه روش‏ها در آشکارسازی سوراخ بینی افراد سیاه‏پوست و مردانی که سبیل دارند، دچار اختلال خواهند شد. ردیابی چهره و اجزای آن تقریبا در تمام سیستم‏های نظارت چهره راننده، پس از آشکارسازی چهره ردیابی آن انجام می‏گیرد. ردیابی چهره به جای آشکارسازی آن در فریم‏های متوالی باعث کاهش حجم محاسبات و در نتیجه افزایش سرعت سیستم خواهد شد. به همین دلیل معمولا پس از آشکارسازی اولیه چهره، در فریم‏های بعد عملیات ردیابی[۵۶] چهره انجام می‏گیرد. ردیابی با فرض محدود بودن جابجایی چهره در دو فریم متوالی، به جای تمام تصویر تنها بخش محدودی از آن را جستجو می‏کند. تقریبا در تمام روش‏های ردیابی، محدودیت‏هایی برای ردیابی شی هدف فرض می‏شود تا ردیابی با دقت و سرعت بیشتری انجام شود. یکی از معمول‏ترین محدودیت‏های اعمال شده، ثابت بودن سرعت حرکت جسم یا مفروض بودن شکل هندسی[۵۷] یا ظاهری[۵۸] شی هدف است [۵۳, ۵۴]. ردیابی شامل دو مرحله اصلی است: تخمین حرکت[۵۹] و تطابق[۶۰]. دو روش عمده که معمولا در تخمین حرکت مورد استفاده قرار می‏گیرد عبارتند از پنجره جستجو[۶۱] و فیلتر‏های تطبیقی[۶۲]. در مرحله تطابق نیز معمولا از سه معیار ضریب همبستگی[۶۳]، مجموع قدرمطلق تفاضل[۶۴] (SAD) و مجموع مربعات تفاضل[۶۵] (SSD) استفاده می‏شود. تخمین حرکت مرحله تخمین حرکت اولین گام برای ردیابی یک شی متحرک می‏باشد و عبارتست از تخمین موقعیت فعلی شی متحرک بر اساس موقعیت آن در فریم‏های قبلی. ساده‏ترین روش برای تخمین حرکت، تعریف یک پنجره جستجو در اطراف موقعیت قبلی شی هدف است. در این روش فقط از مکان شی متحرک در فریم قبل برای تخمین مکان فعلی آن استفاده می‏گردد. هر چه اندازه پنجره بزرگتر باشد، دقت تخمین بیشتر خواهد شد. اما افزایش اندازه پنجره باعث افزایش حجم محاسبات در مرحله تطابق شده و سرعت ردیابی را می‏کاهد [۵۳]. انواع پنجره جستجو و ارزیابی آنها در [۵۵] ارائه شده است. روش پنجره جستجو در [۲۴, ۲۸, ۳۰, ۵۶] برای ردیابی استفاده شده است. یکی دیگر از روش‏های تخمین حرکت، استفاده از فیلترهای تطبیقی است. از مهمترین انواع فیلترهای تطبیقی می‏توان به فیلتر کالمن[۶۶] (KF)، فیلتر کالمن توسعه‏یافته[۶۷] (EKF)، فیلتر کالمن غیر‏معطر[۶۸] (UKF) و فیلتر ذرات[۶۹] (PF) اشاره کرد. درمیان این فیلترها، فیلتر ذرات با قابلیت ردیابی چند شی متحرک در مدل غیرخطی بهترین کارایی را دارد، اما حجم محاسبات آن زیاد است [۵۷]. در سیستم‏های نظارت چهره راننده بیشتر از فیلتر کالمن [۶, ۲۱-۲۳, ۴۴, ۴۹] و فیلتر کالمن غیرمعطر [۳۴, ۳۵] برای ردیابی چهره و اجزای آن استفاده شده است. تطابق مهمترین روش‏های مورد استفاده برای محاسبه تطابق، ضریب همبستگی، مجموع قدرمطلق تفاضل (SAD) و مجموع مربعات تفاضل (SSD) است. ضریب همبستگی بین قالب T و پنجره W با فرض این که هر کدام شامل N پیکسل باشند، از رابطه ‏(۵) محاسبه می‏شود. به ضریب همبستگی مقدار همبستگی متقابل[۷۰] نیز گفته می‏شود. این مقدار همواره در بازه [-۱,۱] قرار دارد. محاسبه ضریب همبستگی پیچیدگی محاسباتی زیادی دارد، به همین دلیل برخی اوقات برای کاهش حجم محاسبات، از مجموع قدرمطلق تفاضل (SAD) (رابطه ‏(۶)) استفاده می‏شود. در واقع SAD فاصله بین قالب و پنجره‏ای از تصویر را محاسبه می‏کند. هرچه مقدار SAD کمتر و نزدیک به صفر باشد، شباهت آن قسمت از تصویر به قالب بیشتر است.