ارائه کننده: پویا باستانی اله آبادی

استاد راهنما: دکتر احسان الله کبیر

استاد ناظر داخلی : دکتر مریم ایمانی

استاد ناظر خارج از دانشگاه: دکتر هدیه ساجدی (دانشگاه تهران)

تاریخ : 1405/06/23

ساعت: ۱۲:۰۰ 

مکان: دانشکده برق و کامپیوتر، اتاق شیشه­­‌ای

چکیده: در این پژوهش، یک سامانه برای بازشناسی معنایی نتهای موسیقی چاپی با تمرکز بر ترکیب تشخیص مبتنی بر یادگیری عمیق و بررسی ساختاری اطلاعات موسیقایی ارائه شده است. در مرحله پیش پردازش، تصویرسازی سه سطحی و تبدیل تصویر به ساختار دودویی، جداسازی خطوط حامل با استفاده از پروژکشن افقی و تشخیص خطوط میزان با استفاده از پروژکشن عمودی انجام شده است. برای تشخیص و بازشناسی نمادها، مدل YOLO با استفاده از مجموعه‌داده‌ی DoReMi تنظیم دقیق شده و نمادهای موسیقایی شامل علائم تغییردهنده، اجزای کشش زمانی، پرچم ها، ساقه و Beam، کلیدها، سر نت‌ها و سکوتها شناسایی شدهاند. همچنین بهمنظور استخراج میزاننما و اطلاعات ریتم، یک روش مبتنی بر پردازش تصویر و یک شبکه عصبی ساده برای تشخیص اعداد به کار گرفته شده است که دقت آن در داده های آموزش و آزمون به ترتیب ۹۵.۸۱ و ۹۴.۶۳ درصد به‌دست‌آمده است. 

نوآوری اصلی پژوهش، ارائه روش بازشناسی مجدد مبتنی با قیود CGRR)) است. در این روش، خروجی مدل تشخیص صرفاً بر اساس میزان اطمینان شبکه پذیرفته نمیشود، بلکه با استفاده از محدودیتهای ساختاری و قواعد ریتم موسیقی مورد بررسی قرار میگیرد. به این منظور، اطلاعات حاصل از تشخیص نمادها، موقعیت خطوط میزان و مقدار زمانی نمادها با یکدیگر ترکیب شده و سازگاری ریتم هر میزان بررسی میشود. در صورت عدم سازگاری، ناحیهی مربوطه مجدداً به مدل ارائه شده و فرایند بازشناسی با کاهش اطمینان پیش بینی قبلی انجام میشود تا گزینههای جایگزین مورد بررسی قرار گیرند. بدین ترتیب، CGRR یک سازوکار بازخوردی برای اصلاح خطاهای تشخیص فراهم میکند و به‌جای پذیرش مستقیم یک پیش بینی نادرست از اطلاعات ساختاری موسیقی برای هدایت فرایند بازشناسی مجدد استفاده می کند.