فصل 2 : بخش اول……………………………………………………………………………………… 21

2-1-۱. پیشینه تشخیص مرجع مشترک…………………………………………………………………………… 21

2-1-۲. روش‏های زبان‏شناسی…………………………………………………………………………………………….. 22

2-1-۲-1. فاکتورهای حذف کننده…………………………………………………………………………….. 23

2-1-۳-۲-۱. تطبیق جنس و عدد……………………………………………………………………….. 23

2-1-۳-۲-۱. تطبیق معنایی…………………………………………………………………………………. 24

2-1-۲-۲. فاکتورهای امتیاز دهنده ……………………………………………………………………………. 24

2-1-۳-۲-۱. مشابهت نحوی…………………………………………………………………………………. 24

2-1-۳-۲-۱. مشابهت معنایی……………………………………………………………………………….. 25

2-1-۳-۲-۱. بارز بودن…………………………………………………………………………………………… 25

2-1-۳. روش‏های یادگیری ماشین……………………………………………………………………………………… 27

2-1-۳-۱. ویژگی‏ها………………………………………………………………………………………………………. 28

2-1-۳-۲. مدل‏های جفت اشاره………………………………………………………………………………….. 28

2-1-۳-۲-۱. رده بندی جفت عبارت‏های اسمی…………………………………………………… 32

2-1-۳-۲-۱-1. درخت تصمیم………………………………………………………………………… 33

2-1-۳-۲-۲.افراز……………………………………………………………………………………………………… 35

2-1-۳-۲-۲-۱.درختِ بل………………………………………………………………………………….. 36

2-1-۳-۲-۲-۲. افراز گراف……………………………………………………………………………….. 38

2-1-۳-۳. روش‏های مبتنی بر پیکره………………………………………………………………………………. 40

2-1-۳-۴. روش‏های جایگزین………………………………………………………………………………………….. 44

2-1-۳-۴-۱. روش هم‏آموزی…………………………………………………………………………………….. 44

2-1-۳-۴-۲. مدل احتمالاتی مرتبه اول……………………………………………………………………. 46

2-1-۳-۴-۳. رتبه‏بندی………………………………………………………………………………………………. 47

2-1-۳-۴-۴. فیلدهای تصادفی شرطی……………………………………………………………………… 49

2-1-۳-۴-۵. خوشه‏بندی………………………………………………………………………………………….. 51

2-1-۴. جمع‏بندی………………………………………………………………………………………………………………… 56

فصل 2: بخش دوم…………………………………………………………………………………….. 57

2-2-۱. پیکره نشانه گذاری شده توسط اطلاعات هم‏مرجع…………………………………………………. 58

2-2-۲. پیکره بیژن‏خان……………………………………………………………………………………………………………. 59

2-2-۳. پیکره لوتوس……………………………………………………………………………………………………………….. 60

2-2-۴.شیوه‏های نشانه‏گذاری پیکره لوتوس…………………………………………………………………………… 62

2-2-۴-۱. نشانه‏گذاری انواع موجودیت‏ها…………………………………………………………………………… 62

2-2-۴-۱-۱. موجودیت شخص……………………………………………………………………………………… 64

2-2-۴-۱-۲. موجودیت سازمان……………………………………………………………………………………… 64

2-2-۴-۱-۳. موجودیت مکان…………………………………………………………………………………………. 66

2-2-۴-۱-۴. موجودیت سیاسی……………………………………………………………………………………… 66

2-2-۴-۲.کلاس هر موجودیت……………………………………………………………………………………………. 68

2-2-۴-۲-۱.غیر ارجاعی……………………………………………………………………………………………….. 69

2-2-۴-۲-۲.ارجاعی………………………………………………………………………………………………………. 69

2-2-۴-۲-۲-۱.ارزیابی به شکل منفی……………………………………………………………………… 69

2-2-۴-۲-۲-۲.ارجاعی خاص………………………………………………………………………………….. 70

2-2-۴-۲-۲-۳.ارجاعی عمومی……………………………………………………………………………….. 70

2-2-۴-۲-۲-۴.ارجاعی زیر مشخص شده………………………………………………………………. 70

2-2-۴-۳.انواع اشاره/سطوح اشاره……………………………………………………………………………………… 71

2-2-۴-۳-۱.اشاره ساده………………………………………………………………………………………………….. 72

2-2-۴-۳-۱-۱.محدوده اشاره………………………………………………………………………………….. 72

2-2-۴-۳-۱-۲. هسته اشاره…………………………………………………………………………………….. 72

2-2-۴-۳-۱-۳.انواع اشاره ساده………………………………………………………………………………. 72

2-2-۴-۳-۲.ساختارهای پیچیده………………………………………………………………………………………. 74

2-2-۴-4-۲-۱.ساختارهای عطف بیان یا بدل………………………………………………………… 75

2-2-۵.جمع‏بندی……………………………………………………………………………………………………………………… 75

فصل 3: الگوریتم­های پیشنهادی………………………………………………………………… 76

3-۱. رده بندی دودویی……………………………………………………………………………………………………………. 76

3-1-1.جدا کننده‏های خطی………………………………………………………………………………………………. 77

3-1-1-1 پرسپترون……………………………………………………………………………………………………….. 78

3-1-1-2 ماشین بردار پشتیبان…………………………………………………………………………………….. 80

3-1-1-3 درخت تصمیم………………………………………………………………………………………………… 85

3-۲.خوشه‏بندی………………………………………………………………………………………………………………………… 88

3-2-1 .الگوریتم‏های افراز بسته‏ای……………………………………………………………………………………. 89

3-2-1-1 .خوشه‏بندی سلسله مراتبی پایین به بالا……………………………………………………. 90

3-2-1-2 .آموزش الگوریتم خوشه‏بندی سلسله مراتبی…………………………………………….. 93

3-3.جمع‏بندی………………………………………………………………………………………………………………………….. 96

فصل 4: سیستم ارزیابی…………………………………………………………………………….. 97

4-۱.مقدمه…………………………………………………………………………………………………………………………………. 97

4-۲.سیستم شناسایی اشاره لوتوس……………………………………………………………………………………….. 98

4-2-1 .بانک اطلاعاتی……………………………………………………………………………………………………….. 98

4-2-2.سیستم شناسایی اشاره………………………………………………………………………………………. 102

4-3.تشخیص اشاره‏های هم مرجع……………………………………………………………………………………….. 103

4-3-1 ویژگی‏ها……………………………………………………………………………………………………………….. 104

4-3-2.الگوریتم یادگیری………………………………………………………………………………………………… 105

4-3-3.معیار ارزیابی………………………………………………………………………………………………………… 107

4-3-4.نتیجه ارزیابی……………………………………………………………………………………………………….. 110

4-3-4-1.نتایج بدست آمده……………………………………………………………………………………….. 110

4-3-4-.2چالش‏ها و تحلیل خطا……………………………………………………………………………….. 112

4-4.جمع‏بندی……………………………………………………………………………………………………………………….. 115

فصل 5 :نتیجه گیری و پیشنهادها……………………………………………………………… 116

5-۱.نتیجه‏گیری……………………………………………………………………………………………………………………… 116

5-2.پیشنهادها………………………………………………………………………………………………………………………… 118

فصل .6 منابع………………………………………………………………………………………….. 121

جدول 1-۱: مقایسه ویژگی‏های دو ارتباط هم‏مرجع وپیشایند…………………………… ۱1

جدول 2-۱: فاکتورهای متداول برای تشخیص مرجع مشترک…………………………………………….. 23

جدول 2-۲: برخی از ویژگی‏های ارائه شده در تحلیل مرجع مشترک…………………… 30

جدول 2-۳: معرفی برخی از پژوهش‏هایی که از خوشه‏بندی استفاده کرده‏اند…………………… 55

جدول 2-4: مشخصات مربوط به انواع موجودیت‏ها……………………………………………………………….. 62

جدول2-5: زیر گروه‏های موجودیت مشخص………………………………………………………………………….. 64

جدول2-6: زیر گروه‏های موجودیت سازمان……………………………………………………………………………. 65

جدول 2-7: زیر گروه‏های موجودیت مکان …………………………………………………………………………….. 66

جدول 2-8: زیر گروه‏های موجودیت سیاسی…………………………………………………………………………. 67

جدول 2-9: حالت‏های خاص موجودیت‏های سیاسی…………………………………………………………….. 68

جدول 2-10: انواع طبقه‏بندی اشاره………………………………………………………………………………………. 71

جدول 4-1: بانک اطلاعاتی سیستم کشف اشاره: جدول واژگان……………………………………….. 100

جدول 4-2: بانک اطلاعاتی سیستم کشف اشاره: جدول اشاره‏ها……………………………………… 101

جدول 4-3: فهرست ویژگی‏های به کار رفته در تشخیص مرجع مشترک………………………… 106

جدول 4-4: حالت‏های ممکن نتایج یک ماشین یادگیر……………………………………………………… 108

جدول 4-5: نتایج ارزیابی الگوریتم‏های پایه مورد بررسی…………………………………………………… 110

جدول 4-6: نتایج ارزیابی الگوریتم SVM با هسته‏های متفاوت………………………………………… 111

جدول 4-7: نتایج ارزیابی الگوریتم شبکه عصبی با مدل‏های متفاوت………………………………. 112

شکل1-۱. انواع روابط ممکن میان دو عبارت اسمی ……………………………………………………………. 12

شکل1-۲. میزان ارتباط میان حوزه‏ها با انواع دانش‏های زبان‏شناسی و واژگانی………………….. ۱6

شکل2-۱. نمونه‏ای از نمونه‏های مثبت و منفی که توسط ۴.5C تولید شده است……………… 31

شکل2-۲. درختِ بل به ازای سه عبارت اسمی ……………………………………………………………………. 37

شکل2-3. شمایی از نشانه‏گذاری پیکره بیژن‏خان………………………………………………………………….. 60

شکل2-4. شمایی از نشانه‏گذاری اشاره‏های هم مرجع در پیکره لوتوس……………………………… 62

شکل3-۱. شمایی از داده‏های خطی و غیر خطی جدایی‏پذیر………………………………………………. 77

شکل3-۲. الگوریتم پرسپترون میانگین‏دار……………………………………………………………………………… 80

شکل3-3. نمونه‏ای از یک درخت تصمیم‏گیری……………………………………………………………………… 86

شکل3-4.الگوریتم C5 ……………………………………………………………………………………………………………. 88

شکل3-5. مثالی از نمودار دندوگرام در تشخیص عبارت‏های اسمی هم‏مرجع……………………. 92

شکل3-6. الگوریتم خوشه‏بندی سلسله مراتبی پایین به بالا                                       93

شکل3-7.الگوریتم آموزش خوشه‏بندی حریصانه      ………………………………….. 94

شکل3-8.الگوریتم بروزرسانی ………………………………………………………..   96

شکل4-1 :شمای کلی از جداول این بانک اطلاعاتی لوتوس…………………………………………………. 99

شکل4-2 :شمای کلی سیستم شناسایی اشاره……………………………………………………………………. 102

شکل4-3 :شمایی از نمایش خروجی سیستم نمایش اشاره……………………………………………….. 102

شکل4-4: شمایی از نمایش خروجی سیستم نمایش واژگان…………………………………………….. 103

شکل4-5: شمایی از نمایش خروجی تعیین نمونه‏های مثبت و منفی………………………………. 107

شکل4-6: نمودار مقایسه الگوریتم‏های پایه مورد بررسی……………………………………………………. 111

۱-۱.مقدمه و بیان مسئله

یک مطلب دیگر :

امروزه رایانه در تمام لایه‏های زندگی بشر نفوذ کرده است. بطوریکه استفاده از فناوری رایانه در حوزه زبان‏شناسی، بیش از پیش احساس می‏شود. «پردازش زبان طبیعی^[1]»شاخه‏ای از علم «هوش مصنوعی^[2]» است كه به ماشینی كردن فرآیند زبان شناسی سنتی می‏پردازد. به این ترتیب با استفاده از رایانه می‏توان «زبان گفتاری ونوشتاری» را پردازش نمود، به طوریکه رایانه‏ها نیز قادر باشند زبان انسان را درک کرده و بتوانند از زبان طبیعی به عنوان ورودی وخروجی استفاده كند. به این ترتیب یک رایانه، درهنگام دریافت ورودی، نیاز به «درک» و درهنگام ارسال خروجی، نیاز به «تولید» زبان طبیعی دارد. ]81[

در زمینه پردازش زبان طبیعی پژوهش‏هایی مانند طبقه‏بندی متون^[3]، برچسب‏گذاری ادات سخن^[4]، تعیین و ابهام‏زدایی از معانی واژگان^[5] و… انجام شده است که تنها بر روی یک حوزه خاص تمرکز داشته‏اند و در نتیجه راه حل‏هایی جزئی در راستای اهداف کلی پردازش زبان طبیعی محسوب می‏‏‏شوند. تمامی این حوزه‏های جزئی باید حل شوند تا در نهایت رایانه بتواند همانند انسان واژگان و جملات را پردازش کرده و یا آنها را بسازد.

وظایف زبان طبیعی را می‏توان به ریز کاربردها^[6] و کلان کاربردها^[7] افراز نمود. به طور کلی تا کنون تحقیقات انجام شده بیشتر بر روی پردازش‏هایی در سطح واژه و یا جمله (مانند برچسب گذاری ادات سخن، ابهام زدائی از مفهوم واژگان، شناسایی موجودیت‏های نامدار^[8] و … ) و یا در سطح کل متن (تشخیص هرزنامه^[9]، رده بندی متون و…) متمرکز شده اند؛ برخی از کاربرد‏ها نیز مانند استخراج اطلاعات^[10]، تشخیص مرجع مشترک^[11] و ماشین ترجمه^[12] در سطح بینابین قرار گرفته‏اند. ]27[بدیهی است که در توسعه یک کاربرد سطح بالاتر همانند تعیین ویژگی‏های معنایی متون، انواع متفاوتی از ویژگی‏های سطح پایین‏تر (مانند ویژگی‏های لغوی^[13] و نحوی^[14]) نیز لازم است، اما به لطف سیستم‏های جدید که تا حد زیادی به روش‏های آماری یادگیری ماشین بستگی دارند، دیگر در آنها، به تمامی‏‏‏ ویژگی‏های سطح پایین‏تر نیازی نیست. علت اینکه روش‏های یادگیری ماشین توانسته‏اند با وجود سادگی، به موفقیت قابل توجهی دست یابند این است که اطلاعات آماری پایه، دانشی را فراهم می‏آورد که برای بسیاری از کاربرد‏ها کافی بوده و می‏‏‏‏تواند به کارائی قابل توجهی منجر شود. با این وجود، باید توجه داشت که روش‏های آماری محدود است و هرگز نمی‏توانند درک کاملی از محتوای معانی یک متن را فراهم آورند.

از طرفی دیگر، با فراهم شدن اطلاعات و قدرت محاسباتی بیشتر، سیستم‏‏هایی که واژگان و جملات درست را از غلط تشخیص می‏دهند، به طور گسترده‏ای در حال توسعه هستند. به عنوان مثال، در زبان انگلیسی برچسب گذاری ادات سخن به صحتی برابر با ۹۸%، شیوه‏های تجزیه کردن^[15] به صحتی برابر با ۹۰%، و شناسایی موجودیت‏های نامدار به صحت ۹۱% رسیده اند. [78,55,38[.

بسیاری از پژوهشگران معتقدند كه استخراج اطلاعات به عنوان یکی از مهمترین کاربردهای پردازش زبان طبیعی محسوب می‏شود، که مجموعه‏ای از تکنیک‏های رده‏بندی^[16]، خوشه‏بندی^[17] و قوانین وابستگی^[18] است و خروجی استخراج اطلاعات شامل، شناسایی موجودیت‏ها^[19] ، تعیین نوع وگروه آنها، طبقه بندی ارتباط میان موجودیت‏ها و همچنین استخراج رویدادهایی كه در آن مشاركت دارند، می‏باشد.[71[ در نهایت می‏توان گفت كه خلاصه سازی، بازیابی اطلاعات^[20]، داده‏كاوی^[21]، پرسش و پاسخ^[22] و درك زبان^[23] از جمله كاربردهای این سیستم هستند.

تمرکز اصلی این پژوهش بررسی فرآیند تشخیص مرجع مشترک به عنوان یکی از فرآیندهای مهم استخراج اطلاعات است؛ در تشخیص مرجع مشترک تمام عبارت‏های اسمی‏‏‏ که به یک موجودیت واحد در دنیای واقعی اشاره دارند، تعیین می‏گردند. هدف نهایی این پایان‏نامه شناسایی اشاره‏های هم مرجع شامل ضمیر و اسم اشاره در متون پارسی می‏باشد. برای تحقق این هدف نیاز به انجام پیش پردازش‏هایی بر روی متون خام می‏باشد تا داده‏های مورد نیاز برای ورود به فرآیند تحلیل مرجع مشترک فراهم شوند. فرض ما بر این است که خروجی حاصل از فرآیند کشف اشاره^[24] به عنوان یک پیش پردازش می‏تواند در کنار سایر پیمانه‏های پیش پردازشی مانند تجزیه‏گر، شناسایی موجودیت‏های نامدار و… بر بهبود عملکرد تحلیل مرجع مشترک موثر واقع شود. [23،38،53،83]

به هر ترتیب شناسایی عبارت‏های اسمی‏‏‏ هم‏مرجع از مهمترین زیر وظایف استخراج اطلاعات می‏باشند که بهبود عملکرد آن موجب بهبود عملکرد کلی سیستم استخراج اطلاعات و سایر سیستم‏های مرتبط با آن خواهد شد.

واحد مورد بررسی در حوزه تشخیص مرجع مشترک، متن می باشد که پس از اجرای ماژول‏هایی متفاوت، متن مورد نظر به عبارت های اسمی یا به عبارت بهتر به اشاره تبدیل می‏شود. روش‏های موجود در این حوزه، به دو دسته روش‏های زبان‏شناسی^[25] و روش‏های یادگیری ماشین^[26] تقسیم می‏‏‏شوند. [76[ در روش اول، ابتدا به ازای هر عبارت اسمی‏‏، مراجع کاندیدا تعیین می‏‏‏شود و سپس با به کارگیری مجموعه‏ای از قواعد زبان‏شناسی، برخی از کاندیداها حذف شده و کاندیداهای باقیمانده نیز امتیازدهی می‏‏‏شوند و در‏نهایت کاندیدایی به عنوان مرجع برگزیده می‏‏‏شود که بیشترین امتیاز را کسب کرده باشد. مسئله اصلی در این روش این است که کسب اطلاعات زبان‏شناسی مورد نیاز، فرآیندی زمان‏بر، پرهزینه و پر خطاست. البته با پیدایش پیکره‏های^[27] زبان‏شناسی و موفقیت روش‏های یادگیری ماشین در سایر حوزه‏ها، روش‏های زبان‏شناسی جای خود را به روش‏های یادگیری ماشین دادند. در یادگیری ماشین، به محاسبات زبان‏شناسی پیچیده و سطح بالای روش‏های زبان‏شناسی نیاز نیست به طوریکه با استفاده از دانش اندکی در زمینه زبان‏شناسی نیز می‏توان به نتایج خوب و قابل توجهی دست یافت.

از سوی دیگر، امروزه اغلب پژوهشگران فرآیند تشخیص مرجع مشترک را به دو مرحله تقسیم می‏‏‏ کنند. (۱) کشف و شناسایی اشاره؛ برای شناسایی عبارت‏های اسمی‏‏‏ که به موجودیت^[28] ها در دنیای واقعی اشاره دارند، (۲) شناسائی اشاره‏هایی که به یک مرجع واحد اشاره دارند. به این ترتیب در مرحله اول، اکثر عبارت‏های اسمی‏‏‏ تحت عنوان اشاره^[29] و در قالب چهار گروه اصلی ضمایر^[30]، اسامی‏‏‏ خاص^[31]، اسامی‏‏‏ عام^[32] و غیر اشاره‏ها^[33] قرار می‏گیرند،[8،910،16،48،53،72] سپس این فرآیند مشخص می‏‏‏‌کند که هر اشاره به کدام موجودیت در دنیای واقعی اختصاص دار[26]می‏‏‏توان گفت که فرآیند کشف اشاره، توسعه یافته‏ی فرآیند شناسایی موجودیت‏های نامدار می‏باشد که علاوه بر شناسایی اسامی‏‏‏ خاص، به شناسایی اسامی‏‏‏ عام و ضمایر نیز می‏پردازد. [،23،72،81،113،114]از آنجائیکه بررسی فرآیند‏های شناسایی اشاره و تحلیل مرجع مشترک به طور همزمان خارج از حوزه‏ی این پایان‏نامه است، ما عبارت‏های اسمی‏‏‏ را در قالب انواع اشاره‏های گفته شده در پیکره‏ای تحت عنوان لوتوس برچسب‏گذاری می‏نمائیم و نتیجه‏ی آن را برای تحلیل مرجع مشترک به کار خواهیم برد.

چارچوب کلی این پایان‏نامه به این صورت می‏باشد: در بخش دوم این فصل گذری کوتاه بر انواع روابط میان دو عبارت اسمی‏‏‏ و به خصوص ارتباط‏های هم‏مرجعی خواهیم داشت. سپس در بخش اول فصل دوم، روش‏های ارائه شده برای تشخیص مرجع مشترک را مورد بررسی و مطالعه قرار می‏دهیم و در بخش دوم آن، به نحوه ایجاد پیکره‏ای مناسب برای کشف اشاره و تحلیل مرجع مشترک خواهیم پرداخت. در فصل سوم، به الگوریتم‏های مناسب برای این پایان‏نامه را معرفی می نمائیم. سیستم پیشهنادی برای شناسایی اشاره‏های ارجاع شده در فصل چهارم معرفی خواهد شد و همچنین در این فصل الگوریتم‏های یادشده را مورد ارزیابی قرار می‏دهیم. در نهایت در فصل پنجم نیز به نتیجه گیری و پیشنهاد كارهای آتی در ادامه‏ی این پژوهش خواهیم پرداخت.

[1] معادل پارسی عبارت  انگلیسی Natural Language processing