Transcription

1 طراحی به نام خدا و پیادهسازی یک خطایاب فارسی محسن صبوریان مهندسی نرمافزار گروه برق و کامپیوتر دانشکده فنی دانشگاه تهران صادق د ر ی نوگورانی مهندسی نرمافزار گروه برق و کامپیوتر دانشکده فنی دانشگاه تهران چکیده - در این مقاله با بررسی اجزای مختلف یک خطایاب روشی جامع برای پیادهسازی خطایاب فارسی معرفی شده است. روشهای مختلف برای طراحی و پیادهسازی بخشهای مختلف خطایاب مورد ارزیابی قرار گرفته و سعی شده است با توجه به نتایج آخرین تحقیقات و نیز خصوصیات زبان فارسی بهترین تصمیمات برای ا عمال بر روی زبان فارسی اتخاذ شود. به منظور تشخیص بهتر خطا و ارائهی پیشنهادهای مناسب از تحلیل ساختاری واژهها و تشخیص هسته آنها استفاده کردهایم. همچنین برای کاهش حجم واژگان را در یک ساختار Minimal ADFA ذخیره ساختهایم. مد نظر قرار دادن پیوستهنویسی و جدانویسی و مسائل خاص زبان فارسی از دیگر نکات شاخص در طراحی این خطایاب است و منجر به ارائهی پیشنهادهای مناسبی به کاربر فارسی زبان میشود. واژههای کلیدی: خطایاب فارسی خطای امالیی واژگان سبک امالیی تحلیل ساختاری ١ مقدمه امروزه کاربرد کامپیوترها در زندگی بشر روز به روز گسترش بیشتری مییابد و همه روزه حجم بسیار زیادی اطالعات - به منظور ذخیره و یا پردازش - به آنها وارد میشود. وارد کردن اطالعات به کامپیوتر همواره با خطا همراه بوده است خواه این اطالعات مستقیم ا تایپ شود و یا بصورت خودکار از متون نوشتاری بازشناسی و استخراج گردد. به همین دلیل رفع و یا کاهش خودکار اینگونه خطاها به کمک کامپیوتر عنوان بسیاری از پژوهشهای دههی اخیر بوده است. خط و شیوه نگارش زبان فارسی موجب میشود برخی مسائل که در طراحی خطایاب برای سایر زبانها مورد توجه کمتری قرار گرفته و یا بطور کلی مطرح نبوده است نمود پیدا کند (مانند پیوسته یا جدا نویسی و سبکهای گوناگون امالیی) و بعضی تصمیمگیریهای مرسوم در طراحی خطایاب را به چالش بکشد. همچنین در دسترس نبودن اطالعات آماری (نظیر فراوانیها و بانکهای اطالعاتی در زمینهی خطاهای امالیی) و پژوهشهایی مشابه آنچه در مورد سایر زبانها انجام شده است در مواردی موجب عدم امکان استفاده از روشهای هوشمندانه و کارا گردد. از طرف دیگر معدود بودن پژوهشهای انجام شده در زمینه خطایاب فارسی و در دسترس نبودن نمونههایی از این نرمافزارها (حتی برای ارزیابی) امکان انجام مقایسه در مورد تصمیمات طراحی و نتایج پیادهسازی چنین نرمافزاری را تا حد زیادی از نگارندگان این مقاله میگیرد. روش اصلی ما برای بهبود رویهی تصحیح خطا تحلیل ساختاری و یافتن هستهی واژهها میباشد. این کار نه تنها باعث کاهش چشمگیر حجم واژگان میشود بلکه پیشنهاد ارائه شده به کاربر را معقولتر میسازد. عالوه بر این برای هر چه فشردهتر شدن حجم واژگان از یک ADFA کمینه استفاده کردهایم. در بخشهای بعدی پس از معرفی خطایاب به بررسی انواع خطاهای امالیی میپردازیم. در ادامه طراحی و پیادهسازی یک خطایاب برای زبان فارسی مورد بررسی قرار میگیرد. ۱

2 ٢ خطایاب چیست ۱ خطایاب برنامهای است که توانایی شناسایی خطاهای امالیی و (احتما ال) تصحیح این خطاها را دارد. الگوریتمها و مسائل مطرح در زمینهی خطایا یب امالیی به تفصیل در [9] مورد بررسی قرار گرفته است. تاریخچهی میگردد. امروزه این ابزارها در زمینهه یا با کاربر سیستمه یا کاربرد دارند. ببرد. در بعضی بازیا یب همچنین خطایابه یا مختلف علوم ۳ اطالعات سیستمه یا پیدایش خطایابها به دههی ۱۹۶۰ میالدی باز ۲ کامپیوتر از جمله در واژهپردازی بازشناسی متون نوشتاری سیستمه یا ۴ تبدیل گفتار به نوشتار سیستمه یا تعامل زبانی تعاملی معلولین و سیستمها با رابط قلم نوری امروزی پا را فراتر از تشخیص و تصحیح خطاهای امالیی نهاده و تا حدی به کمک ویراستاران شتافتهاند. ۵ کاربردها خطایاب بصورت تعاملی با کاربر عمل میکند و با یافتن خطا لیس یت از موارد احتمالی جایگزین را به ترتیب اولویت به او ارائه میدهد. در کاربردهایی نظیر بازشناسی متون خطایاب بصورت خودکار سعی میکند بهترین گزینه صحیح را یافته و بکار ۶ ٢.١ خطای امالیی واژهه یا تشخیص اینکه واژهای درست و یا نادرست است در نگاه اول امری بدیهی و به سادگ ی جستجو به دنبال یک واژه در میان تمامی موجود در ۷ واژگان به نظر میرسد در حالی که مسائلی جدی در این رویکرد وجود دارد. اول آنکه نگهداری واژگانی مشتمل بر تمامی واژههای زبان مستلزم اشغال حجم زیاد حافظه است و جستجو به دنبال یک واژه در این واژگان چالش برانگیز است. دوم اینکه بنابر تحقیقات انجام شده در صورتی که حجم واژگان از حد مشخصی (که به زبان مورد بررسی وابسته است) بیشتر شود منجر به پایین آمدن دقت خطایاب میگردد [9]. علت این امر خطاهایی است که واژهای را به واژه درست دیگری ۸ تبدیل میکند. در این مورد هرچه حجم واژگان بیشتر باشد احتمال عدم امکان تشخیص خطاهایی از این دست افزایش پیدا میکند. این خطاها یکی از زمینهه یا خطایابهاست و تاکنون روش مطلوبی برای تشخیص و تصحیح آن یافته نشده است [9]. عملکرد خطایابها با توجه به مطالب فوق به سه دسته تقسیم میشود: چالش برانگیز در شناسایی خطا بدون مراجعه به شناسایی و تصحیح واژههای نادرست ۹ واژگان با استفاده از روشه یا شناسایی و تصحیح خطاهایی که منجر به تولید واژهه یا شناسایی و تصحیح واژههای آماری ۱۰ به صورت منفرد صرف نظر از نقش واژه و حوزهی معنایی متن طبع ا در این رویکرد امکان ۱۱ نادرست با توجه به متن صحیح میشود وجود ندارد..۱.۲.۳ بسته به نحوهی ورود متن به کامپیوتر الگوی خطا متفاوت است. می توان خطاهایی را که به دست انسان و در متون تایپی بوجود میآید به دو دسته تقسیم کرد [6]: وارد کردن واژه با امالی ۱۲ نادرست (مثال *غافله به جای قافله یا *دیدهگان به جای دیدگان).۱ ۶ در این مقاله پیش از نمونههایی که نشان دهنده خطای امالیی هستند عالمت» * «قرار گرفته است. 1 spelling/spell checker 2 text recognition 3 information retrieval 4 speech-to-text 5 interactive ۷ واژهنامه فرهنگ لغات و یا قاموس دیگر واژههایی است که معادل lexicon استفاده میشود لکن هیچیک به عنوان لیستی از واژهها نیست بلکه به عنوان لیستی از واژهها به همراه معادلهای معنایی آنها میباشد. 8 مثال تایپ کردن *فرار به جای قرار -- errors real-word 9 non-word error detection 10 isolated-word error detection and correction 11 context-dependent error detection and correction 12 cognitive error / misspelling ۲

3 ص(.۲ شایا ین خطا در خطایابه یا ۱۳ تایپ (مثال *یبمار به جای بیمار) امروزی پا فراتر از شناسایی و تصحیح این دو نوع خطا نهاده و تا حدی به کمک ویراستاران شتافتهاند. به عنوان مثال آنچه در ادامه میآید برخی خطاهای (اکثر ا) نگارشی است که به کمک خطایاب قابل شناسایی (و تصحیح) میباشد: اشتباه در تشخیص درستی ۱۴ واژه به معنای استفاده از ساخت یا نوع نامناسب واژه ) ظن عدم رعایت سبک نگارشی معیار ) ظن یر پیوسته/جدا نویسی خانهی) استفاده از واژگان بیگانه بصورت نابجا استفاده از ادات غیر فارسی ) ظن یر ادات جمع عربی حروف اضافهی عربی) استفاده از حروف و عالئم غیر استاندارد ) ظن یر استفاده از *ك و *ي عربی جمع بستن اسامی جمع و جمعه یا مکسر البته آنچه آمد تنها بخش کوچکی از خطاهای رایجی است که یک به ویراستاران کند. خطایاب فارسی که در این مقاله مورد بررسی قرار میگیرد خطایا یب یر *هنرگر به جای هنرمند) ۱۵ نابجا استفاده از شکل مهجور امالیی استفاده از *خان ه به جای خطایاب به جای ک و ی فارسی) فارسی در شناسایی و تصحیح خودکار آن میتواند کمک تعاملی است و شناسایی و تصحیح واژههای نادرست را به صورت منفرد انجام میدهد. البته با توجه به استفاده از اطالعات نوع واژه در تشخیص واژهها با ساخت نادرست و نیز ارائهی پیشنهادها با توجه به نوع احتمالی واژهی نادرست این خطایاب تا حدی به خطایابهای حساس به متن نزدیک میشود. ٣ طراحی خطایاب شکل ۱ عملکرد خطایاب را نشان می دهد. هر یک از اجزای خطایاب در بخشی از مقاله به طور خاص مورد بررسی قرار گرفته است. ارائهی پیشنهادها به کاربر تصحیح خطا یا ا عمال سبک جستجو در واژه واژگان تشخیص جزء پیوسته هستهی جزء جدا سازی اجزای پیوسته جمله متن فارسی در واژهپرداز همچنین در جدول ۱ لیستی از امکانات خطایاب آورده شده. تمامی این امکانات در ادامهی این مقاله توضیح داده میشوند. تحلیل ساختاری عنوان امکان ارائهی پیشنهادهای مناسب فشردهسا یز واژگان امکان یافتن سریع واژه شکل ۱. عملکرد خطایاب توضیح / چگونگی استفاده از زبان پرولوگ استفاده از تحلیلگر ساختاری استفاده از MADFA استفاده از ساختار ذخیرهسازی درصد تکمیل ۱۰۰ ۱۰۰ ۱۰۰ ۱۰۰ 13 typographical error / mistyping 14 vocabulary incompetence بیتوجهی به فاصلهی بین واژهها بوده است در حالی ۳ ۱۵ نتایج یک تحقیق نشان میدهد بیشترین خطای رسمالخطی موجود در کتابهای چاپی فارسی تا سال ۱۳۸۰ که این مسئله در کتابهای دارای خط التین تقریبا وجود ندارد [۱۵].(۴۰۱

4 ۱۰۰ ۹۰ ۱۰۰ صفتدهی به واژگان مرتبسازی هوشمند لیست پیشنهادی نادیدهگرفتن خطاهای مرتبط با آرایش صفحهکلید انتخاب واژه برای جستجو در واژگان (تحلیل ساختاری) MADFA اسم فعل و صفت مبتنی بر تحلیل ساختاری و صفتدهی جدول ۱. امکانات کنونی خطایاب ٣.١ واژهپرداز متن مورد خطایابی را جمله به ۱۶ جمله در اختیار خطایاب قرار میدهد. پس از آن خطایاب جمله را با توجه به عالئم جدا ۱۹ ۱۸ ۱۷ کننده به اجزای پیوسته میشکند. این عالئم جدا کننده عبارتند از عالئم سجاوندی فاصله و فاصلهی مجازی. یک جزء پیوسته ممکن است جزئی از یک واژه (مثال یک وند) یا به تنهایی یک واژه باشد و یا از به هم چسبیدن چند واژه ) ظن + ها + یشان + ست) درست شده باشد. هر جزء پیوستهی صحیح میتواند از که این جزء یک یر عبارت بدترینهایشانست: بد + ترین ۲۱ ۲۰ یک هسته تعدادی وند و یک فعل اسنادی پیوسته تشکیل شده باشد. همچنین در صورتی فعل باشد شامل هسته (بن فعلی) وندهای فعلی شناسه و اجزای دیگر است. ۲۲ پس از جداسازی اجزای پیوسته با انجام تحلیل ساختاری هستهی جزء شناسایی میشود و تمامی وندها و تکواژهای تصریفی آن حذف میشود. پس از آن هسته برای تشخیص درستی در واژگان مورد جستجو قرار میگیرد. در مورد تحلیل ساختاری دو نکته حائز اهمیت است. اول همراه نوع(های) احتمالی آنهاست. در صورتی که هیچیک عنوان خطا تشخیص داده شده و برای تصحیح به بخشهای بعدی ارجاع داده میشود. آنکه خروجی این بخش تمامی حاالت ممکن برای هستهی جزء پیوسته به از این هستهها با توجه به نوع احتمالیش در واژگان یافته نشود جزء پیوسته به دوم اینکه وندها به دو دستهی تصریفی و اشتقاقی تقسیم میشود. وندهای اشتقاقی (نظیر چه در باغچه و ا در بینا) با توجه به معنا و کاربرد تنها بر روی مجموعهی خاصی از واژگان قابل استفاده است. در حالی که وندهای تصریفی (نظیر ها در گلها و ترین در بهترین) صرف نظر از معنا و کاربرد بر روی همهی واژگان (با توجه به نوع واژه) قابل استفاده میباشد. با توجه به این تفاوت تنها وندهای تصریفی در تحلیل ساختاری شناسایی و حذف میشود و وندهای اشتقاقی دست نخورده باقی میماند. دلیل این امر صرفهجویی در حجم واژگان ) زا مرتبهی ۱۰ برابر کوچکتر) و نیز ارائهی پیشنهادهای مناسبتر و در سازگار ی بیشتر با کاربرد واژه در جمله است. به عالوه با این کار امکان ا عمال سبکهای نگارشی که در بعضی موارد در مورد وندهای تصریفی متفاوت هستند مقدور میشود. بخش تحلیل ساختاری عالوه بر پیدا کردن هسته با توجه به وندهایی که به آن متصلند حدس میزند که واژه اسم صفت و یا فعل است. همچنین در صورتی که وندهای متصل به واژه با هیچکدام از موارد وندهای خاص اسم صفت و یا فعل تطبیق نکند این بخش نوع نامشخص را برمیگرداند. به دلیل اشتراک وندها ممکن است بخش ریشهیاب چند نوع احتمالی را برای هسته برگرداند. به عنوان مثال در صورتی که عالمت جمع «ها» از جزء پیوسته حذف شده باشد هسته احتما ال اسم یا صفت بوده است و نمیتواند فعل بوده باشد. بنابراین خروجی این بخش بایستی با اطالعات نوع واژه که برای هر هسته در واژگان نگهداری شده است تطبیق داده شود. ۱۶ دلیل این امر در بخش [۳ ۴] مطرح شده است. 17 delimiter 18 space Virtual space به آن فاصلهی تهی space) (Null نیز گفته میشود. در استاندارد یونیکد (Unicode) با (Zero width non joiner) ZWNJ شناخته میشود. ۴ ۱۹ به عنوان مثال فعل «*می روم» برای رعایت اصول نوشتار معیار باید به صورت «میروم» (با قرار دادن فاصلهی مجازی بین «می» و «روم») نوشته شود. 20 affix 21 copula 22 morphological analysis

5 واحد تحلیل ساختاری با استفاده از زبان Prolog طراحی شده است و تنها توالیهای مجاز برای وندها را میپذیرد. این تحلیل با توجه به نتایج ارائه شده در [10] و [13] صورت میگیرد. چند نمونه از نتایج تحلیل ساختاری در جدول ۲ آمده است. با توجه به اینکه روشهای بسیار کاراتر و مناسبتری برای ۲۳ تحلیل ساختاری وجود دارد زبان Prolog صرفا به جهت سادگی پیادهسازی انتخاب شده است و با انجام تحقیقات بیشتر و در عمل بایستی با یک پیادهسازی کاراتر جایگزین شود. جزء پیوسته شنوندگانتان رهایی نمیروم بیفتند هستههای احتمالی شنونده شنوندگ شنوندگان شنوندگانت شنوندگانتان ر رها رهایی رو روم میرو میروم نمیرو نمیروم افت بیف یفت افتن بیفت یفتن افتند بیفتن یفتند بیفتند جدول ۲. چند نمونه از نتایج تحلیل ساختاری نوع احتمالی (هسته صحیح) اسم صفت اسم صفت فعل فعل ٣.٢ نحوهی ذخیرهسازی واژگان یکی از مهمترین بخشه یا خطایاب واژگان یا همان مخزن واژهه یا باشد نادرست تشخیص داده میشود و طی روندی باید اصالح شود. نحوهی ذخیرهسازی واژهها در واژگان هم از نظر سرعت بازیا یب حجم خطایاب تشخیص و لیس یت تلفنه یا خطایاب است. در صورتی که واژهای در واژگان وجود نداشته و هم از جهت میزان فضای مصرفی نقش مهمی در سرعت اجرا و دارد. در صورتی که واژگان به صورت مناسبی نگهداری شود میتوان در زمان قابل قبول درستی یا نادرستی واژهای را همراه PDAها از پیشنهادهای مناسب را به کاربر ارائه داد. همچنین برای استفاده از خطایاب در محیطهایی با حافظهی محدود ) ظن یر ۲۴ کاربردهای سمت مشتری و...) الزم است حجم واژگان تا حد ممکن کم باشد. در عمل امکان تولید واژگان مناسب برای خطایاب در زمان محدود و با دقت کافی از عهدهی نگارندگان خارج بود. از این رو در قدم اول واژگان خطایاب ۲۵ Farsi Aspell با اعمال اصالحات و غربال کردن واژهها به کار گرفته شد. واژگان خطایاب مزبور که یک خطایاب ۲۶ بازمتن فارسی است به دلیل وجود خطاهای صرفی واژههای غلط و بعضا مهجور و نیز نگهداری تمام حاالت صرفی کلمه از کیفیت مناسبی برخوردار نبود. کار بگیریم. ۲۷ در قدم بعدی و در حال حاضر در تالش هستیم واژگان دیگری را که در آن نوع هر واژه نیز مشخص شده است به به طور کلی در ذخیرهسازی واژگان موارد ذیل حائز اهمیت است: حجم واژگان شیو یه ذخیرهسازی واژگان گزینش واژهها برای قرار گرفتن در واژگان امکان امکان امکان افزودن واژهه یا وزندهی واژهها صفتدهی جدید ۲۸ (برچسب زدن) واژهها در ادامه به بررسی هریک از موارد فوق و نحوهی پیادهسازی آن در خطایاب میپردازیم. 24 client-side open source 27 POS (Part of Speech) 28 tagging/labeling ۲۳ نظیر استفاده از Unification-based Grammars و Two-Level Model of Morphology ۵

6 ٣.٢.١ حجم واژگان از واژهه یا روشه یا مختلفی برای ذخیرهسازی واژگان وجود دارد. سادهترین روش (که بسیاری از آن استفاده میکنند) نگهداری فایل سادهای مرتب جدا از هم میباشد. این روش اگرچه در پیادهسازی بسیار ساده است و به دلیل مرتب بودن واژگان امکان یافتن یک واژه را با O(lg(n)) دسترسی میدهد لکن در آن واژگان حجم زیادی را اشغال میکند. این موضوع به خصوص در صورتی که واژهها با پیشوند/پسوند همراه باشد تشدید میشود. در این مقاله قصد نداریم به بررسی روشه یا بررسی قرار گرفتهاند. در مقالهی مذکور ضمن مقایسهی روشه یا مختلف فشردهسازی و ذخیرهکردن واژگان بپردازیم این موارد به تفصیل در [3] مورد متداول ساخت و ذخیرهسازی واژگان (ایستا) نظیر Perfect Hashing و Tries روش کارایی با استفاده از Finite Automata ارائه شده است و با توجه به نتایج این مقایسهها نتیجه گرفته میشود که ذخیرهسازی واژگان به وسیلهی یک ۲۹ «اتوماتای کمینهی متناهی و قطعی بدون دور» MADFA) ) نسبت به روشه یا دیگر ذخیرهسازی برتری دارد. [3] و [2] نشان دادهاند که با استفاده از اتوماتای تشخیصدهندهی Mealy میتوان حجم واژگان را ۳ تا ۶ بار نسبت به حجم آن با فشردهسازی مورد استفاده در سیستم خطایاب ٣.٢.٢ شیوهی ذخیرهسازی واژگان مثال متداو ل ۳۰ ISpell فشردهتر کرد. برای ذخیرهسازی واژگان فارسی از الگوریتم سریع ساخت MADFA ایستا که در [3] ارائه شده استفاده کردهایم. با این کار عالوه بر سرعت دسترسی باال حجم واژگان به طور متوسط به یک سوم کاهش یافت. شکل ۲ ساختار یک MADFA نمونه را نمایش میدهد. در این واژههایی چون آیت آگهی ماهی ممکن و مسکن ذخیره شده است. س م ک ن آغاز م آ گ ا ه ی ی ت به طور خالصه میتوان گفت تمامی چند گذار نمایندهی شکل ۲. نمایش سادهی یک MADFA (از نوع (Mealy ۳۱ گذارهای این اتوماتا در آرایهای ذخیره میشوند که هر عضو آن نمایندهی یک گذار است و هر ۳۲ یک حالت میباشد. هر عضو آرایه ساختار زیر را داراست (عضو اول آرایه حاوی اشارهگری به اولین حالت است): ۸ بیت برای ذخیرهسازی کاراکتر (نویسه) ۱۷ بیت برای نمایهی حالت مقصد (اشارهگر) ۱ بیت برای بیان گذار پایا ین ۱ بیت برای بیان آخرین گذار خروجی از یک حالت ۵ بیت برای اطالعات اضافی (نظیر نوع کلمه) 29 Minimal Acyclic Deterministic Finite Automata transition 32 state ۶

7 ٣.٢.٣ گزینش واژهها برای قرار گرفتن در واژگان گزینش واژهها برای ذخیرهسازی در واژگان به دلیل تأثیری که روی دقت و سرعت خطایاب دارد یکی از مواردی است که باید در پیادهسازی مد نظر قرار گیرد. این موضوع به ویژه در مورد زبانهایی میکند. [3] تعداد مناسب واژهه یا عنوان کردهاست در حالی که برای زبانی که واژهه یا ذخیر یه روشه یا واژگان برای زبانه یا همانطور که در بخش [۳.۱] نیز اشاره شد میشود. بهعالوه واژهه یا فناوری اینکه و بهتر). در میان واژههایی که ا سودمند: سود + مند) با این حال واژهه یا ۳۳ که بسیار صرفشدنی هستند (مانند فرانسه و عربی) اهمیت پیدا یک واژگان را برای یک زبان کم-صرفشدنی (مانند انگلیسی) به طور متوسط بین ۵۰ ۰۰۰ تا ۲۰۰ ۰۰۰ آن بسیار صرف میشود این تعداد به چندین میلیون میرسد. [1] و [11] به بررسی بسیار صرفشدنی پرداختهاند. مرک در این خطایاب تمامی واژهه یا ساده (مانند انسان درخت خوب خور و...) ذخیره مرکب که شکل پیوستهی آنها مرسومتر از شکل جدایشان است نیز به واژگان افزوده میشود (همچون کتابخانه وند میپذیرد آنهایی که شامل وند اشتقاقی است در واژگان ذخیره میشود (مانند دانا: دان + ب ساختهشده از وندهای تصریفی دلیل این تصمیم روشن است چرا که وندهای تصریفی با تمام واژهها ) زا نیست و در صورتی (ساده) نیز ذخیره میشود. (مانند خوبترینها: خوب + ترین + ها) ذخیره نمیشود. نوع مشابه مثال صفت) سازگا یر دارد اما وندهای اشتقاقی چنین ۳۴ که در واژگان ذخیره نشود مشکل اشتباه در تشخیص درستی واژه را به وجود میآورد. عالوه بر موارد فوق بن افعال ٣.٢.۴ امکان افزودن واژهه یا جدید همانطور که اشاره شد الگوریتمی که برای نگهداری و بازیا یب کردن واژهه یا واژگان به کار برده شده است یک الگوریتم ایستا است و وارد امکان جدید را به واژگان نمیدهد البته در [11] و [12] به مسئلهی به روزآوری اتوماتا پرداخته شده است که به آن نمیپردازیم. در حال حاضر امکان افزودن واژهی جدید به واژگان وجود ندارد. ٣.٢.۵ امکان وزندهی واژهها با رشد حجم واژگان امکان ارائهی پیشنهادهای مهجور توسط خطایاب افزایش مییابد. بر یا بیت را به عنوان معینکنندهی متداول و یا مهجور بودن واژه در ساختار واژگان در نظر گرفت. همچنین از آنجا که این مقاله از نوع تعاملی است در صورتی که کاربر برای اولین بار یک واژهی پیشنهادی را که ازدستهی واژهه یا آن واژه برچسب متداول میخورد. جلوگیری از این مشکل میتوان یک خطایاب مورد بررسی در مهجور است انتخاب کند مهجور یا متداول بودن واژهها به مرتبسازی پیشنهادها برای کاربر و آموزش نامحسوس خطایاب حین استفاده کمک میکند. مشابه این روش در [4] و [6] نیز جهت اولویت دهی به واژهها در لیست پیشنهادها بکار گرفته شده است. در حال حاضر از این امکان در خطایاب استفاده نشده است. ٣.٢.۶ امکان صفتدهی (برچسب زدن) واژهها کا یف در صورتی که است صفتهایی برای واژهها ذخیره شود ) ظن یر نوع واژه فارسی یا عربی بودن جمع یا مفرد بودن و امثال آن) به ارائهی پیشنهادهای مناسبتر کمک میکند. مثال اگر با توجه به تحلیل ساختاری نوع یک واژه فعل تشخیص داده شود برای ارائهی پیشنهادها فعله یا در میان تصریفی فراهم میگردد. به عنوان مثال حالیکه واژگان به جستجوی موارد مشابه پرداخته شود. همچنین امکان تشخیص خطا در ساخت واژهها با وندهای با توجه به اینکه خوب صفت است پسوند ترین میتواند به عنوان وند تصریفی به آن اضافه شود در در مورد اسم میز چنین نیست. این صفت دهی از اهمیت خاصی در ارائه پیشنهادهای درست برای تصحیح واژه برخوردار است. 33 highly inflective به بخش [۲ ۱] مراجعه کنید. ۳۴ ۷

8 در حال حاضر صفتهای پیشبینی شده در واژگان این خطایاب (با توجه به خروجی بخش تحلیل ساختاری) تنها شامل نوع واژه یعنی اسم صفت و فعل است. با توجه به اینکه ممکن است کلمهای نوعهای متفاوتی با معانی متفاوت داشته باشد هر یک از این انواع یک بیت را در مدخل واژه به خود اختصاص میدهند. ٣.٣ تصحیح خطا پس از تشخیص نادرستی یک جزء پیوسته نوبت به ارائهی لیست پیشنهادها برای تصحیح آن میرسد. در این مرحله خطایاب بایس یت به نحوی حدس بزند که چه واژهی درستی مد نظر کاربر بوده است که به صورت نادرست وارد شده است. نگرش ما در پیادهسازی این سیستم حدس زدن تقریبی منظور نویسنده است. بدین منظور از دیرباز روشه یا متنوعی به کار گرفته شده است که در ادامه به بعضی از آنها اشاره میکنیم [9]. ٣.٣.١ روشه یا رایج تصحیح خطا در روشه یا مبتنی الزم است به عنوان جایگزین پیشنهاد میشود. ۳۵ بر حداقل فاصلهی ویرایشی (MED) واژهه یا درستی که حداقل تغییرات برای تبدیل آنها به واژهی نادرست در روشه یا مبتنی ۳۶ بر کلید شباهت از روی واژهی نادرست کد یا کلیدی تولید میشود که واژهه یا باشد مشابه با آن واژه تشخیص داده و پیشنهاد میشود. این درستی که کد یکسانی داشته ۳۷ کلید معموال با نحوهی تلفظ واژه یا فونتیک آن در رابطه است و در مورد زبانهایی که تلفظ واژهها با نوشتار آنها تفاوت زیادی دارد (خصوصا در مورد اسامی خاص و زبان انگلیسی) کاربرد دارد. در زبان فارسی این تفاوت اغلب در گزینش میان چند حرف که همگی تلفظ یکسانی دارد ) ظن یر ذ ز ض و ظ) پیش میآید و به عنوان یک تغییر ویرایشی در خطایاب مورد بررسی در این مقاله قابل تصحیح است. از این روشها میتوان به Metaphone SPEEDCOP SOUNDEX و Double Metaphone اشاره کرد. در روشه یا ۳۸ مبتنی بر قواعد خطایاب بر اساس یک سری قاعده تالش میکند واژهی درست را از روی واژهی نادرست حدس بزند. در این روشها معموال استفاده از هر قاعده هزینهای از پیش تعیین شده دارد که واژهه یا درست با حداقل هزینه در فهرست پیشنهادها باالتر قرار میگیرد. بهرغم کیفیت نسبتا خوب تصحیح خطا با این روش مشکل تعیین هزینهی هر قاعده و تشخیص خطاهایی که بایس یت برای آنها قاعدهای پیشبینی کرد وجود دارد و به دلیل عدم دسترسی به اطالعات آماری مورد نیاز استفاده از این روش در خطایاب فارسی ممکن نیست. عالوه بر روشه یا فوق استفاده از روشه یا مبتنی ۳۹ بر احتماالت و یا شبکهه یا ۴۰ عصبی نیز مورد استفاده قرار میگیرد. ٣.٣.٢ خطاهای صحیح یکی از مزیتهای این خطایاب تشخیص و نادیدهگرفتن نویسههای عربی است که بعضا به دلیل وجود آرایشهای متفاوت صفحهکلید در متون ظاهر میشود. خطایاب استاندارد فارسی Microsoft Word 2003 در این مورد و مواردی چون فاصلهی مجازی و واژهها و فعلهای مرکب ضعیف عمل میکند و به نظر میرسد طراحان آن تکنیکهای خاص زبان فارسی را مد نظر قرار ندادهاند. آرایشه یا خطایاب فارسی امکان نادیدهگرفتن واژههایی که در آن از نویسهه یا ۴۱ صفحهکلید بعضا از نویسهه یا مشترک با عر یب بر یا عربی نگارش واژهه یا استفاده شده را دارد به بیان دیگر به واسطهی تع دد فارسی استفاده میشود که سیستم این اشکاالت را 35 minimum edit distance 36 similarity key 37 phonetic 38 rule-based 39 probabilistic 40 neural net ۸

9 نادیده میگیرد. الزم به ذکر است که خطایاب گزینهای برای اصالح خودکار اینگونه ناهمگونیها در اختیار کاربر قرار میدهد. برخی از این موارد عبارتند از: نویسهی ي عربی (ي: (U+064A الف مقصوره (ى: 0649+U) و ی فارسی (ی: (U+06CC نویسهی ك عربی (ك: 0643+U) و ک فارسی (ک: (U+06A9 ه و هی (وابسته به سبک نگارش) ا عراب (عالئم: شامل انواع الف-همزه تنوین تشدید و...) چگونگی تصحیح خطا در خطایاب فارسی ٣.۴ با تشخیص واژهای به عنوان خطا سیستم تالش میکند تا لیستی از بهترین پیشنهادها را برای تصحیح خطا ارائه دهد. یکی از مهمترین مالکه یا پیشنهادی ابتدای این لیست باشد. تشخیص خطایاب خوب بررسی لیست پیشنهادی آن است به طوریکه باید با احتمال باال واژهی درست در موارد روش مورد استفاده در تصحیح خطا مبتنی بر شیو یه تمامی واژگان از لحاظ نزدیکی به واژهی نادرست مورد بررسی قرار گیرد ۴۲ معکوس حداقل فاصلهی ویرایشی (RMED) است. در این روش به جای آ کهن تمامی ت ک تغییرا ت مورد بررسی بر روی واژهی نادرست اعمال میشود و در صورتی که منجر به تولید واژهی درستی شد آن واژه به عنوان پیشنهاد جایگزینی در نظر گرفته میشود [9]. ت ک تغییراتی که در این خطایاب برای تصحیح یک جزء پیوستهی نادرست در نظر گرفته شده عبارتست از: افزودن یک حرف حذف یک حرف جایگزین ۴۳ کردن یک حرف با حرف دیگر ۴۴ جابجا کردن دو حرف مجاور شکستن به دو جزء چسباندن به جزء قبلی و بعدی واژهه یا مطابق تحقیقی که در [5] انجام شده است تقریب ا ۸۰ خطاهای امالیی در اثر تنها یکی از چهار مورد اول به وجود میآید. استفاده از روش معکوس و محدود کردن تغییرات به یک تغییر دو مزیت دارد. اول آنکه با روش تحلیل ساختاری و نگهداری هستهی اجزای پیوسته در واژگان (که پیش از این به آن پرداختیم) سازگاری دارد و خطایاب را از تولید تمام شکله یا تصریفی ممکن برای نگهداری شده در واژگان بینیاز میکند ثانی ا از تعداد واژههایی که بررسی میشود به اندازهی قابل توجهی میکاهد. هر دوی این مزایا به باال رفتن سرعت اجرای خطایاب کمک شایا ین عدم آگاهی نویسندهی متن از امالی درست واژههاست پوشش داد. جزء پیوسته پس از اینکه نادرست تشخیص داده شد تمام حاال ت ت میکند. بدیهی است که با ایجاد یک تغییر نمیتوان همهی خطاهایی را که ناشی از ک تغییر بر روی آن انجام میشود. پس از ایجاد هر تغییر جزء پیوستهی جدید دوباره به مرحلهی تحلیل ساختاری میرود و هستهی آن از لحاظ درستی در واژگان بررسی میشود. با توجه به وجود وندهای تک حرفی و دو حرفی احتمال اینکه جزء پیوستهی تولید شدهای صحیح تشخیص داده شود ولی از ساخت تصریفی درستی برخوردار نباشد وجود دارد. به دلیل واژههای نسبتا زیادی (البته غیر قابل مقایسه با حجم کل واژگان) که در این مرحله تولید میشود و با ۴۱ به عنوان مثال در آرایش صفحه کلید فارسی مایکروسافت ویندوز ۲۰۰۰ نویسهی الف مقصورهی عربی (0649+U) به جای ی فارسی (U+06CC) قرار دارد در حالی که در نسخهی XP ویندوز این موضوع اصالح شده است. 42 reverse minimum edit distance 43 substitution 44 reversal/transposition ۹

10 توجه به اینکه کاربر باید از میان پیشنهادها انتخاب کند نیاز به حذف کردن چنین پیشنهادهای نادرستی کامال احساس میشود. با توجه به نوع کلمهی احتمالی و نگهداری نوع کلمه در واژگان این امر میسر میشود. یکی از خطاهای رایج در متون فارسی پیوسته و جدا نویسی نابجا است. صرف نظر از اینکه چه واژههایی باید پیوسته و کدامها باید جدا نوشته شود خطایاب فارسی باید توانایی تصحیح این خطاها را داشته باشد. بدین منظور شکستن یک جزء پیوسته به دو جزء نیز نوعی ت ک تغییر در نظر گرفته میشود. همچنین در صورتی که جزء پیوستهای نادرست تشخیص داده شود به جزء پیوستهی پیش یا پس از خود چسبانده و جزء جدید از لحاظ درستی بررسی میشود. به همین دلیل بایس یت واژههایی که در یک جمله آمدهاست یکجا به خطایاب داده شود چرا که در غیر این صورت ممکن است واژههایی که اصو ال در یک جمله نیامده است با این الگوریتم به یکدیگر چسبانده شود. ٣.۴.١ مرتبسازی لیست پیشنهادها خطاهای پیوسته و جدا نویسی احتمال اول لیست پیشنهادی را تشکیل میدهند. نوع واژهای که نادرست تشخیص داده شده است به صورت آماری تعیین میشود. به عنوان مثال اگر با دادن واژهی غلطی به بخش تحلیل ساختاری ۴ ریشهی احتمالی برای این واژه تشخیص داده شود به طوری که ۲ تای آنها فعل یکی صفت و دیگری هم مشترکا فعل و صفت تشخیص داده شود در لیست احتمالی نوع واژهی غلط به ترتیب فعل (فراوانی ۳) و سپس صفت (فراوانی ۲) قرار میگیرد. پس از حدس زدن نوع واژه پیشنهادها بر اساس نوع کلمهی هستهشان مرتب میشوند. به این ترتیب ابتدا پیشنهاداتی که نوع آنها با نوع محتمل واژهی غلط مطابقت میکند قرار میگیرند. در همین مثال در صورتی که دو پیشنهاد موجود باشد که یکی فعل و دیگری صفت تشخیص داده شده است ابتدا فعل و سپس صفت قرار میگیرد. این موضوع با توجه به همان لیست مرتبشدهی آماری نوع واژهی غلط است. ۴ کارهای آینده در آینده افزودن امکانات ذیل به سیستم خطایاب پیشبینی شده است: اعمال سبکه یا نگارشی: متون علمی و رسمی باید از ابتدا تا انتها یک سبک نگارشی را رعایت کنند. مواردی چون پیوسته/جدا نویسی انواع همزه استفاده یا عدم استفاده از ی کوتاه شده شبیه همزه فاصلهگذاری و... وزندهی تغییرات: در این روش به هر یک از تغییراتی که بر روی واژهی نادرست اعمال میشود درجهی اهمیت نسبت داده میشود. به عنوان مثال درجه اهمیت تغییر حروفی که بر روی صفحهی کلید در کنار هم قرار دارد زیاد در نظر گرفته میشود صفتدهی (برچسب زدن): اضافه کردن دیگر اطالعات در مورد واژه نظیر عربی بودن اسم جمع بودن... مشخص کردن واژههای کم کاربرد یا مهجور امکان اضافه کردن واژگان جدید به MADFA استفاده از لیست واژههای چند امالیی و شکل معیار آن استفاده از لیست واژههای نادرست متداول و جایگزینه یا آن ارائهی یک الگوریتم تولید کلید شباهت بر مبنای تلفظ واژه (مشابه (Metaphone برای زبان فارسی ۵ جمعبندی در این مقاله مراحل مختلف ساخت و پیادهسازی یک خطایاب تعاملی مورد بررسی قرار گرفت و همچنین در مواردی راه حل خاصی برای زبان فارسی ارائه شد. امکانات این خطایاب نظیر تصحیح با توجه به خصوصیات زبان فارسی و تجزیهی ساختاری واژهها در مقایسه با خطایابهای دیگر فارسی در نوع خود بینظیر است. با این حال هنوز راه زیادی تا رسیدن به حد مطلوب وجود دارد. ۱۰

11 در این خطایاب توانستیم با استفاده از یک ساختار MADFA حجم واژگان را تا چندین برابر پایین بیاوریم. همچنین با عمل تحلیل ساختاری هر یک از واژگان وارد شده و ریشهیابی واژه پیشنهاد مناسبی را به کاربر ارائه دهیم. منابع [1] Anick, P., Artemieff, S., A High-level Morphological Description Language Exploiting Inflectional Paradigms, Procceedings of COLING-92 Nantes. Aug ,1992 [2] Ciura, M.G., Deorowicz, S.: Experimental study of finite automata storing static lexicons. Technical report, Silesian Technical University, Poland, November [3] Ciura, M.G., Deorowicz, S.: How to squeeze a lexicon. Soft. Pract. Exper., 2001, Vol. 31, No. 11, pp [4] Crowell, J., Zeng, Q., Ngo, L., Lacroix, E, A Frequency-based Technique to Improve the Spelling Suggestion Rank in Medical Queries, Journal of the American Medical Informatics Association, 2004, Vol. 11, [5] Damerau, F J., Mays, E., An examination of undetected typing errors, Inf. Process. Manage., 1989, Vol. 25, pp [6] Deorowicz, S., Ciura, M.G. Correcting Spelling Errors by Modeling Their Causes, Int. J. Appl. Math. Comput. Sci., 2005, No. 15, pp [7] Garfinkel, R., Fernandez, E., Gopal, R., Design of An Interactive Spell Checker: Optimizing The List of Offered Words, Decision Support Systems, 2003, Vol. 35, [8] Hajic, J., Droza, J., Spelling-checking for Highly Inflective Languages, Research Institute of Computing Machinery [9] Kukich, K., Technique for Automatically Correcting Words in Text, ACM Computing Surveys, 1992, No. 24, pp [10] Megerdoomian, K., Persian Computational Morphology: A Unification-Based Approach, Computing Research Laboratory, New Mexico State University, Las Cruces, New Mexico, 2000 [11] Park, K-H, Aoe, J-I, Morimoto, K, Shishibori, M, An algorithm for dynamic processing of DAWG s, International Journal of Computational Mathematics, 1994, Vol. 54, pp [12] Sgarbas, KN, Fakotakis, ND, Kokkinakis, GK, Two algorithms for incremental construction of directed acyclic word graphs, International Journal on Artificial Intelligence Tools, 1995, Vol. 4, pp [13] Taghva, K., Beckley, R., Sadeh, M., A Stemming Algorithm for The Farsi Language, Information Science Research Institute, University of Nevada, Las Vegas, 2003 [۱۴] فرهنگستان زبان و ادب فارسی دستور خط فارسی فرهنگستان زبان و ادب فارسی نشر (آثار) چاپ سوم ۱۳۸۴ [۱۵] محمدیفر م.ر. شیوهنامهی ویرایش رسمالخط فارسی سازمان چاپ و انتشارات وزارت فرهنگ و ارشاد اسالمی چاپ دوم ۱۳۸۱ ۱۱