تصحیح فاصله
زبانشناسی رایانشیدر بسیاری از زبانهای موجود در دنیا (فارسی، عربی و…)، استفاده از کاراکتر فاصله باعث شناسایی کلمات و تمایز آنها از یکدیگر میشود.
با توجه به اینکه در زبان فارسی مرز میان کلمات با فاصله از یکدیگر مشخص میشوند، در صورتی که فاصله به درستی رعایت نشود، باعث عدم خوانایی نوشته میشود و معنای آن از بین رفته و یا تغییر مییابد.
در زبان فارسی، طبق استاندارد موجود دو نوع فاصله بین کلمات وجود دارد:
- فاصله (Space) : فضای بین کلمات در یک جمله
- نیمفاصله (Half-Space) : فضای بین بخشهای کلمات چندبخشی
در صورتی که فاصله و نیمفاصلهها در متون به درستی رعایت شود، باعث میگردد برخی از پردازشهای زبان طبیعی فارسی مانند خطایابی املایی، موتور جستجوی فارسی، خلاصهسازی فارسی، استخراج کلیدواژههای متن، ترجمه ماشینی و نمایهگذاری با بهبود قابل ملاحظهای همراه باشد.
نمونه خطاها
به عنوان نمونه ممکن است به اشتباه واژههایی مانند «جمهوری اسلامی» به صورت «جمهوریاسلامی» یا «نرم افزار» به شکل «نرمافزار» نوشته شده باشد.
راهکار
گروه پردازش هوشمند مرکز تحقیقات کامپیوتری علوم اسلامی نور بر آن شد تا سرویس تصحیح فاصله هوشمند ماشینی را راهاندازی کند. این سرویس قادر است تا فاصله و نیمفاصله صحیح میان کلمات را تشخیص داده و اشتباهات را تصحیح کند. لذا اگر در متنی کلماتی مانند «جمهوریاسلامی» وجود داشته باشد، توسط این سیستم به «جمهوری اسلامی» اصلاح میشود.