پروژه تصحیح فاصله بین کلمات فارسی

اهمیت فاصله در زبان فارسی

در بسیاری از زبان‌های موجود در دنیا (فارسی، عربی و…)، استفاده از کاراکتر فاصله باعث شناسایی کلمات و تمایز آنها از یکدیگر می‌شود.

با توجه به اینکه در زبان فارسی مرز میان کلمات با فاصله از یکدیگر مشخص می‌شوند، در صورتی که فاصله به درستی رعایت نشود، باعث عدم خوانایی نوشته می‌شود و معنای آن از بین رفته و یا تغییر می‌یابد.

دو نوع فاصله در زبان فارسی

در زبان فارسی، طبق استاندارد موجود دو نوع فاصله بین کلمات وجود دارد:

اهمیت رعایت فاصله‌ها

در صورتی که فاصله و نیم‌فاصله‌ها در متون به درستی رعایت شود، باعث می‌گردد برخی از پردازش‌های زبان طبیعی فارسی با بهبود قابل ملاحظه‌ای همراه باشد:

• خطایابی املایی (Spell Checking)
• موتور جستجوی فارسی (Persian Search Engine)
• خلاصه‌سازی فارسی (Persian Summarization)
• استخراج کلیدواژه‌های متن (Keyword Extraction)
• ترجمه ماشینی (Machine Translation)
• نمایه‌گذاری (Indexing)

نمونه خطاها

به عنوان نمونه ممکن است به اشتباه واژه‌هایی مانند:

• "جمهوری اسلامی" به صورت "جمهوریاسلامی"
• "نرم افزار" به شکل "نرمافزار"

نوشته شده باشد.

راهکار: سرویس تصحیح فاصله هوشمند

گروه پردازش هوشمند مرکز تحقیقات کامپیوتری علوم اسلامی نور بر آن شد تا سرویس تصحیح فاصله هوشمند ماشینی را راه‌اندازی کند.

این سرویس قادر است تا:
- فاصله و نیم‌فاصله صحیح میان کلمات را تشخیص دهد
- اشتباهات را تصحیح کند

مثال اصلاح

اگر در متنی کلماتی مانند "جمهوریاسلامی" وجود داشته باشد، توسط این سیستم به "جمهوری اسلامی" اصلاح می‌شود.

مزایا

• بهبود خوانایی متون فارسی
• افزایش دقت پردازش‌های زبان طبیعی
• تصحیح خودکار و هوشمند بدون نیاز به دخالت دستی
• پشتیبانی از قواعد استاندارد زبان فارسی