ریشه‌یاب عربی

استم (میانوند) یا Stem، یک الگوریتم محاسباتی است که کلمات هم‌ریشه را با تهی کردن آن‌ها از پیشوندها و پسوندها به یک شکل مشترک بازمی‌گرداند. معادل فارسی آن «پیراسته»، «میانوند» یا «هسته» نیز می‌باشد. به عنوان مثال کلمات عربی «یعلمون»، «سیعلمان»، «یعلمن»، «فیعلمونه» و «أیعلم؟» که همگی از ریشه «علم» هستند، دارای میانوند مشترک «یعلم» می‌باشند.

ضرورت ساخت استمر مخصوص زبان عربی

کسب نتایج مطلوب در لایه‌های نحو و معنا منوط به پردازشی دقیق در لایه تجزیه صرفی کلمات است. نتایج تحقیقات نشان داده است تجزیه صرفی کلمات با استفاده از الگوی «استم» (Stem)، بیش از الگوهای دیگر همچون تشخیص ریشه (Root) و لِمّا (Lemma) در فرآیندهای هوشمندسازی اثربخش بوده است.

پیچیدگی‌های زبان عربی موجب گشته است که هیچ یک از استمرهای به کار رفته در دیگر زبان‌ها با رویکردهای متفاوت خود نتوانند در زبان عربی به موفقیت در خور مثالی دست یابند.

چالش‌های ساخت استمر در زبان عربی

• حذف نادرست وندها (مانند «والده»)
• ابهام ناشی از اعراب (مانند «بکر»)
• تک جوابی بودن (مانند «لهم»)
• تغییر ساختار کلمات عربی (مانند «قلت و مررت»)
• ساختارهای بی قاعده و سماعیات

مراحل ساخت استمر نور

1. پالایش کلمات - تفکیک کلمات غیر عربی با استفاده از برچسب‌های زبانی (مانند «سبزوار») - پشتیبانی از نسخه‌های مختلف نوشتار قرآن (مانند «یسمریّ»، «بقیت الله»، «امرأت نوح»)

2. محاسبه وندها - پیاده‌سازی قواعد خاص مانند عدم تکرار پیشوندها و پسوندها، عدم صدارت پیشوند «س» با سایر پیشوندها، عدم جمع شدن پسوندهای جمع سالم با یکدیگر

3. الگوی تطابق ریشه

1. الگوی بررسی استعمال

1. تطبیق بر مداخل لغوی فرهنگ‌نامه‌ها

1. پیاده‌سازی قواعد اعلال و ادغام - مانند قاعده حذف حرف سوم در کلماتی که حروف دوم و سوم ریشه یکسان باشند

1. استفاده از شبکه واژگانی در ساخت استم از جمع‌های مکسر - این جمع‌ها تقریبا 10 درصد متون عربی و تقریبا 41 درصد از کل جمع‌های عربی را تشکیل می‌دهند.