تحلیلگر صرفی
زبانشناسی رایانشیاهمیت تحلیل صرفی
یکی از نیازهای زیربنایی متنکاوی، تجزیه صرفی و ساختواژی کلمات و شناسایی وندهای کلمه و اطلاعاتی از قبیل نوع کلمه، ریشه، سرواژه (مصدر فعل و مفرد اسم جمع) و … است که در اکثر فعالیتهای هوشمند متنکاوی از جمله مشابهیابی، ردهبندی، بهبود نتایج موتورهای جستجو و … کاربرد دارد.
ساختار تحلیلگر صرفی نور
تحلیلگر صرفی نور، شامل دو بخش کلی است:
- هسته تجزیه صرفی کلمات با استفاده از تکنیکهای قانونمحور
- سیستم مرتبسازی تحلیلها با استفاده از تکنیکهای یادگیری ماشین
مرحله اول: تجزیه قانونمحور
در مرحله اول، فرایندهایی از قبیل:
- شناسایی پیشوندها و پسوندها
- شناسایی حروف اصلی کلمه
- تحلیل تخصصی قواعد زبانی عربی (از جمله اعلال، ادغام، ابدال و …)
انجام میشود. در طی این فرایندها از مجموعه دادگان جانبی زبانشناسی (مثل بانک کلمات جامد عربی، جمعهای مکسر، صفات مشبهه و …) استفاده میشود.
در نهایت، تمامی تحلیلهای ممکن بهازای یک کلمه به همراه بیش از ۲۰ ویژگی صرفی شناسایی و ارائه میشوند.
مرحله دوم: امتیازدهی با یادگیری ماشین
در مرحله دوم، پس از تولید مجموعه تحلیلهای صرفی ممکن بهازای یک کلمه، با استفاده از:
- روشهای یادگیری ماشین
- تحلیل کلمات همسایه
- بهرهگیری از پیکرههای از پیش تأیید شده توسط انسان
تحلیلها امتیازدهی میشوند.
کاربردهای مهم
شناسایی کلمات همخانواده: یکی از کاربردهای مهم ابزارهای تحلیلگر صرفی، شناسایی کلمات همخانواده با یک کلمه است. در همین راستا از تحلیلگر صرفی نور برای بهبود نتایج موتورهای جستجو در پایگاههای قاموس، حدیث، نورلایب و … بهرهبرداری شده است.
تولید پیکره صرفی اختصاصی قرآن: از این ابزار همچنین برای تولید پیکره صرفی اختصاصی قرآن نیز استفاده شده است.
کاربردها
- بهبود جستجو: افزایش دقت موتورهای جستجو در پایگاههای تخصصی
- مشابهیابی متون: شناسایی متون مشابه بر اساس ساختار صرفی
- ردهبندی متون: دستهبندی اسناد بر اساس ویژگیهای صرفی
- پردازش قرآن: تولید پیکره صرفی اختصاصی برای قرآن کریم
مزایا
- دقت بالا با ترکیب روشهای قانونمحور و یادگیری ماشین
- استخراج بیش از ۲۰ ویژگی صرفی برای هر کلمه
- پشتیبانی از قواعد پیچیده زبان عربی (اعلال، ادغام، ابدال)
- استفاده از دادگان جانبی غنی زبانشناسی