المحلل الصرفي
اللغويات الحاسوبيةالمحلل الصرفي نور
أهمية التحليل الصرفي
من الاحتياجات الأساسية في تنقيب النصوص هو التحليل الصرفي والاشتقاقي للكلمات، وتحديد لواصق الكلمة، واستخراج معلومات مثل نوع الكلمة، والجذر، والمدخل المعجمي (مصدر الفعل ومفرد الاسم الجمع)، وغيرها. يستخدم هذا في معظم أنشطة تنقيب النصوص الذكية بما في ذلك اكتشاف التشابه، والتصنيف، وتحسين نتائج محركات البحث.
هيكل المحلل الصرفي نور
يتكون المحلل الصرفي نور من جزأين رئيسيين:
- نواة التحليل الصرفي للكلمات باستخدام التقنيات القائمة على القواعد
- نظام ترتيب التحليلات باستخدام تقنيات التعلم الآلي
المرحلة الأولى: التحليل القائم على القواعد
في المرحلة الأولى، تتم عمليات مثل:
- تحديد البادئات واللواحق
- تحديد الحروف الأصلية للكلمة
- التحليل المتخصص لقواعد اللغة العربية (بما في ذلك الإعلال، والإدغام، والإبدال، وغيرها)
خلال هذه العمليات، يتم استخدام قواعد بيانات لغوية مساعدة (مثل بنك الكلمات الجامدة العربية، وجموع التكسير، والصفات المشبهة، وغيرها).
في النهاية، يتم تحديد وتقديم جميع التحليلات الممكنة للكلمة بالإضافة إلى أكثر من ٢٠ سمة صرفية.
المرحلة الثانية: التسجيل بالتعلم الآلي
في المرحلة الثانية، بعد إنشاء مجموعة التحليلات الصرفية الممكنة للكلمة، وباستخدام:
- أساليب التعلم الآلي
- تحليل الكلمات المجاورة
- الاستفادة من المتون التي تم التحقق منها مسبقًا بواسطة الإنسان
يتم تسجيل وترتيب التحليلات.
التطبيقات الهامة
تحديد الكلمات من نفس العائلة: أحد التطبيقات المهمة للمحللات الصرفية هو تحديد الكلمات من نفس العائلة (المشتقات). في هذا الصدد، تم استخدام المحلل الصرفي نور لتحسين نتائج محركات البحث في قواعد بيانات قاموس، والحديث، ونورلیب، وغيرها.
إنتاج المتون الصرفية المتخصصة للقرآن: تم استخدام هذه الأداة أيضًا لإنتاج متون صرفية متخصصة للقرآن الكريم.
التطبيقات
- تحسين البحث: تعزيز دقة محركات البحث في قواعد البيانات المتخصصة
- اكتشاف تشابه النصوص: تحديد النصوص المتشابهة بناءً على البنية الصرفية
- تصنيف النصوص: تصنيف المستندات بناءً على السمات الصرفية
- معالجة القرآن: إنتاج متون صرفية متخصصة للقرآن الكريم
الفوائد
- دقة عالية تجمع بين الأساليب القائمة على القواعد والتعلم الآلي
- استخراج أكثر من ٢٠ سمة صرفية لكل كلمة
- دعم قواعد اللغة العربية المعقدة (الإعلال، الإدغام، الإبدال)
- الاستفادة من قواعد بيانات لغوية مساعدة غنية