رده بندی متون
مشابهیابی و ردهبندی متونسامانه دستهبند متن نور
سامانه دستهبند متون[1] نور در دو زبان عربی و فارسی قابلیت کارکرد دارد. استفاده از یادگیری ماشین سبب شده تا این دستهبند انعطاف قابل قبولی در مقابل متون و کلمات دیده نشده از خود نشان دهد. موارد متعدد استفاده از دستهها و ردههای متنی در علوم و فنون مختلف، اهمیت وجود این سامانه را مشخص میکند.
دستهبندی متون
دستهبندی متون به فرآیند انتساب یک یا چند موضوع یا برچسب به یک متن بر اساس محتوای آن اطلاق میشود. این فرآیند در پردازش زبان طبیعی و متنکاوی یک عمل اساسی محسوب میشود. متون بدون ساختار به وفور وجود دارند و دستهبندی آنها یک ضرورت محسوب میشود.
فرآیند تشخیص موضوع یک متن میتواند به عنوان زیرساخت سایر فرآیندهای پردازش زبان طبیعی مورد استفاده قرار گیرد؛ فرآیندهایی مثل ترجمه ماشینی، نویسهخوان نوری و تبدیل گفتار به نوشتار.
دستهبندی متون نیز تنوع گستردهای دارد؛ از تشخیص هرزنامه تا تشخیص احساس یک متن.
اهمیت دستهبندی متون علمی
دستهبندی متون علمی موجب دسترسپذیری بیشتر آنها برای محققین علوم مختلف خواهد شد. به ویژه زمانی که موضوعات دارای تنوع بیشتر و منطبق بر دستهبندیهای شناخته شده باشند.
چالش اساسی
چالش اساسی در استفاده از دستههای متون این است که متون منتشره در فضای مجازی و سایر فضاهای علمی (حوزوی و دانشگاهی) ممکن است یا فاقد هرگونه دستهبندی باشند یا این که طبق نظر محقق دستهبندی نشده باشند.
راه حل رایانشی این چالش، استفاده از سامانهی دستهبند متون است.
سیستم دستهبند متون نور
در مرکز نور، دستهبندی نور در دو زمینهی متفاوت مورد توجه قرار گرفته است که بنا به نیاز کاربران زمینههای متفاوت دیگری نیز میتواند مورد نظر قرار گیرد:
- متون خبری فارسی
- متون فقهی عربی
دستهبندی متون خبری فارسی
در حال حاضر دستهبندی متون خبری فارسی در دو حالت هفت کلاسه و ده کلاسه انجام میپذیرد.
ردهبندی 7 کلاسه شامل کلاسهای:
- اقتصادی
- اجتماعی
- حوادث
- خارجی
- سیاسی
- تکنولوژی
- ورزشی
ردهبندی 10 کلاسه شامل کلاسهای:
- ادبی-هنری
- اخبار کوتاه
- بورس و بانک
- اقتصاد جهانی
- اجتماعی
- علمی و فرهنگی
- اقتصادی
- گردشگری
- گوناگون
- حوادث
به عنوان مثال، یک متن بر اساس دستهبندی 10 کلاسه فارسی میتواند به عنوان یک متن اقتصادی دستهبندی شود.
دستهبندی متون فقهی عربی
این دستهبندی بر روی متون عربی انجام میپذیرد و میتواند متون فقهی عربی را در نه کلاس زیر دستهبندی کند:
- القصاص
- الدیات
- الحج
- المکاسب
- المیراث
- النکاح
- الصلاه
- الطهاره
- الزکوه
قابلیت توسعه
سیستم دستهبند متن نور بر اساس نیازهای جاری و احتمالی پژوهشگران محترم شکل گرفته است. بنابراین با تعامل بیشتر و بهتر این مرکز با پژوهشگران و فرهیختگان حوزهی علوم اسلامی و انسانی میتوان به دستهبندهای متنوعتر و در سایر زمینهها دست یافت.
به دلیل آن که ساختار ماشین یادگیرندهی دستهبند متون مستقل از زبان و مستقل از ساختار زبان است، تنها با ایجاد و یا گردآوری دادههایی با دستهبندی متفاوت میتوان دستهبندهای جدید - حتی در زبانهای دیگر - پدید آورد.
مراجع
[1] Text Classification