محاذاة الصوت والنص
معالجة الصورة والصوتمحاذاة الصوت والنص (Forced Alignment)
الضرورة والتطبيق
في بعض الأحيان، يكون لدينا نص لخطاب صوتي أو فيديو معين، ولكن ليس من الواضح أي جزء من النص يتوافق مع أي جزء من الصوت. هذه المعلومات ضرورية لـ:
- العرض المتزامن للنص والصوت/الفيديو للمستخدم
- عرض النص كترجمة (subtitles) على الفيديو والصوت
برنامج محاذاة الصوت والنص مصمم لهذا الغرض.
التحدي الرئيسي
يستخدم هذا البرنامج خدمة خارجية للتعرف على الكلام (speech recognition). حاليًا، خدمات التعرف على الكلام إلى النص للمحاضرات والاجتماعات لا تتمتع بدقة جيدة. لذلك، أصبحت العملية أكثر تعقيدًا.
خطوات العملية
الخطوة الأولى: تحويل التنسيق
أولاً، نقوم بتحويل الفيديو أو الصوت إلى تنسيق يمكن استخدامه بواسطة وحدة التعرف على الكلام إلى النص. لهذا، يجب أن تكون جودة الصوت جيدة.
الخطوة الثانية: التقسيم إلى أجزاء صغيرة
بعد ذلك، من خلال اكتشاف فترات الصمت (silences) داخل الكلام، نقوم بتقسيم الصوت إلى أجزاء أصغر ونرسلها إلى وحدة التعرف على الكلام.
الخطوة الثالثة: التقسيم المتعدد (إذا لزم الأمر)
للحصول على دقة أعلى، في الأجزاء التي لا يوجد فيها صمت طويل، يمكن استخدام عدة تقسيمات مختلفة.
الخطوة الرابعة: التعرف على الكلام
مخرجات وحدة التعرف على الكلام هي جملة أو أكثر تم التعرف عليها، وهي تتطابق إلى حد ما مع جزء الصوت الأصلي.
الخطوة الخامسة: المحاذاة الديناميكية
بعد تسوية (normalizing) النص الأصلي للخطاب ونصوص أجزاء الصوت التي تم التعرف عليها، نستخدم خوارزمية ديناميكية لمحاذاة نقاط الصوت مع المواضع المحتملة بين الكلمات في النص الأصلي. تستمد هذه الخوارزمية من حساب مسافة ليفنشتاين (Levenshtein Distance) بين الجمل التي تم التعرف عليها والمجمعة معًا وبين النص الأصلي.
المخرجات
تتكون المخرجات من أجزاء مقسمة من النص الأصلي، مع تسجيل توقيت كل جزء نصي إلى جانبه. يتم استخدام هذه المخرجات لإنشاء ملفات ترجمة (subtitles) قياسية يمكن تشغيلها في مشغلات الوسائط.
النتائج والتطبيقات الناجحة
تم استخدام المخرجات بنجاح لـ:
- نص وصوت الخطب على موقع leader.ir
- محاذاة تلاوة القرآن (الترتيل) مع النص القرآني
التطبيقات
- الترجمة التلقائية (subtitling): إنشاء ملفات ترجمة للفيديوهات والخطب
- العرض المتزامن للنص والصوت: عرض النص متزامنًا مع تشغيل الصوت
- تنقيب النصوص الصوتية: تمكين البحث النصي داخل المحتوى الصوتي
- الموارد التعليمية: إنشاء محاذاة بين نص الدرس والملف الصوتي
- تلاوة القرآن: المحاذاة الدقيقة للآيات مع التلاوة
الفوائد
- دقة جيدة على الرغم من التحديات: على الرغم من الدقة المحدودة لخدمات التعرف على الكلام، تزيد خوارزمية المحاذاة الديناميكية من الدقة
- مخرجات قياسية: تنتج ملفات ترجمة قابلة للتشغيل على مشغلات الوسائط القياسية
- تطبيقات واقعية ناجحة: تم التحقق من صحتها على خطب موقع leader.ir ومحاذاة تلاوة القرآن
- إدارة فترات الصمت: استخدام ذكي لاكتشاف الصمت للتقسيم الأمثل
- خوارزمية ديناميكية: تستخدم مسافة ليفنشتاين للعثور على أفضل محاذاة