لقد تعلمنا سابقًا عن اكتشاف الكائنات، الذي يسمح لنا بتحديد مواقع الكائنات في الصورة من خلال التنبؤ بـ الصناديق المحيطة. ومع ذلك، لبعض المهام، لا نحتاج فقط إلى الصناديق المحيطة، بل نحتاج أيضًا إلى تحديد مواقع الكائنات بدقة أكبر. تُعرف هذه المهمة بـ التجزئة.
يمكن اعتبار التجزئة على أنها تصنيف البكسل، حيث يجب علينا التنبؤ بفئة كل بكسل في الصورة (الخلفية تكون إحدى الفئات). هناك نوعان رئيسيان من خوارزميات التجزئة:
- التجزئة الدلالية تخبرنا فقط بفئة البكسل، ولا تميز بين الكائنات المختلفة من نفس الفئة.
- تجزئة الكائنات تقسم الفئات إلى كائنات مختلفة.
على سبيل المثال، في تجزئة الكائنات، تُعتبر هذه الأغنام كائنات مختلفة، ولكن في التجزئة الدلالية، تُعتبر جميع الأغنام ممثلة بفئة واحدة.
الصورة مأخوذة من هذه المقالة
هناك العديد من الهياكل العصبية للتجزئة، لكنها جميعًا تتبع نفس الهيكل. بطريقة ما، تشبه المشفر التلقائي الذي تعلمت عنه سابقًا، ولكن بدلاً من تفكيك الصورة الأصلية، هدفنا هو تفكيك القناع. وبالتالي، تحتوي شبكة التجزئة على الأجزاء التالية:
- المشفّر يستخرج الميزات من الصورة المدخلة.
- المفكّك يحوّل تلك الميزات إلى صورة القناع، بنفس الحجم وعدد القنوات التي تتوافق مع عدد الفئات.
الصورة مأخوذة من هذا المنشور
يجب أن نذكر بشكل خاص دالة الخسارة المستخدمة في التجزئة. عند استخدام المشفرات التلقائية التقليدية، نحتاج إلى قياس التشابه بين صورتين، ويمكننا استخدام متوسط الخطأ التربيعي (MSE) لتحقيق ذلك. في التجزئة، يمثل كل بكسل في صورة القناع الهدف رقم الفئة (مشفّر بطريقة one-hot على البعد الثالث)، لذلك نحتاج إلى استخدام دوال خسارة خاصة بالتصنيف - خسارة الانتروبيا المتقاطعة، ويتم حساب متوسطها على جميع البكسلات. إذا كان القناع ثنائيًا - يتم استخدام خسارة الانتروبيا المتقاطعة الثنائية (BCE).
✅ الترميز بطريقة one-hot هو طريقة لترميز تسمية الفئة في متجه بطول يساوي عدد الفئات. ألقِ نظرة على هذه المقالة حول هذه التقنية.
في هذا الدرس، سنرى التجزئة عمليًا من خلال تدريب الشبكة على التعرف على الشامات البشرية (المعروفة أيضًا بالوحمة) في الصور الطبية. سنستخدم قاعدة بيانات PH2 لصور الجلد كمصدر للصور. تحتوي هذه المجموعة على 200 صورة من ثلاث فئات: وحمة نموذجية، وحمة غير نموذجية، وسرطان الجلد. تحتوي جميع الصور أيضًا على قناع يحدد حدود الوحمة.
✅ هذه التقنية مناسبة بشكل خاص لهذا النوع من التصوير الطبي، ولكن ما هي التطبيقات الواقعية الأخرى التي يمكنك تخيلها؟
الصورة مأخوذة من قاعدة بيانات PH2
سنقوم بتدريب نموذج لتجزئة أي وحمة من الخلفية.
افتح دفاتر الملاحظات أدناه لتتعرف أكثر على هياكل التجزئة الدلالية المختلفة، وتتمرن على العمل معها، وترى كيفية عملها.
التجزئة هي تقنية قوية جدًا لتصنيف الصور، حيث تتجاوز الصناديق المحيطة إلى تصنيف على مستوى البكسل. تُستخدم هذه التقنية في التصوير الطبي، بالإضافة إلى تطبيقات أخرى.
تجزئة الجسم هي واحدة فقط من المهام الشائعة التي يمكننا القيام بها باستخدام صور الأشخاص. تشمل المهام المهمة الأخرى اكتشاف الهيكل العظمي واكتشاف الوضعية. جرّب مكتبة OpenPose لترى كيف يمكن استخدام اكتشاف الوضعية.
تقدم مقالة ويكيبيديا نظرة عامة جيدة على التطبيقات المختلفة لهذه التقنية. تعرّف بنفسك على المجالات الفرعية لتجزئة الكائنات وتجزئة البانوراما في هذا المجال.
في هذا المختبر، جرّب تجزئة جسم الإنسان باستخدام مجموعة بيانات Segmentation Full Body MADS من Kaggle.