Έχουμε ήδη μάθει για την Ανίχνευση Αντικειμένων, η οποία μας επιτρέπει να εντοπίζουμε αντικείμενα στην εικόνα προβλέποντας τα περιγράμματα τους. Ωστόσο, για ορισμένες εργασίες δεν χρειαζόμαστε μόνο περιγράμματα, αλλά και πιο ακριβή εντοπισμό αντικειμένων. Αυτή η εργασία ονομάζεται τμηματοποίηση.
Η τμηματοποίηση μπορεί να θεωρηθεί ως ταξινόμηση εικονοστοιχείων, όπου για κάθε εικονοστοιχείο της εικόνας πρέπει να προβλέψουμε την κατηγορία του (φόντο είναι μία από τις κατηγορίες). Υπάρχουν δύο κύριοι αλγόριθμοι τμηματοποίησης:
- Η Σημασιολογική τμηματοποίηση απλώς αναφέρει την κατηγορία του εικονοστοιχείου, χωρίς να κάνει διάκριση μεταξύ διαφορετικών αντικειμένων της ίδιας κατηγορίας.
- Η Τμηματοποίηση παραδειγμάτων διαχωρίζει τις κατηγορίες σε διαφορετικά παραδείγματα.
Για την τμηματοποίηση παραδειγμάτων, αυτά τα πρόβατα είναι διαφορετικά αντικείμενα, αλλά για τη σημασιολογική τμηματοποίηση όλα τα πρόβατα αντιπροσωπεύονται από μία κατηγορία.
Εικόνα από αυτήν την ανάρτηση στο blog
Υπάρχουν διαφορετικές νευρωνικές αρχιτεκτονικές για την τμηματοποίηση, αλλά όλες έχουν την ίδια δομή. Με κάποιο τρόπο, είναι παρόμοια με τον αυτοκωδικοποιητή που μάθατε προηγουμένως, αλλά αντί να αποδομούμε την αρχική εικόνα, στόχος μας είναι να αποδομήσουμε μια μάσκα. Έτσι, ένα δίκτυο τμηματοποίησης έχει τα εξής μέρη:
- Κωδικοποιητής εξάγει χαρακτηριστικά από την είσοδο της εικόνας.
- Αποκωδικοποιητής μετατρέπει αυτά τα χαρακτηριστικά στην εικόνα μάσκας, με το ίδιο μέγεθος και αριθμό καναλιών που αντιστοιχούν στον αριθμό των κατηγοριών.
Εικόνα από αυτήν τη δημοσίευση
Πρέπει να αναφέρουμε ειδικά τη συνάρτηση απώλειας που χρησιμοποιείται για την τμηματοποίηση. Όταν χρησιμοποιούμε κλασικούς αυτοκωδικοποιητές, πρέπει να μετρήσουμε την ομοιότητα μεταξύ δύο εικόνων, και μπορούμε να χρησιμοποιήσουμε το μέσο τετραγωνικό σφάλμα (MSE) για αυτό. Στην τμηματοποίηση, κάθε εικονοστοιχείο στην εικόνα μάσκας στόχου αντιπροσωπεύει τον αριθμό της κατηγορίας (κωδικοποιημένο με one-hot κατά την τρίτη διάσταση), οπότε πρέπει να χρησιμοποιήσουμε συναρτήσεις απώλειας ειδικές για ταξινόμηση - απώλεια διασταυρούμενης εντροπίας, με μέσο όρο σε όλα τα εικονοστοιχεία. Εάν η μάσκα είναι δυαδική - χρησιμοποιείται η απώλεια δυαδικής διασταυρούμενης εντροπίας (BCE).
✅ Η κωδικοποίηση one-hot είναι ένας τρόπος κωδικοποίησης μιας ετικέτας κατηγορίας σε έναν διάνυσμα μήκους ίσου με τον αριθμό των κατηγοριών. Δείτε αυτό το άρθρο για αυτήν την τεχνική.
Σε αυτό το μάθημα, θα δούμε την τμηματοποίηση σε δράση εκπαιδεύοντας το δίκτυο να αναγνωρίζει ανθρώπινα σπίλους (γνωστά και ως ελιές) σε ιατρικές εικόνες. Θα χρησιμοποιήσουμε τη PH2 Βάση Δεδομένων δερματοσκοπικών εικόνων ως πηγή εικόνων. Αυτή η βάση δεδομένων περιέχει 200 εικόνες τριών κατηγοριών: τυπικός σπίλος, άτυπος σπίλος και μελάνωμα. Όλες οι εικόνες περιέχουν επίσης μια αντίστοιχη μάσκα που περιγράφει τον σπίλο.
✅ Αυτή η τεχνική είναι ιδιαίτερα κατάλληλη για αυτόν τον τύπο ιατρικής απεικόνισης, αλλά ποιες άλλες εφαρμογές στον πραγματικό κόσμο μπορείτε να φανταστείτε;
Εικόνα από τη Βάση Δεδομένων PH2
Θα εκπαιδεύσουμε ένα μοντέλο να τμηματοποιεί οποιονδήποτε σπίλο από το φόντο του.
Ανοίξτε τα παρακάτω σημειωματάρια για να μάθετε περισσότερα σχετικά με διαφορετικές αρχιτεκτονικές σημασιολογικής τμηματοποίησης, να εξασκηθείτε στη χρήση τους και να τις δείτε σε δράση.
Η τμηματοποίηση είναι μια πολύ ισχυρή τεχνική για την ταξινόμηση εικόνων, προχωρώντας πέρα από τα περιγράμματα σε ταξινόμηση σε επίπεδο εικονοστοιχείου. Είναι μια τεχνική που χρησιμοποιείται στην ιατρική απεικόνιση, μεταξύ άλλων εφαρμογών.
Η τμηματοποίηση σώματος είναι μόνο μία από τις κοινές εργασίες που μπορούμε να κάνουμε με εικόνες ανθρώπων. Άλλες σημαντικές εργασίες περιλαμβάνουν την ανίχνευση σκελετού και την ανίχνευση στάσης. Δοκιμάστε τη βιβλιοθήκη OpenPose για να δείτε πώς μπορεί να χρησιμοποιηθεί η ανίχνευση στάσης.
Αυτό το άρθρο στη Wikipedia προσφέρει μια καλή επισκόπηση των διάφορων εφαρμογών αυτής της τεχνικής. Μάθετε περισσότερα μόνοι σας για τους υποτομείς της Τμηματοποίησης Παραδειγμάτων και της Πανοπτικής Τμηματοποίησης σε αυτόν τον τομέα έρευνας.
Σε αυτό το εργαστήριο, δοκιμάστε την τμηματοποίηση ανθρώπινου σώματος χρησιμοποιώντας το Segmentation Full Body MADS Dataset από το Kaggle.