Μια ενδελεχής κατανόηση των αρχών της τρισδιάστατης οπτικής απεικόνισης

Η τρισδιάστατη απεικόνιση όρασης είναι μια από τις πιο σημαντικές μεθόδους για την αντίληψη πληροφοριών των βιομηχανικών ρομπότ, η οποία μπορεί να χωριστεί σε μεθόδους οπτικής και μη οπτικής απεικόνισης. Επί του παρόντος, οι πιο χρησιμοποιούμενες οπτικές μέθοδοι, όπως: μέθοδος χρόνου πτήσης, μέθοδος δομημένου φωτός, μέθοδος σάρωσης με λέιζερ, μέθοδος κροσσών Moire, μέθοδος κηλίδων λέιζερ, συμβολομετρία, φωτογραμμετρία, μέθοδος παρακολούθησης λέιζερ, σχήμα από κίνηση, σχήμα από σκιά, και άλλο ShapefromX. Αυτό το άρθρο εισάγει αρκετά τυπικά σχήματα.

1. Χρόνος πτήσης τρισδιάστατη απεικόνιση

Κάθε pixel της κάμερας time-of-flight (TOF) χρησιμοποιεί τη διαφορά ώρας στη πτήση του φωτός για να λάβει το βάθος του αντικειμένου.

Στην κλασική μέθοδο μέτρησης TOF, το σύστημα ανιχνευτή ξεκινά τη μονάδα ανίχνευσης και λήψης μέχρι τη στιγμή που εκπέμπεται ο οπτικός παλμός. Όταν ο ανιχνευτής λαμβάνει την οπτική ηχώ από τον στόχο, ο ανιχνευτής αποθηκεύει απευθείας το χρόνο μετ' επιστροφής.

Γνωστό και ως Direct TOF (DTOF), το D-TOF χρησιμοποιείται συνήθως σε συστήματα εμβέλειας ενός σημείου, όπου συχνά απαιτείται τεχνολογία σάρωσης για την επίτευξη τρισδιάστατης απεικόνισης σε όλη την περιοχή.

Η τεχνολογία απεικόνισης TOF 3D χωρίς σάρωση δεν έχει υλοποιηθεί μέχρι τα τελευταία χρόνια, επειδή είναι πολύ δύσκολο να εφαρμοστεί ηλεκτρονικός χρονισμός υπονανοδευτερολέπτου σε επίπεδο pixel.

Η εναλλακτική λύση στο D-TOF με άμεσο χρόνο είναι το έμμεσο TOF (I-TOF), στο οποίο η χρονική διαδρομή μετ' επιστροφής παρεκτείνεται έμμεσα από μετρήσεις της έντασης φωτός με χρονική πύλη. Το I-TOF δεν απαιτεί ακριβή χρονισμό, αλλά χρησιμοποιεί μετρητές φωτονίων με χρονική πύλη ή ολοκληρωτές φορτίου, οι οποίοι μπορούν να υλοποιηθούν σε επίπεδο pixel. Το I-TOF είναι η τρέχουσα εμπορευματοποιημένη λύση για ηλεκτρονικούς και οπτικούς μίκτες που βασίζονται σε κάμερες TOF.

Η απεικόνιση TOF μπορεί να χρησιμοποιηθεί για μεγάλο οπτικό πεδίο, μεγάλη απόσταση, χαμηλή ακρίβεια, λήψη τρισδιάστατων εικόνων χαμηλού κόστους. Τα χαρακτηριστικά του είναι: γρήγορη ταχύτητα ανίχνευσης, μεγάλο οπτικό πεδίο, μεγάλη απόσταση εργασίας, φθηνή τιμή, αλλά χαμηλή ακρίβεια, εύκολο να παρεμβάλλεται από το φως του περιβάλλοντος.

2. Σάρωση για τρισδιάστατη απεικόνιση

Οι μέθοδοι τρισδιάστατης απεικόνισης σάρωσης μπορούν να χωριστούν σε εύρος σάρωσης, ενεργό τριγωνισμό, ομοεστιακή μέθοδο διασποράς και ούτω καθεξής. Στην πραγματικότητα, η ομοεστιακή μέθοδος διασποράς είναι μια μέθοδος σάρωσης και εμβέλειας, δεδομένου ότι αυτή τη στιγμή χρησιμοποιείται ευρέως στη βιομηχανία κατασκευής, όπως κινητά τηλέφωνα και επίπεδες οθόνες, εισάγεται εδώ ξεχωριστά.

1. Σάρωση και εμβέλεια

Η μέτρηση απόστασης σάρωσης είναι η χρήση μιας ευθυγραμμισμένης δέσμης για τη σάρωση ολόκληρης της επιφάνειας στόχου μέσω μονοδιάστατης μέτρησης απόστασης για την επίτευξη τρισδιάστατης μέτρησης. Οι τυπικές μέθοδοι εύρους σάρωσης είναι:

1, η μέθοδος του χρόνου πτήσης ενός σημείου, όπως εύρος διαμόρφωσης συχνότητας συνεχούς κύματος (FM-CW), εύρος παλμών (LiDAR), κ.λπ.

2, συμβολομετρία σκέδασης λέιζερ, όπως συμβολόμετρα που βασίζονται στις αρχές της παρεμβολής πολλαπλού μήκους κύματος, της ολογραφικής παρεμβολής, της παρεμβολής κηλίδων λευκού φωτός κ.λπ.

3, ομοεστιακή μέθοδος, όπως ομοεστιακή διασπορά, αυτοεστίαση κ.λπ.

Στη μέθοδο τρισδιάστατης σάρωσης εύρους ενός σημείου, η μέθοδος χρόνου πτήσης ενός σημείου είναι κατάλληλη για σάρωση μεγάλων αποστάσεων και η ακρίβεια μέτρησης είναι χαμηλή, γενικά της τάξης των χιλιοστών. Άλλες μέθοδοι σάρωσης ενός σημείου είναι: η συμβολομετρία λέιζερ ενός σημείου, η ομοεστιακή μέθοδος και η μέθοδος ενεργού τριγωνισμού με λέιζερ ενός σημείου, η ακρίβεια μέτρησης είναι υψηλότερη, αλλά η πρώτη έχει υψηλές περιβαλλοντικές απαιτήσεις. Ακρίβεια σάρωσης γραμμής μέτρια, υψηλή απόδοση. Η μέθοδος ενεργού τριγωνισμού λέιζερ και η ομοεστιακή μέθοδος διασποράς είναι πιο κατάλληλες για την εκτέλεση τρισδιάστατης μέτρησης στο άκρο του ρομποτικού βραχίονα.

2. Ενεργός τριγωνισμός

Η μέθοδος ενεργού τριγωνισμού βασίζεται στην αρχή της τριγωνοποίησης, χρησιμοποιώντας ευθυγραμμισμένες δέσμες, μία ή περισσότερες επίπεδες δέσμες για τη σάρωση της επιφάνειας στόχου για την ολοκλήρωση της τρισδιάστατης μέτρησης.

Η δέσμη λαμβάνεται συνήθως με τους ακόλουθους τρόπους: ευθυγράμμιση με λέιζερ, κυλινδρική ή τετραγωνική κυλινδρική διαστολή γωνιακής δέσμης, ασυνάρτητο φως (όπως λευκό φως, πηγή φωτός LED) μέσω της οπής, προβολή σχισμής (σχισμή) ή συνεκτική διάθλαση φωτός.

Η ενεργή τριγωνοποίηση μπορεί να χωριστεί σε τρεις τύπους: σάρωση ενός σημείου, σάρωση μονής γραμμής και σάρωση πολλαπλών γραμμών. Τα περισσότερα από τα προϊόντα που διατίθενται σήμερα στο εμπόριο για χρήση στο τέλος των ρομποτικών βραχιόνων είναι σαρωτές ενός σημείου και μιας γραμμής.

Στη μέθοδο σάρωσης πολλαπλών γραμμών, είναι δύσκολο να προσδιοριστεί αξιόπιστα ο αριθμός πόλων κροσσών. Προκειμένου να προσδιοριστούν με ακρίβεια οι αριθμοί λωρίδων, συνήθως υιοθετείται εναλλασσόμενη απεικόνιση υψηλής ταχύτητας δύο σετ κατακόρυφων οπτικών επιπέδων, η οποία μπορεί επίσης να πραγματοποιήσει σάρωση "FlyingTriangulation". Η διαδικασία σάρωσης και τρισδιάστατης ανακατασκευής φαίνεται στο παρακάτω σχήμα. Μια αραιή τρισδιάστατη προβολή δημιουργείται με στροβοσκοπική απεικόνιση πολλαπλών γραμμών προβολής και πολλές ακολουθίες τρισδιάστατης προβολής δημιουργούνται με σάρωση διαμήκους και οριζόντιας προβολής κροσσών. Στη συνέχεια, δημιουργείται ένα πλήρες και συμπαγές μοντέλο τρισδιάστατης επιφάνειας με υψηλή ανάλυση με αντιστοίχιση τρισδιάστατης εικόνας.

3. Συνεστιακή μέθοδος διασποράς

Το Dispersion Confocal φαίνεται να μπορεί να σαρώνει και να μετράει τραχιά και λεία αδιαφανή και διαφανή αντικείμενα, όπως αντανακλαστικούς καθρέφτες, διαφανείς γυάλινες επιφάνειες κ.λπ., και είναι σήμερα ευρέως δημοφιλής στον τομέα της τρισδιάστατης ανίχνευσης πλακών καλύμματος κινητών τηλεφώνων.

Υπάρχουν τρεις τύποι ομοεστιακής σάρωσης διασποράς: μονοδιάστατη μονοδιάστατη σάρωση απόλυτης εμβέλειας, σάρωση συστοιχίας πολλαπλών σημείων και σάρωση συνεχούς γραμμής. Το παρακάτω σχήμα παραθέτει δύο τύπους παραδειγμάτων απόλυτης εμβέλειας και συνεχούς σάρωσης γραμμής αντίστοιχα. Μεταξύ αυτών, η συνεχής σάρωση γραμμής είναι επίσης μια σάρωση πίνακα, αλλά η συστοιχία έχει περισσότερο και πιο πυκνό πλέγμα.

Στα εμπορικά προϊόντα, ο πιο γνωστός φασματικός ομοεστιακός αισθητήρας σάρωσης είναι ο STILMPLS180 της Γαλλίας, ο οποίος υιοθετεί 180 σημεία διάταξης για να σχηματίσει μια γραμμή με μέγιστο μήκος γραμμής 4,039 mm (σημείο μέτρησης 11,5 μ.μ., απόσταση από σημείο σε σημείο 22,5 μ.μ.). Ένα άλλο προϊόν είναι το FOCALSPECUULA της Φινλανδίας. Υιοθετείται η τεχνική του ομοεστιακού τριγώνου διασποράς.

3. Τρισδιάστατη απεικόνιση με δομημένη προβολή φωτός

Προβολή δομημένου φωτός Η τρισδιάστατη απεικόνιση είναι επί του παρόντος ο κύριος τρόπος τρισδιάστατης οπτικής αντίληψης ρομπότ, το σύστημα δομημένης απεικόνισης φωτός αποτελείται από πολλούς προβολείς και κάμερες, οι κοινώς χρησιμοποιούμενες δομικές μορφές είναι: μονής προβολέας-μονής κάμερας, μονής προβολέας-διπλής κάμερας, μονής προβολέας-πολλαπλών κάμερα, μονή κάμερα - διπλός προβολέας και μονή κάμερα - πολλαπλοί προβολείς και άλλες τυπικές δομικές μορφές.

Η βασική αρχή λειτουργίας της τρισδιάστατης απεικόνισης της προβολής δομημένου φωτός είναι ότι οι προβολείς προβάλλουν συγκεκριμένα μοτίβα δομημένου φωτισμού σε αντικείμενα στόχους και οι εικόνες που διαμορφώνονται από τον στόχο καταγράφονται από την κάμερα και στη συνέχεια λαμβάνονται οι τρισδιάστατες πληροφορίες του αντικειμένου στόχου μέσω της εικόνας επεξεργασία και οπτικό μοντέλο.

Οι προβολείς που χρησιμοποιούνται συνήθως έχουν κυρίως τους ακόλουθους τύπους: προβολή υγρών κρυστάλλων (LCD), προβολή ψηφιακής διαμόρφωσης φωτός (DLP: όπως συσκευές ψηφιακής μικροκαθρέφτη (DMD)), άμεση προβολή μοτίβου LED λέιζερ.

Σύμφωνα με τον αριθμό της προβολής δομημένου φωτός, η τρισδιάστατη απεικόνιση της προβολής δομημένου φωτός μπορεί να χωριστεί σε μεθόδους μονής προβολής 3D και πολλαπλής προβολής 3D.

1. Απεικόνιση μονής προβολής

Το δομημένο φως μεμονωμένης προβολής πραγματοποιείται κυρίως με κωδικοποίηση πολυπλεξίας χώρου και κωδικοποίηση πολυπλεξίας συχνότητας. Οι συνήθεις μορφές κωδικοποίησης είναι η χρωματική κωδικοποίηση, ο γκρίζος δείκτης, η κωδικοποίηση γεωμετρικών σχημάτων και οι τυχαίες κηλίδες.

Επί του παρόντος, στην εφαρμογή του συστήματος ρομπότ χεριού-ματιού, για περιπτώσεις όπου η ακρίβεια μέτρησης 3D δεν είναι υψηλή, όπως η παλετοποίηση, η αποπαλετοποίηση, η τρισδιάστατη σύλληψη κ.λπ., είναι πιο δημοφιλής η προβολή ψευδοτυχαίων σημείων για την απόκτηση του 3D πληροφορίες του στόχου. Η αρχή της τρισδιάστατης απεικόνισης φαίνεται στο παρακάτω σχήμα.

2. Απεικόνιση πολλαπλής προβολής

Η τρισδιάστατη μέθοδος πολλαπλής προβολής υλοποιείται κυρίως με κωδικοποίηση πολυπλεξίας χρόνου. Οι κοινώς χρησιμοποιούμενες μορφές κωδικοποίησης μοτίβων είναι: δυαδική κωδικοποίηση, κωδικοποίηση μετατόπισης φάσης πολλαπλών συχνοτήτων τ35 και μικτή κωδικοποίηση (όπως κρόσσια μετατόπισης γκρι κωδικού δέκα φάσεων).

Η βασική αρχή της τρισδιάστατης απεικόνισης με κροσσική προβολή φαίνεται στο παρακάτω σχήμα. Τα δομημένα μοτίβα φωτός παράγονται από έναν υπολογιστή ή δημιουργούνται από μια ειδική οπτική συσκευή, τα οποία προβάλλονται στην επιφάνεια του μετρούμενου αντικειμένου μέσω ενός συστήματος οπτικής προβολής και στη συνέχεια χρησιμοποιούνται συσκευές λήψης εικόνας (όπως κάμερες CCD ή CMOS) για τη συλλογή του παραμορφωμένες εικόνες δομημένου φωτός που διαμορφώνονται από την επιφάνεια του αντικειμένου. Ο αλγόριθμος επεξεργασίας εικόνας χρησιμοποιείται για τον υπολογισμό της αντίστοιχης σχέσης μεταξύ κάθε pixel στην εικόνα και του σημείου στο περίγραμμα του αντικειμένου. Τέλος, μέσω του μοντέλου δομής συστήματος και της τεχνολογίας βαθμονόμησης, υπολογίζονται οι τρισδιάστατες πληροφορίες περιγράμματος του μετρούμενου αντικειμένου.

Σε πρακτικές εφαρμογές, χρησιμοποιείται συχνά η τεχνολογία προβολής γκρίζου κώδικα, ημιτονοειδής προβολή κροσσού με μετατόπιση φάσης ή μικτή προβολή 3D ημιτονοειδούς μετατόπισης φάσης κώδικα Γκρι.

3. Απεικόνιση παραμόρφωσης

Για τραχιά επιφάνεια, το δομημένο φως μπορεί να προβληθεί απευθείας στην επιφάνεια του αντικειμένου για μέτρηση οπτικής απεικόνισης. Ωστόσο, για την τρισδιάστατη μέτρηση λείων επιφανειών μεγάλης ανάκλασης και αντικειμένων καθρέφτη, η προβολή δομημένου φωτός δεν μπορεί να προβληθεί απευθείας στη μετρούμενη επιφάνεια και η τρισδιάστατη μέτρηση απαιτεί επίσης τη χρήση τεχνολογίας εκτροπής καθρέφτη, όπως φαίνεται στο παρακάτω σχήμα.

Σε αυτό το σχήμα, τα κρόσσια δεν προβάλλονται απευθείας στο μετρημένο περίγραμμα, αλλά προβάλλονται σε μια οθόνη σκέδασης ή χρησιμοποιείται μια οθόνη LCD αντί για την οθόνη σκέδασης για την απευθείας εμφάνιση των κροσσών. Η κάμερα παρακολουθεί εκ νέου τη διαδρομή φωτός μέσα από τη φωτεινή επιφάνεια, λαμβάνει τις πληροφορίες περιθωρίου που διαμορφώνονται από την αλλαγή καμπυλότητας της φωτεινής επιφάνειας και, στη συνέχεια, επιλύει το τρισδιάστατο προφίλ.

4. Stereo vision 3D απεικόνιση

Το Stereovision αναφέρεται κυριολεκτικά στην αντίληψη της τρισδιάστατης δομής με το ένα ή και τα δύο μάτια και γενικά αναφέρεται στην ανακατασκευή τρισδιάστατης δομής ή πληροφοριών βάθους του αντικειμένου στόχου με τη λήψη δύο ή περισσότερων εικόνων από διαφορετικές οπτικές γωνίες.

Οι οπτικές ενδείξεις αντίληψης βάθους μπορούν να χωριστούν σε οφθαλμικά και Διόφθαλμα (διόφθαλμη παράλλαξη). Επί του παρόντος, η στερεοσκοπική 3D μπορεί να επιτευχθεί μέσω μονόφθαλμης όρασης, διόφθαλμης όρασης, πολυόφθαλμης όρασης, τρισδιάστατης απεικόνισης φωτεινού πεδίου (ηλεκτρονική σύνθετη κάμερα ματιών ή συστοιχίας).

1. Μονόφθαλμη οπτική απεικόνιση

Τα συνθήματα αντίληψης μονόφθαλμου βάθους συνήθως περιλαμβάνουν προοπτική, διαφορά εστιακού μήκους, απεικόνιση πολλαπλών οράσεων, κάλυψη, σκιά, παράλλαξη κίνησης, κ.λπ. Στο ρομπότ η όραση μπορεί επίσης να χρησιμοποιήσει τον καθρέφτη 1 και άλλες μορφές από το X10 και άλλες μεθόδους για να επιτύχει.

2. Διόφθαλμη απεικόνιση όρασης

Οι οπτικές ενδείξεις της διόφθαλμης αντίληψης βάθους είναι: θέση σύγκλισης των ματιών και διόφθαλμη παράλλαξη. Στη μηχανική όραση, δύο κάμερες χρησιμοποιούνται για τη λήψη δύο εικόνων προβολής από δύο σημεία θέασης στην ίδια σκηνή στόχο και, στη συνέχεια, υπολογίζεται η παράλλαξη του ίδιου σημείου στις δύο εικόνες προβολής για να ληφθούν οι τρισδιάστατες πληροφορίες βάθους της σκηνής στόχου. Η τυπική διαδικασία υπολογισμού της διόφθαλμης στερεοόρασης αποτελείται από τα ακόλουθα τέσσερα βήματα: διόρθωση παραμόρφωσης εικόνας, διόρθωση ζεύγους στερεοφωνικής εικόνας, καταχώριση εικόνας και υπολογισμός χάρτη παράλλαξης επανπροβολής τριγωνισμού