Grant badawczy NCN 03420

Badania metod wyznaczania strategii pomiarowej podczas digitalizacji kształtu obiektów trójwymiarowych wraz z optymalizacją algorytmów wyznaczania kierunków pomiarowych Kierownik projektu: mgr inż. Maciej Karaszewski

  Grant NCN UMO2012/07/N/ST6/03420 został zakończony 10.10.2015 r.

Osiągnięcia

  W wyniku realizacji grantu powstały następujące osiągnięcia:

1. Zaimplementowano 13 opisanych w literaturze algorytmów wyznaczających położenia skanera 3D podczas digitalizacji obiektów nieznanych,
2. Zbudowano zrobotyzowane stanowisko testowe z trzema głowicami pomiarowymi o różnych wielkościach objętości roboczej,
3. Opracowano i zgłoszono do publikacji w IEEE Transactions on Pattern Analysis and Machine Intelligence (IF: 5.694) artykuł przeglądowy z oceną działania tych algorytmów dla obiektów o różnych cechach geometrycznych i głowic pomiarowych o trzech wielkościach objętości pomiarowej,
4. Opracowano hybrydową metodę wysokorozdzielczej digitalizacji obiektów nieznanych,
5. Zaprezentowano hybrydową metodę digitalizacji obiektów na międzynarodowej konferencji 25th International Symposium CIPA 2015, Taipei, Taiwan, 31.08 – 04.09.2015 (artykuł konferencyjny dołączony do raportu),
6. Opracowano algorytm wyznaczania pozycji głowicy wysokiej rozdzielczości na podstawie zgrubnego modelu 3D obiektu uwzględniający przesłanianie się fragmentów obiektu, analizę i unikanie kolizji podczas pozycjonowania głowicy i optymalizację kolejności wykonywania pomiarów pod kątem uzyskania minimalnej długości drogi przebytej przez głowicę pomiarową w całym procesie,
7. Opracowano i zgłoszono do publikacji w Robotics and Autonomous Systems (IF: 1.583) artykuł przedstawiający hybrydową metodę pomiarową oraz algorytm wyznaczania kierunków pomiarowych dla wysokorozdzielczej głowicy pomiarowej,
8. Zebrano materiały do pracy doktorskiej kierownika projektu.

Ad1. Zaimplementowano algorytmy zaprezentowane w następujących publikacjach:

1. Connoly, „The determination of next best views,” in Proceedings of the 1985 IEEE International Conference on Robotics and Automation, 1985.
2. Yuan, „A mechanism of automatic 3D object modeling,” IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 307-311, 1995.
3. Papadopoulos-Orfanos and F. Schmitt, „Automatic 3-D digitization using a laser rangefinder with a small field of view,” in Proceedings of the International Conference on Recent Advances in 3-D Digital Imaging and Modeling, 1997.
4. Pito, „A solution to the next best view problem for automated surface acquisition,” IEEE Transactions on Pattern Analysis and Machine Inteligence, pp. 1016-1030, 1999.
5. Reed and P. Allen, „Constraint-based sensor planning for scene modeling,” IEEE Transactions Pattern Analysis and Machine Intelligence, pp. 1460-1467, 2000.
6. Banta, L. Wong and M. Abidi, „A next-best-view system for autonomous 3-D object reconstruction,” in IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans, 2000.
7. Callieri, A. Fasano, G. Impoco, P. Cignoni, R. Scopigno, G. Parrini and G. Biagini, „RoboScan: an automatic system for accurate and unattended 3D scanning,” in 3D Data Processing, Visualization and Transmission, 2004. 3DPVT 2004, 2004.
8. Chen and Y. Li, „Vision sensor planning for 3-D model acquisition,” IEEE Transactions on Systems, Man and Cybernetics, pp. 894-904, 2005.
9. Kriegel, T. Bodenmüller, M. Suppa and G. Hirzinger, „A surface-based next-best-view approach for automated 3D model completion of unknown objects,” in IEEE International Conference on Robotics and Automation, 2011.
10. Karaszewski, R. Sitnik and E. Bunsch, „On-line, collision-free positioning of a scanner during fully automated three-dimensional measurement of cultural heritage objects,” Robotics and Autonomous Systems, pp. 1205-1219, 2012.
11. Khalfaoui, R. Seulin, Y. Fougerolle and D. Fofi, „An efficient method for fully automatic 3D digitization of unknown objects,” Computers in Industry, pp. 1152-1160, 2013.
12. Hosseininaveh, B. Sargeant, T. Erfani, S. Robson, M. Shortis, M. Hess and J. Boehm, „Towards fully automatic reliable 3D acquisition: From designing imaging network to a complete and accurate point cloud,” Robotics and Autonomous Systems, 1197-1207, 2014.
13. Vasquez-Gomez, L. Sucar, R. Murrieta-Cid and D. Lopez, „Volumetric Next Best View Planning for 3D Object Reconstruction with Positioning Error,” International Journal of Advanced Robotic Systems, 2014.

Ad2. Stanowisko testowe powstało z wykorzystaniem urządzeń zakupionych w ramach grantu oraz innych, dostępnych w Instytucie Mikromechaniki i Fotoniki, Wydział Mechatroniki Politechniki Warszawskiej. Zdjęcie systemu z głowicą o średniej objętości pomiarowej znajduje się poniżej:

Uzyskane wyniki

Na podstawie analizy artykułów dotyczących strategii pomiarowych w pomiarach 3D, wybrano pięć obiektów testowych, których cechy geometryczne odwzorowują dobrze najczęściej spotykane w rzeczywistości przedmioty poddawane digitalizacji. Tego typu klasy obiektów są najbardziej popularnymi celami procesu skanowania 3D. Wizualizacja modeli 3D tych obiektów znajduje się w tabeli poniżej. Modele te zostały wydrukowane na drukarce 3D a ich powierzchnia poddana obróbce (wygładzanie z użyciem acetonu) i pokryta środkiem redukującym połyskliwość (tlenkiem tytanu). Komputerowe modele obiektów posłużyły do testów symulacyjnych, natomiast wydruki – do testów działania algorytmów z użyciem rzeczywistego systemu digitalizacyjnego.

W ramach badań przeprowadzono przegląd materiałów naukowych dotyczących zagadnienia wyznaczania strategii pomiarowej przy digitalizacji nieznanych obiektów 3D (tzw. algorytmów next-best-view – NBV). Na podstawie tego przeglądu wyodrębniono szereg algorytmów, które zostały zaimplementowane w oprogramowaniu sterującym systemem pomiarowym. Ich wstępne testy przeprowadzono w środowisku symulacyjnym, testy docelowe – na zrobotyzowanym systemie pomiaru kształtu 3D wyposażonym w głowice pomiarowe o różnych wielkościach objętości roboczej. Celem tych testów było określenie jakości działania algorytmów w obecności różnych cech geometrycznych obiektu jak również poprawności ich działania w zależności od stosunku gabarytów obiektu do wielkości objętości pomiarowej.

Obiekt	Wizualizacja	Charakterystyka
Popiersie Dawida		Prosty obiekt z niewielkimi zagłębieniami w obrębie włosów. Brak przesłonięć I ostrich krawędzi.
Fragment kolumny		Obiekt osiowo-symetryczny, dużo zagłębień, występują przesłonięcia i znaczna liczba ostrych krawędzi.
Maska		Obiekt półpłaski (płaskorzeźba). Na części frontowej kilka zagłębień. Występuje niewielka liczba ostrych krawędzi.
Kątownik do łączenia profili konstrukcyjnych		Duża liczba ostrich krawędzi, zagłębienia i otwory.
Obiekt syntetyczny		Występują wszystkie problematyczne cechy: ostre krawędzie, połączenie obszarów skomplikowanych geometrycznie i płaskich, przesłanianie wzajemne.

Wyniki badań zostały zaprezentowane w artykule przeglądowym, który został zgłoszony do czasopisma z listy filadelfijskiej IEEE Transactions on Pattern Analysis and Machine Intelligence) i obecnie jest na etapie recenzji.

Wnioski z badań są interesujące – część ocenianych metod NBV była w stanie uzyskać  modele 3D o akceptowalnej jakości (w tym wypadku przez jakość rozumiany jest stopień pokrycia powierzchni obiektu), również w przypadku kiedy objętość robocza skanera jest dużo mniejsza niż gabaryty obiektu (co odpowiada pomiarom o wysokiej rozdzielczości), choć wymagana liczba pomiarów jest stosunkowo duża, szczególnie jeżeli w obiekcie występują ostre krawędzie lub przesłonięcia. Dodatkowo, w przeprowadzonych testach do detekcji kolizji i analizy przesłaniania (wykorzystywanej w niektórych artykułach) używany był model komputerowy obiektu (co nie jest możliwe w przypadku digitalizacji obiektów rzeczywistych, dla których takie modele najczęściej nie istnieją). Bez tego bowiem, w przypadku pomiarów głowicą wysokiej rozdzielczości wymagane było wykonanie wielu dodatkowych pomiarów przestrzeni otaczającej obiekt (w celu upewnienia się czy nie znajduje się tam nieodkryty uprzednio fragment obiektu). Liczba takich pomiarów sięgała nawet 30% całkowitej liczby pomiarów wykonanych w procesie digitalizacji z użyciem do detekcji kolizji pełnego modelu cyfrowego. Przy przeciętnie stu pomiarach wymaganych do uzyskania dobrej reprezentacji powierzchni obiektu, trzydzieści dodatkowych pomiarów (nie poprawiających jakości odwzorowania powierzchni) świadczy o nieoptymalności całego procesu. Dodatkowo, stopień pokrycia powierzchni obiektu nie był maksymalny, doświadczony operator był w stanie uzyskać zdecydowanie lepsze jej odwzorowanie.

Ze względu na osiągnięte rezultaty badań, w ramach prac wykonanych w projekcie opracowano hybrydową metodę digitalizacji z użyciem dwóch głowic pomiarowych o różnych objętościach. Pierwsza głowica, zgrubna, służy do uzyskania wstępnego modelu cyfrowego (mogącego zawierać nieciągłości), który następnie wykorzystywany jest do dwóch celów – detekcji kolizji oraz wyznaczenia kierunków pomiaru dla głowicy wysokiej rozdzielczości. Dzięki cyfrowej reprezentacji obiektu, kierunki pomiarowe wyznaczane są w sposób bardziej optymalny – analizowane są przesłonięcia torów optycznych skanera, ograniczenia pozycjonowania i zagrożenie kolizją podczas przemieszczania głowicy. Dodatkowo, wyznaczony przed rozpoczęciem pomiarów zbiór pozycji głowicy pomiarowej jest sortowany (z użyciem algorytmu komiwojażera) w celu minimalizacji czasu pozycjonowania i zużycia energii przez urządzenia pozycjonujące. Przeprowadzone testy wskazują, że nowa metoda pozwala na digitalizację obiektu z lepszym niż dotychczas stopniem pokrycia powierzchni a liczba pomiarów jest co najmniej o 20% mniejsza niż w przypadku najlepszych z istniejących metod wyznaczających strategię pomiarową podczas digitalizacji obiektów nieznanych (bez istniejących modeli komputerowych). Przykładowe zestawienie parametrów procesów digitalizacyjnych znajduje się w poniższej tabeli:

	Digitalizacja 3DMADMAC|AUTO					Hybrydowa metoda digitalizacji
	Główny proces	Uzupełnianie nieciągłości		Suma		Faza I (zgrubna)	Faza II (wysoka rozdzielczość)		Uzupełnianie nieciągłości	Suma
Liczba pomiarów	228	40		268		18	162		2	182
Liczba pustych pomiarów (det. kolizji)	63	2		65		2	0		0	2
Pokrycie powierzchni [%]	75	92		92		70	90		93	93
	Digitalizacja 3DMADMAC|AUTO					Hybrydowa metoda digitalizacji
	Główny proces		Uzupełnianie nieciągłości		Suma	Faza I (zgrubna)		Faza II (wysoka rozdzielczość)	Uzupełnianie nieciągłości	Suma
Liczba pomiarów	142		27		169	12		87	3	102
Liczba pustych pomiarów (det. kolizji)	48		0		48	0		0	0	0
Pokrycie powierzchni [%]	72		91		91	71		90	92	92

Opracowana metoda hybrydowej digitalizacji, jak również używany w niej, nowoopracowany algorytm wyznaczania pozycji wysokorozdzielczego skanera wraz z przykładowymi wynikami pomiarów zostały szczegółowo przedstawione w drugiej publikacji zgłoszonej do czasopisma z listy filadelfijskiej. W tym przypadku jest to Robotics and Autonomous Systems. Artykuł jest aktualnie recenzowany.

Realizowane cele

  W czasie trwania zrealizowano wszystkie cele zdeklarowane we wniosku:

1. Opracowano poradnik metodologiczny doboru rozwiązań algorytmów wyznaczania kierunków pomiarowych w zależności od charakterystyki obiektu mierzonego oraz stosunku gabarytów tego obiektu do wielkości objętości roboczej głowicy pomiarowej. Poradnik ten, w formie artykułu przeglądowego został zgłoszony do publikacji w czasopiśmie IEEE Transactions on Pattern Analysis and Machine Intelligence,
2. Zidentyfikowano główne ograniczenia istniejących metod i opracowano nowy, hybrydowy schemat procesu wysokorozdzielczej digitalizacji obiektów nieznanych. Szczegółowy opis rozwiązania został zgłoszony do publikacji w czasopiśmie Robotics and Autonomous Systems,
3. Opracowana metoda wyboru kierunków pomiarowych uwzględnia charakterystykę fizyczną głowicy pomiarowej (tzn. bieg torów optycznych, wielkość objętości pomiarowej) oraz ograniczenia systemu pozycjonującego (zasięg, możliwość wystąpienia kolizji). Metoda jest niezależna od użytej metody digitalizacji.

Wpływ na dyscyplinę

  W procesach wysokorozdzielczej digitalizacji obiektów nieznanych (tzn. bez modelu komputerowego), automatyczny wybór pozycji skanera 3D umożliwiający efektywny pomiar kształtu powierzchni jest utrudniony ze względu na małą wielkość objętości roboczej. Większość  algorytmów pozycjonowania opracowana została dla sytuacji kiedy objętość ta jest porównywalna z gabarytami obiektu. Z tego względu większość pomiarów wysokorozdzielczych odbywa się w trybie półautomatycznym, gdzie kierunki pomiarowe wyznacza doświadczony operator. Jest to proces czasochłonny i kosztowny. Opracowana w ramach tego grantu metoda hybrydowa pozwala na w pełni automatyczny pomiar różnorodnych obiektów, dzięki czemu proces ich digitalizacji może przebiegać szybciej (około 30 – 40%) i, co ważniejsze, bez potrzeby sterowania przez doświadczonego operatora. Konieczność wyposażenia systemu mierzącego w drugą głowicę o dużej objętości pomiarowej podnosi niestety koszt stanowiska pomiarowego, niemniej jednak długofalowe oszczędności wynikające z optymalizacji procesu digitalizacji przeważają, szczególnie w przypadku programów masowej digitalizacji, które są coraz bardziej popularne. Prezentacja opracowanej metody i algorytmu wyznaczania kierunków pomiarowych w trybie wysokorozdzielczym pozwoli na ich popularyzację w różnych systemach pomiaru 3D w kraju i na świecie a co za tym idzie – wzrost masowej wysokorozdzielczej digitalizacji obiektów w takich zastosowaniach jak np. inżynieria odwrotna, produkcja części zamiennych dla unikatowych maszyn i urządzeń, dokumentacja zabytków itd. Dowodem na to może być chociażby zainteresowanie implementacją nowej metody w systemach automatycznej digitalizacji używanych w Laboratorium Digitalizacji 3D w Muzeum Pałacu Króla Jana III w Wilanowie. Pracownia ta wykonuje aktualnie masową cyfryzację bogatej kolekcji biskwitów używając głowic pomiarowych o rozdzielczościach od 2500 punktów / mm² do 10000 punktów / mm².