Studentská grantová soutěž - předchozí roky

Paralelní architektury a algoritmy pro zpracování obrazu IV

SP2023/072

Fusek Radovan Ing., Ph.D.

01. 01. 2023 - 31. 12. 2023

Projekt „Paralelní architektury a algoritmy pro zpracování obrazu IV” je pokračováním předešlých projektů zaměřených na hledání nových, dobře paralelizovatelných algoritmů pro zpracování obrazových, hloubkových a lidarových dat, zejména v oblasti detekce objektů, segmentace obrazu a vizualizace 3D dat s využitím prvků virtuální a rozšířené reality. Zkoumány jsou možnosti paralelizace vyvíjených algoritmů, se zaměřením na dvě oblasti; jednak s ohledem na využití grafických procesorových jednotek (GPU) jednotlivých pracovních stanic a dále pak na možnosti mobilních a embedded platforem, které jsou lehce umístitelné přímo v místě zpracování dat, nicméně nedisponují výkonem pracovních stanic. Mimo metod založených na matematických základech, jako jsou například grafové řezy a aplikace difuzních procesů, se řešitelský tým zaměřuje i na aplikace a výzkum hlubokých neuronových sítí. Podobně jako v předešlých projektech bude brán zřetel také na aplikační způsobilost nových algoritmů. Bude preferován vývoj algoritmů použitelných v aplikacích, které jsou pro fakultu prakticky zajímavé, jako jsou například aplikace průmyslové, aplikace v inteligentních systémech řízení dopravy (např. čítání a registrace objektů, sledování trajektorií, vyhodnocování rizikového chování) a aplikace pro rozšířenou realitu. Nedílnou součástí projektu bude prezentace dosažených výsledků na světově uznávaných fórech zabývajících se danou problematikou. Také s ohledem na praktické využití nabytých poznatků, lze zkoumané oblasti považovat za perspektivní a naše zkušenost ukazuje prudký nárůst poptávky po výsledcích v této oblasti. V uvedených oblastech má řešitelský tým tradici a úspěchy v získávání průmyslových projektů. Projekt se skládá z následujících částí: 1. Metody segmentace a registrace obrazu na paralelních architekturách. 2. Algoritmy pro zpracování obrazu a vizualizaci 3D dat. 3. Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). 4. Aplikace virtuální a rozšířené reality Část 1: Metody segmentace a registrace obrazu na paralelních architekturách. Segmentace je jednou z prvních operací při analýze obrazu. Výsledky segmentace jsou zpracovávány v dalších krocích analýzy obrazu, a proto úspěšnost segmentace rozhoduje o úspěšnosti či neúspěšnosti celého procesu rozpoznání. Segmentace obrazů reálného světa v žádném případě není jednoduchou záležitostí a vývoj v této oblasti nelze považovat za ukončený. Množství a také velikost (rozlišení) obrazů procházejících segmentačními algoritmy stále narůstá. Kromě segmentace klasických obrazů se stává aktuálním také segmentace hloubkových dat získaných z různých RGBD senzorů, jenž zažívají v posledních letech rozmach (Kinect, RealSense). Senzory se stávají součástí mobilních zařízení a procesory mobilních telefonů se tak musí potýkat s novým druhem úloh. V projektu se tak nevyhneme optimalizacím určeným i přímo pro mobilní platformy. Pro oddělení jednotlivých segmentů se využívá řada různých technik. Předmětem našeho výzkumu byly techniky založené na měření vzdálenosti v obrazech. Mezi naše dosavadní publikované výsledky patří modifikace tzv. difuzní vzdálenosti. Tuto vzdálenost můžeme vypočítat ze spektra matice, která popisuje vztah mezi jasy jednotlivých pixelů v obraze. Daná metoda je sice výpočetně náročná, poskytuje však zajímavé výsledky, které jsou aktuálně na vrcholu současného poznání. Druhou naší publikovanou vzdáleností je tzv. k-max vzdálenost jako modifikace klasické geodetické vzdálenosti. Měření geodetické vzdálenosti, tj. nejkratší cesty mezi dvěma body v grafu, je problematické v obrazech obsahujících šum. Námi představená k-max vzdálenost dokáže tento nedostatek částečně potlačit tím, že nejkratší cestu mezi dvěma body grafu definuje pouze nejvyššími vahami na dané cestě. Kromě tradičních algoritmů se v současné době začínají čím dál tím více prosazovat i metody strojového učení. V rámci projektu se budeme zabývat využitím konvolučních neuronových sítí pro segmentaci objektů v RGB a RGBD datech. Cílem této části tak bude zdokonalování a aplikace již publikovaných vzdáleností, jako např. jejich časová a paměťová optimalizace a paralelizace s využitím grafických procesorových jednotek (GPU). Dalším cílem je optimalizace a hledání optimálních struktur neuronových sítí umožňujících kvalitnější segmentaci obrazu bez potřeby dodatečných a priori informací. Část 2: Algoritmy pro zpracování obrazu a vizualizaci 3D dat. V této části se zaměříme na dvě oblasti, které jsou v posledních měsících aktivně řešeny členy řešitelské skupiny. První oblastí jsou algoritmy sledování a porozumění dopravní situaci. V rámci takového systému je nutné aplikovat algoritmy pro detekci automobilů, čtení státních poznávacích značek nebo jiných identifikátorů užívaných v dopravě. Tato oblast zahrnuje také detekci chodců a jiných překážek. Pro takovou detekci je možné využít klasických obrazových přístupů za pomocí kamer nebo využít RGBD kamery a laserové senzory. V této oblasti jsme v minulosti publikovali celou řadu přístupů zejména pro detekci automobilů a chodců. V rámci projektu bude snaha tyto algoritmy dále vylepšovat a zejména urychlovat, tak aby bylo možné jejich nasazení v reálných situacích. V oblasti automobilového průmyslu v kombinaci s analýzou obrazu je v posledních letech velmi často zmiňována i autonomní jízda. Naše skupina se v posledních letech také intenzivně zabývá analýzou chování řidiče v automobilu. Tato analýza zahrnuje komplexní detekci únavy řidiče a jeho zdravotního stavu. Pro tuto detekci je nutné zajistit nalezení tváře, očí a jejich částí (duhovka, zornice, oční víčka), pozice rukou, ramen, nohou a natočení hlavy. Funkčnost za snížených světelných podmínek je jeden ze základních požadavků na takovýto detekční systém. Z toho důvodu aktuálně zkoumáme využití RGBD senzorů (Kinect, RealSense, Orbbec) a vyhodnocujeme jejich úspěšnost v takové aplikaci. V rámci projektu se předpokládá aplikace algoritmů strojového učení, především hlubokých a konvolučních neuronových sítí. Část 3: Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). V dnešní době mohou autonomní robotické systémy využívat pro mapování pracovního prostoru a následně pro navigaci cenově dostupné laserové skenery LIDAR a RGBD kamery (Kinect, RealSense, Orbbec, atp.). Výstupem těchto zařízení jsou 3D mračna bodů nebo hloubkové mapy. Zpracování těchto informací vyžaduje jako jednu z prvních fází zpracování provedení segmentace a filtrace změřené oblasti. Na základě získaných informací se pak následně provádí spojování jednotlivých změřených oblastí do jednoho celku. Výsledné globální mračno bodů je pak možné zpracovávat do mapy pracovního prostoru. Segmentace mračen bodů je dnes prováděna převážně při sledování prostoru před autonomním robotickým systémem. Pro zpracování mračen bodů obklopujících robotický systém je potřeba tyto algoritmy upravit, případně nalézt a vyzkoušet nové způsoby segmentace. V dalším kroku bude potřeba nacházet shody mezi segmenty sousedních mračen bodů a pro tyto účely bude potřeba navrhnout a vyzkoušet nové algoritmy, které budou schopné s jistou mírou pravděpodobnosti tuto shodu nacházet. Výsledné segmentace umožní například přesnější navigaci autonomních vozidel v prostoru a rychlejší detekci při výskytu překážky. Část 4: Aplikace virtuální a rozšířené reality Rozšířená a virtuální realita jsou stále častěji využívané technologie, které přináší spojení skutečného světa a jeho obrazu v zobrazovacím zařízení, se světem stvořený počítačem. Typickým představitelem využití těchto moderních technologií jsou různé typy interaktivních návodů a postupů, které jsou doplněné o související informace renderované počítačem. V uplynulých letech se studenti podílí na vytváření celé řady aplikací z této oblasti, např. virtuální modely částí elektráren či hradu Sovince umožňují uživatelům virtuálně navštívit místa běžně nepřístupná. V rozvoji těchto aplikací bychom rádi pokračovali a v rámci projektu se zaměřili na metody optimalizace modelů a využití moderních zobrazovacích metod. Cílové aplikace pak poběží nejen na specializovaném hardware ale i na běžných mobilních telefonech. Vybrané publikace řešitelského týmu [1] Vašinková, M., Krumnikl, M., Mikulková, Z., Gajdoš, P., Kriegová, E. (2022). Simple Approach for Dynamics Evaluation of Scratch Wound Healing Assay. In: Barolli, L., Miwa, H. (eds) Advances in Intelligent Networking and Collaborative Systems. INCoS 2022. Lecture Notes in Networks and Systems, vol 527. Springer, Cham. [2] Fusek, R., Krömer, P. (2022). A Neural System for Acute Disease Detection from Facial Images. In: Barolli, L., Miwa, H. (eds) Advances in Intelligent Networking and Collaborative Systems. INCoS 2022. Lecture Notes in Networks and Systems, vol 527. Springer, Cham. [3] ŠIMONÍK, M.KRUMNIKL, M. Optimized hand pose estimation CrossInfoNet-based architecture for embedded devices. Machine Vision and Applications, 2022, roč. 33, č. 5, s. nestránkováno. [4] SEIDL, D., RUZIAK, I., JANCIKOVA, ZK., KOSTIAL, P. Sensitivity analysis: A tool for tailoring environmentally friendly materials. Expert Systems with Applications, 2022, roč. 208, č. 1 December 2022, 118039, s. nestránkováno. [5] Fusek, R., Sojka, E., Gaura, J., Halman, J. (2022). Driver State Detection from In-Car Camera Images. In: , et al. Advances in Visual Computing. ISVC 2022. Lecture Notes in Computer Science, vol 13599. Springer, Cham. [6] Valuchova, S., Mikulkova, P., Pecinkova, J., Klimova, J., Krumnikl, M., Bainar, P., Heckmann, S., Tomancak, P., Riha, K., Imaging plant germline differentiation within arabidopsis flowers by light sheet microscopy. eLife, 9, art. no. e52546 (2020) [7] Fusek, R., Dobeš, P., Pupil localization using self-organizing migrating algorithm. Lecture Notes in Electrical Engineering, 554, pp. 207-216 (2020). [8] Fusek, R., Dobeš, P.: Pupil Localization Using Self-organizing Migrating Algorithm. In AETA 2018 - Recent Advances in Electrical Engineering and Related Sciences: Theory and Application, pp. 207-216 (2019) [9] Fusek, R., Sojka, E. (2019). Iris Center Localization Using Geodesic Distance and CNN. In: Morales, A., Fierrez, J., Sánchez, J., Ribeiro, B. (eds) Pattern Recognition and Image Analysis. IbPRIA 2019. Lecture Notes in Computer Science(), vol 11868. Springer, Cham. [10] Kožusznik, J., Bainar, P., Klímová, J., Krumnikl, M., Moravec, P., Svatoň, V., Tomančák, P. SPIM workflow manager for HPC. Bioinformatics, 35 (19), pp. 3875-3876. (2019) [11] Moravec, P., Kožusznik, J., Krumnikl, M., Klímová, J. Performance of user data collections uploads to HPCaaS infrastructure. In Lecture Notes in Computer Science, 11703 LNCS, pp. 359-369, (2019) [12] Vantuch, T., Fulneček, J., Holuša, M., Mišák, S., Vaculík, J.: An examination of thermal features' relevance in the task of battery-fault detection. Applied Sciences (Switzerland), 8 (2), Article number 182 (2018) [13] Holý, B.: Registration of Lines in 2D LIDAR Scans via Functions of Angles. Engineering Applications of Artificial Intelligence, 67, pp. 436-442 (2018) [14] Holuša, M., Sojka, E.: On the Stability of the k-Max Distance to the Position of Seeds. In Proceedings of the 25th IEEE International Conference on Image Processing, ICIP 2018, pp. 261-265 (2018) [15] Krumnikl, M. and Bainar, P. and Klímová, J. and Kožusznik, J. and Moravec, P. and Svatoň, V. and Tomančák, P.: SciJava interface for parallel execution in the ImageJ ecosystem. In Proceedings of the 17th International Conference on Computer Information Systems and Industrial Management, CISIM 2018, pp. 288-299 (2018) [16] Fusek, R.: Pupil localization using geodesic distance. In Proceedings of the 13th International Symposium on Visual Computing, ISVC 2018, pp. 433-444 (2018) [17] Vantuch, T., Gaura, J., Misak, S., Zelinka, I.: A complex network based classification of covered conductors faults detection. Advances in Intelligent Systems and Computing, 535, pp. 278-286 (2017) [18] Holuša, M., Sukhanov, A., Sojka, E.: Image segmentation based on solving the flow in the mesh with the connections of limited capacities. In Proceedings of the 14th International Conference on Image Analysis and Recognition, ICIAR 2017, pp. 163-170 (2017) [19] Holuša, M., Sojka, E.: The k-max distance in graphs and images. Pattern Recognition Letters, volume 98, pp. 103-109 (2017) [20] Moravec, P. and Krumnikl, M.: Developing countermeasures against cloning of identity tokens in legacy systems. In Proceedings of the 16th IFIP TC8 International Conference on Computer Information Systems and Industrial Management, CISIM 2017, pp. 672-684 (2017)

Ing. Radovan Fusek, Ph.D.
Mgr. Ing. Michal Krumnikl, Ph.D.
Ing. David Seidl, Ph.D.
Ing. Martin Němec, Ph.D.
Ing. Pavel Moravec, Ph.D.
Ing. Petr Olivka, Ph.D.
Ing. Tomáš Fabián, Ph.D.
Ing. Jan Gaura, Ph.D.
Ing. Radovan Fusek, Ph.D.
Ing. Daniel Stříbný
doc. Dr. Ing. Eduard Sojka
Bc. Vojtěch Maiwald
Bc. Ondřej Foukal
Bc. Radek Kopecký
Bc. Lukáš Moravec
Bc. Tomáš Staško
Ing. Jakub Výmola
Ing. Veronika Gromnicová
Bc. Tadeáš Popov
Bc. Milan Křivánek
Ing. Lukáš Hojdysz
Bc. Daniel Závodský
Bc. Dominik Endrych
Bc. Jiří Depčinský
Ing. Jakub Halman
Ing. Lukáš Klein
Bc. Ondřej Fojtík
Bc. Dalibor Marszalek
Bc. Bořek Tuleja
Bc. Josef Kotlář
Bc. Filip Kostolný
Bc. Jiří Večerík
Bc. Magdaléna Majáková
Bc. Martin Kubanda
Bc. Nikola Cudráková
Bc. Martin Svoboda
Bc. Přemysl Bílek
Mgr. Ing. Michal Krumnikl, Ph.D.
Ing. Jan Gaura, Ph.D.

Algoritmy zpracování obrazu v průmyslových a dopravních systémech s využitím hlubokých neuronových sítí. Vizualizace v prostředí virtuální a rozšířené reality. Nové algoritmy pro segmentaci obrazu, zejména algoritmy založené na měření vzdáleností v obrazech. Rozpoznání objektů s pomocí LIDARových mračen a hloubkové mapy z RGBD kamer, paralelní varianty výše uvedených algoritmů. Optimalizace algoritmů pro paralelní architektury (CUDA, OpenCL).
V rámci výstupu projektu plánujeme zaslat minimálně 2 publikace do časopisů s hodnocením v Q1/Q2 a dále budeme připravovat na základě dosažených výsledků materiály pro další příspěvky do indexovaných časopisů. Publikace na konferencích budeme připravovat zejména pro propojení s vědeckou komunitou a navázání dalších spoluprací. Jejich počet nelze přesně stanovit, neboť tyto budou sloužit zejména pro prezentaci prvotních výstupů experimentů a výsledků studia studentů v doktorském studijním oboru.