Studentská grantová soutěž

Paralelní architektury a algoritmy pro zpracování obrazu V

SP2024/043

Krumnikl Michal Mgr. Ing., Ph.D.

01. 01. 2024 - 31. 12. 2024

Projekt s názvem "Paralelní architektury a algoritmy pro zpracování obrazu IV" navazuje na předchozí projekty, které se soustředily na hledání nových algoritmů pro zpracování obrazových, hloubkových a lidarových dat, zejména v oblasti detekce objektů, segmentace obrazu a vizualizace 3D dat s využitím prvků virtuální a rozšířené reality. V rámci projektu se zkoumají možnosti paralelizace vyvíjených algoritmů. Toto zkoumání je zaměřeno na dvě hlavní oblasti: využití grafických procesorových jednotek (GPU) v pracovních stanicích a možnosti mobilních a embedded platforem, které mohou být umístěny přímo v místě zpracování dat, i když nemají výkon pracovních stanic. Kromě metod založených na matematických základech, jako jsou například grafové řezy a aplikace difuzních procesů, se tým řešitelů také zaměřuje na aplikace a výzkum hlubokých neuronových sítí. Stejně jako v předchozích projektech se věnuje pozornost i aplikačnímu potenciálu nových algoritmů. Prioritou je vývoj algoritmů vhodných pro aplikace, které jsou prakticky relevantní pro fakultu, jako jsou průmyslové aplikace, aplikace v inteligentních systémech řízení dopravy (např. detekce a registrace objektů, sledování trajektorií, hodnocení rizikového chování) a aplikace pro rozšířenou realitu. V rámci projektu je klíčovou částí prezentace dosažených výsledků na mezinárodně uznávaných fórech specializujících se na tuto problematiku. S ohledem na praktické využití získaných poznatků jsou zkoumané oblasti považovány za perspektivní, což podporuje nárůst poptávky po výsledcích v této oblasti. Řešitelský tým má v uvedených oblastech tradici a úspěchy při získávání průmyslových projektů. Projekt se skládá z následujících částí: 1. Metody segmentace a registrace obrazu na paralelních architekturách. 2. Algoritmy pro zpracování obrazu a vizualizaci 3D dat. 3. Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). 4. Využití dalších rozhraní kamerových embedded systémů Část 1: Metody segmentace a registrace obrazu na paralelních architekturách. Segmentace představuje jednu z klíčových operací při analýze obrazu, a její úspěšnost má zásadní vliv na celkový průběh procesu rozpoznání. Proces segmentace obrazů reálného světa je náročný, a s rostoucím množstvím a rozlišením obrazů procházejících segmentačními algoritmy neustále pokračuje ve vývoji. Kromě tradiční segmentace obrazů se významně rozšiřuje segmentace hloubkových dat získaných z různých RGBD senzorů, jako jsou například Kinect nebo RealSense. Tyto senzory se stávají součástí mobilních zařízení, což klade nové výzvy na procesory mobilních telefonů. Projekt se proto zaměřuje i na optimalizace specifické pro mobilní platformy. V rámci našeho výzkumu zkoumáme techniky segmentace založené na měření vzdálenosti v obrazech. Jedním z našich dosavadních výsledků je modifikace difuzní vzdálenosti, která vychází ze spektra matice popisující vztah mezi jasy jednotlivých pixelů v obraze. Tato metoda, i když výpočetně náročná, poskytuje zajímavé výsledky a je aktuálně na špici současného poznání. Další metodou, kterou jsme publikovali, je tzv. k-max vzdálenost, modifikace klasické geodetické vzdálenosti. Tato metoda dokáže částečně eliminovat problémy s měřením geodetické vzdálenosti v obrazech obsahujících šum tím, že definuje nejkratší cestu mezi body grafu pouze nejvyššími váhami na dané cestě. V současné době začínají nabývat na významu i metody strojového učení, a v rámci projektu se zaměřujeme na využití konvolučních neuronových sítí pro segmentaci objektů v RGB a RGBD datech. Našimi cíli jsou zdokonalení a aplikace již publikovaných vzdáleností s ohledem na časovou a paměťovou optimalizaci a paralelizaci s využitím grafických procesorových jednotek (GPU). Dále se snažíme optimalizovat a hledat optimální struktury neuronových sítí, které umožní kvalitnější segmentaci obrazu bez nutnosti dodatečných a priori informací. Část 2: Algoritmy pro zpracování obrazu a vizualizaci 3D dat. V této části se zaměříme na dvě klíčové oblasti, kterým členové řešitelské skupiny věnovali aktivní pozornost v posledních měsících. První oblastí jsou algoritmy sledování a porozumění dopravní situaci. V rámci takového systému je nezbytné implementovat algoritmy pro detekci vozidel, čtení státních poznávacích značek a dalších identifikátorů používaných v dopravě. Tato oblast zahrnuje také identifikaci chodců a dalších překážek. Pro tuto detekci lze využít klasické obrazové přístupy s kamerami nebo kombinovat RGBD kamery a laserové senzory. V minulosti jsme v této oblasti publikovali řadu přístupů, zejména v oblasti detekce vozidel a chodců. V rámci projektu se budeme snažit tyto algoritmy dále zdokonalovat a především zrychlovat, aby bylo možné je úspěšně nasadit v reálných situacích. Autonomní jízda je v současnosti v automobilovém průmyslu spojována s analýzou obrazu, a tuto oblast také zkoumáme. Skupina se rovněž věnuje intenzivnímu zkoumání analýzy chování řidiče v automobilu. Tato analýza zahrnuje komplexní detekci únavy a sledování zdravotního stavu řidiče. Pro tuto detekci je nezbytné identifikovat obličej, oči a jejich části (duhovka, zornice, oční víčka), pozici rukou, ramen, nohou a natočení hlavy. Zajištění funkčnosti v podmínkách sníženého osvětlení je klíčovým požadavkem na tento detekční systém. V současné době zkoumáme využití RGBD senzorů (Kinect, RealSense, Orbbec) a hodnotíme jejich úspěšnost v této aplikaci. V rámci projektu se předpokládá aplikace algoritmů strojového učení, zejména hlubokých a konvolučních neuronových sítí. Část 3: Algoritmy pro zpracování hloubkových dat (LIDAR, RGBD kamery). V současné době mohou autonomní robotické systémy využívat cenově dostupné laserové skenery LIDAR a RGBD kamery (Kinect, RealSense, Orbbec, atp.) pro mapování pracovního prostoru a následně pro navigaci. Tato zařízení generují výstupy ve formě 3D mračen bodů nebo hloubkových map. Zpracování těchto informací vyžaduje segmentaci a filtrace změřené oblasti jako jednu z prvních fází zpracování. Na základě získaných informací se následně provádí spojování jednotlivých změřených oblastí do jednoho celku. Výsledné globální mračno bodů je pak možné zpracovávat do mapy pracovního prostoru. Segmentace mračen bodů se obvykle provádí při sledování prostoru před autonomním robotickým systémem. Aby bylo možné zpracovat mračna bodů okolo robotického systému, je třeba upravit tyto algoritmy segmentace nebo hledat a testovat nové metody segmentace. V dalším kroku je zapotřebí najít shody mezi segmenty sousedních mračen bodů. Pro tento účel je nutné navrhnout a otestovat nové algoritmy, které budou schopné s určitou mírou pravděpodobnosti tuto shodu identifikovat. Výsledné segmentace umožní přesnější navigaci autonomních vozidel v prostoru a rychlejší detekci překážek. Část 4: Využití dalších rozhraní kamerových embedded systémů Aktuálním výzkumným tématem je problematika odhadu počtu osob v dopravních prostředcích. K dosažení tohoto cíle se využívá škála různých přístupů, které kombinují informace z přepravních systémů, kamerových systémů, čidel umístěných na dveřích a v dalších částech vozidel, signalizačních dat mobilních sítí apod. Jednou z inovativních možností je pasivní analýza WiFi signálů a zpráv generovaných dopravními prostředky v rámci Intelligent Transportation System (ITS). Prostřednictvím analýzy provozu a korelace zachycených dat se vyvíjí algoritmus, který se snaží odhadnout počet zařízení (osob), které se nacházejí v dosahu přijímače a právě nastupují, vystupují nebo se přepravují sledovaným dopravním prostředkem. Tato inovativní metoda nejen umožňuje monitorování pohybu osob ve veřejné dopravě, ale také poskytuje možnost optimalizace služeb a zlepšení celkové efektivity dopravních systémů. Aktivní vývoj algoritmů v této oblasti představuje krok vpřed k preciznějšímu a efektivnějšímu sledování počtu cestujících v dopravních prostředcích. Vybrané publikace řešitelského týmu [1] Fusek R., Halman J., Sojka E., Gaura J. Detection of Dangerous Driver Health Problems Using HOG-Autoencoder. Lecture Notes on Data Engineering and Communications Technologies, 182, pp. 454 - 464, ISCV 2023, 2023 [2] Vašinková, M., Krumnikl, M., Mikulková, Z., Gajdoš, P., Kriegová, E. (2022). Simple Approach for Dynamics Evaluation of Scratch Wound Healing Assay. In: Barolli, L., Miwa, H. (eds) Advances in Intelligent Networking and Collaborative Systems. INCoS 2022. Lecture Notes in Networks and Systems, vol 527. Springer, Cham. [3] Fusek, R., Krömer, P. (2022). A Neural System for Acute Disease Detection from Facial Images. In: Barolli, L., Miwa, H. (eds) Advances in Intelligent Networking and Collaborative Systems. INCoS 2022. Lecture Notes in Networks and Systems, vol 527. Springer, Cham. [4] ŠIMONÍK, M.KRUMNIKL, M. Optimized hand pose estimation CrossInfoNet-based architecture for embedded devices. Machine Vision and Applications, 2022, roč. 33, č. 5, s. nestránkováno. [5] SEIDL, D., RUZIAK, I., JANCIKOVA, ZK., KOSTIAL, P. Sensitivity analysis: A tool for tailoring environmentally friendly materials. Expert Systems with Applications, 2022, roč. 208, č. 1 December 2022, 118039, s. nestránkováno. [6] Fusek, R., Sojka, E., Gaura, J., Halman, J. (2022). Driver State Detection from In-Car Camera Images. In: , et al. Advances in Visual Computing. ISVC 2022. Lecture Notes in Computer Science, vol 13599. Springer, Cham. [7] Valuchova, S., Mikulkova, P., Pecinkova, J., Klimova, J., Krumnikl, M., Bainar, P., Heckmann, S., Tomancak, P., Riha, K., Imaging plant germline differentiation within arabidopsis flowers by light sheet microscopy. eLife, 9, art. no. e52546 (2020) [8] Fusek, R., Dobeš, P., Pupil localization using self-organizing migrating algorithm. Lecture Notes in Electrical Engineering, 554, pp. 207-216 (2020). [9] Fusek, R., Dobeš, P.: Pupil Localization Using Self-organizing Migrating Algorithm. In AETA 2018 - Recent Advances in Electrical Engineering and Related Sciences: Theory and Application, pp. 207-216 (2019) [10] Fusek, R., Sojka, E. (2019). Iris Center Localization Using Geodesic Distance and CNN. In: Morales, A., Fierrez, J., Sánchez, J., Ribeiro, B. (eds) Pattern Recognition and Image Analysis. IbPRIA 2019. Lecture Notes in Computer Science(), vol 11868. Springer, Cham. [11] Kožusznik, J., Bainar, P., Klímová, J., Krumnikl, M., Moravec, P., Svatoň, V., Tomančák, P. SPIM workflow manager for HPC. Bioinformatics, 35 (19), pp. 3875-3876. (2019) [12] Moravec, P., Kožusznik, J., Krumnikl, M., Klímová, J. Performance of user data collections uploads to HPCaaS infrastructure. In Lecture Notes in Computer Science, 11703 LNCS, pp. 359-369, (2019) [13] Vantuch, T., Fulneček, J., Holuša, M., Mišák, S., Vaculík, J.: An examination of thermal features' relevance in the task of battery-fault detection. Applied Sciences (Switzerland), 8 (2), Article number 182 (2018) [14] Holý, B.: Registration of Lines in 2D LIDAR Scans via Functions of Angles. Engineering Applications of Artificial Intelligence, 67, pp. 436-442 (2018) [15] Holuša, M., Sojka, E.: On the Stability of the k-Max Distance to the Position of Seeds. In Proceedings of the 25th IEEE International Conference on Image Processing, ICIP 2018, pp. 261-265 (2018) [16] Krumnikl, M. and Bainar, P. and Klímová, J. and Kožusznik, J. and Moravec, P. and Svatoň, V. and Tomančák, P.: SciJava interface for parallel execution in the ImageJ ecosystem. In Proceedings of the 17th International Conference on Computer Information Systems and Industrial Management, CISIM 2018, pp. 288-299 (2018) [17] Fusek, R.: Pupil localization using geodesic distance. In Proceedings of the 13th International Symposium on Visual Computing, ISVC 2018, pp. 433-444 (2018)

Mgr. Ing. Michal Krumnikl, Ph.D.
Ing. Tomáš Fabián, Ph.D.
Ing. Radovan Fusek, Ph.D.
Ing. Jan Gaura, Ph.D.
Ing. Pavel Moravec, Ph.D.
Ing. Martin Němec, Ph.D.
Ing. Petr Olivka, Ph.D.
Ing. David Seidl, Ph.D.
doc. Dr. Ing. Eduard Sojka
Ing. Daniel Stříbný
Ing. Jakub Halman
Ing. Lukáš Klein
Bc. Pavlína Smolková
Bc. Matej Ďurana
Bc. Sofia Michailidu
Bc. Jan Pitala
Bc. Adam Donocik
Bc. Matěj Eliáš
Bc. Michal Maslík
Bc. Vojtěch Volný
Bc. Tomáš Blahuta
Bc. Matěj Frič
Bc. Martin Šmídl
Bc. Vojtěch Kříbek
Bc. Tomáš Janovský
Bc. Jakub Lhotský
Bc. Kristián Kopera
Bc. Daniel Dobeš
Bc. Patrik Riečičiar
Bc. Přemysl Bílek
Bc. Nikola Cudráková
Bc. Ondřej Fojtík
Bc. Filip Kostolný
Bc. Josef Kotlář
Bc. Magdaléna Majáková
Bc. Dalibor Marszalek
Bc. Martin Svoboda
Bc. Jiří Večerík
Bc. Daniel Závodský
Ing. Jan Gaura, Ph.D.

Výzkumný projekt se zaměřuje na vývoj algoritmů zpracování obrazu v průmyslových a dopravních systémech, přičemž klíčovým prvkem je využití hlubokých neuronových sítí. Rozšiřujeme možnosti kamerových embedded systémů o integrované zpracování dalších zdrojů dat. Součástí projektu je také vizualizace v prostředí virtuální a rozšířené reality.

Nově navrhujeme algoritmy pro segmentaci obrazu, s důrazem na metody založené na měření vzdáleností v obrazech. Zahrnujeme rovněž rozpoznání objektů pomocí LIDARových mračen a hloubkových map z RGBD kamer, a pracujeme na paralelních variantách výše uvedených algoritmů. Zaměřujeme se na optimalizaci těchto algoritmů pro paralelní architektury, konkrétně CUDA a OpenCL.

Co se týče výstupů projektu, plánujeme zaslat minimálně dvě publikace do časopisů s hodnocením v Q1/Q2. Dále budeme připravovat materiály pro další příspěvky do indexovaných časopisů na základě dosažených výsledků. Připravíme také publikace na konference, zejména s cílem propojení s vědeckou komunitou a navázání dalších spoluprací. Přesný počet konferenčních příspěvků nelze předem stanovit, neboť budou sloužit především k prezentaci prvotních výsledků experimentů a studijních výsledků studentů v doktorském studijním oboru.