Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Chuyển đổi hình ảnh nhiệt từ đêm sang ngày để nhận diện địa điểm sâu
Tóm tắt
Nhận diện địa điểm (PR) là một nhiệm vụ cơ bản trong các hệ thống robot tự động, vẫn đang được nghiên cứu tích cực. Trong những năm gần đây, các phương pháp nhận diện địa điểm dựa trên CNN đã vượt qua các phương pháp truyền thống. Tuy nhiên, nhận diện địa điểm trong miền hình ảnh hồng ngoại nhiệt (TIR) đã cho thấy hiệu suất kém khi áp dụng cho cả các phương pháp truyền thống và dựa trên CNN do sự biến đổi về hình dạng của cùng một địa điểm xuyên suốt cả ngày do sự khác biệt về nhiệt độ. Trong bài báo này, chúng tôi đề xuất một mô hình chuyển đổi hình ảnh nhiệt từ ban đêm sang ban ngày dựa trên GAN, mô hình này chuyển đổi các hình ảnh nhiệt được ghi lại vào các thời điểm khác nhau trong ngày thành những hình ảnh nhất quán về độ tương phản và giữ gìn được chi tiết, từ đó đạt được các biểu diễn hình ảnh nhiệt không phụ thuộc thời gian. Bằng cách áp dụng các mô hình dựa trên GAN của chúng tôi vào các hình ảnh nhiệt đầu vào cho các nhiệm vụ nhận diện địa điểm, chúng tôi đã đạt được độ chính xác top-1 là 80,69% trên tập dữ liệu STHeReO, vượt trội hơn so với các phương pháp cơ bản khác.
Từ khóa
#Nhận diện địa điểm #Hình ảnh nhiệt #Hồng ngoại nhiệt #Mô hình GAN #Chuyển đổi hình ảnh #Robot tự độngTài liệu tham khảo
Kim G, Park B, Kim A (2019) 1-day learning, 1-year localization: long-term lidar localization using scan context image. IEEE Robot Autom Lett 4(2):1948–1955
Lowry S, Sünderhauf N, Newman P, Leonard JJ, Cox D, Corke P, Milford MJ (2015) Visual place recognition: a survey. IEEE Trans Robot 32(1):1–19
Barros T, Pereira R, Garrote L, Premebida C, Nunes UJ (2021) Place recognition survey: an update on deep learning approaches. arXiv preprint arXiv:2106.10458,
Kim G, Choi S, Kim A (2021) Scan context++: structural place recognition robust to rotation and lateral variations in urban environments. IEEE Trans Rob 38(3):1856–1874
Cait K, Wang B, Lu CX (2022) Autoplace: Robust place recognition with single-chip automotive radar. In: 2022 International conference on robotics and automation (ICRA) pp 2222–2228. IEEE
Muhamad Risqi U, Saputra PPB, de Gusmao C, Xiaoxuan L, Almalioglu Y, Rosa S, Chen C, Wahlström J, Wang W, Markham A, Trigoni N (2020) Deeptio: a deep thermal-inertial odometry with visual hallucination. IEEE Rob Autom Lett 5(2):1672–1679
Wang Yu, Haoyao C, Yufeng L, Shiwu Z (2023) Edge-based monocular thermal-inertial odometry in visually degraded environments. IEEE Rob Autom Lett 8(4):2078–2085
Khattak S, Papachristos C, Alexis K (2019) Keyframe-based direct thermal–inertial odometry. In: 2019 International conference on robotics and automation (ICRA), pp 3563–3569. IEEE
Saputra MRU, Lu CX, de Gusmao PPB, Wang B, Markham A, Trigoni N (2021) Graph-based thermal–inertial SLAM with probabilistic neural networks. IEEE Trans Rob 38(3):1875–1893
Jiang J, Chen X, Dai W, Gao Z, Zhang Y (2022) Thermal-inertial SLAM for the environments with challenging illumination. IEEE Rob Autom Lett 7(4):8767–8774
Luo F, Li Y, Zeng G, Peng P, Wang G, Li Y (2022) Thermal infrared image colorization for nighttime driving scenes with top-down guided attention. IEEE Trans Intell Transp Syst 23(9):15808–15823
Young-Sik S, Ayoung K (2019) Sparse depth enhanced direct thermal-infrared slam beyond the visible spectrum. IEEE Rob Autom Lett 4(3):2918–2925. https://doi.org/10.1109/LRA.2019.2923381
Ian G, Jean P-A, Mehdi M, Bing X, David W-F, Sherjil O, Aaron C, Yoshua B (2020) Generative adversarial networks. Commun ACM 63(11):139–144
Lin C-T, Huang S-W, Yen-Yi W, Lai S-H (2020) Gan-based day-to-night image style transfer for nighttime vehicle detection. IEEE Trans Intell Transp Syst 22(2):951–963
Li X, Guo X, Zhang (2022) N2d-gan: a night-to-day image-to-image translator. In 2022 IEEE international conference on multimedia and expo (ICME), pp 1–6. IEEE
Cho YSY, Jeong J, Dejavugan AK (2018) Multi-temporal image translation toward long-term robot autonomy. In: ICRA workshop on long-term autonomy and deployment of intelligent robots in the real-world, Brisbane
Anoosheh A, Sattler T, Timofte R, Pollefeys M, Van Gool L (2019) Night-to-day image translation for retrieval-based localization. In 2019 International conference on robotics and automation (ICRA), pp 5958–5964. IEEE
Zhu J-Y, Park T, Isola P, Efros AA (2017a) Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the IEEE international conference on computer vision, pp 2223–2232
Park T, Efros AA, Zhang R, Zhu J-Y (2020) Contrastive learning for unpaired image-to-image translation. In European conference on computer vision, pp 319–345. Springer
Gálvez-López D, Tardos JD (2012) Bags of binary words for fast place recognition in image sequences. IEEE Trans Rob 28(5):1188–1197
Rosten E, Drummond T (2006) Machine learning for high-speed corner detection. In: European conference on computer vision, pp 430–443. Springer
Michael C, Vincent L, Mustafa O, Tomasz T, Christoph S, Pascal F (2011) Brief: Computing a local binary descriptor very fast. IEEE Trans Pattern Anal Mach Intell 34(7):1281–1298
Arandjelovic R, Gronat P, Torii A, Pajdla T, Sivic J (2016) Netvlad: Cnn architecture for weakly supervised place recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp 5297–5307
Zhu J-Y, Park T, Isola P, Efros AA (2017b) Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the IEEE international conference on computer vision, pp 2223–2232
Huang X, Belongie S (2017) Arbitrary style transfer in real-time with adaptive instance normalization. In: Proceedings of the IEEE international conference on computer vision, pp 1501–1510
Younggun C, Hyesu J, Ramavtar M, Gaurav P, Ayoung K (2020) Underwater image dehazing via unpaired image-to-image translation. Int J Control Autom Syst 18(3):605–614
Huang X, Liu M-Y, Belongie S, Kautz J (2018) Multimodal unsupervised image-to-image translation. In: Proceedings of the European conference on computer vision (ECCV), pp 172–189
Hwang S, Park J, Kim N, Choi Y, Kweon IS (2015) Multispectral pedestrian detection: Benchmark dataset and baseline. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 1037–1045
Yun S, Jung M, Kim J, Jung S, Cho Y, Jeon M-H, Kim G, Kim A (2022) Sthereo: Stereo thermal dataset for research in odometry and mapping. In: 2022 IEEE/RSJ International conference on intelligent robots and systems (IROS), pp 3857–3864. IEEE
He K, Zhang X, Ren S, Sun J (2016) Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition, pp 770–778
Demir U, Unal G (2018) Patch-based image inpainting with generative adversarial networks. arXiv preprint arXiv:1803.07422