Khôi phục hình ảnh dựa trên nội dung thông qua một sơ đồ trích xuất đặc trưng cục bộ phân cấp

Multimedia Tools and Applications - Tập 77 - Trang 29099-29117 - 2018
Muwei Jian1, Yilong Yin2, Junyu Dong3, Kin-Man Lam4
1School of Computer Science and Technology, Shandong University of Finance and Economics, Jinan, China
2School of Software Engineering, Shandong University, Jinan, China
3Department of Computer Science and Technology, Ocean University of China, Qingdao, China
4Centre for Signal Processing, Department of Electronic and Information Engineering, The Hong Kong Polytechnic University, Kowloon, Hong Kong

Tóm tắt

Gần đây, với sự phát triển của các cảm biến camera khác nhau và mạng internet, khối lượng hình ảnh số đang trở nên rất lớn. Khôi phục hình ảnh dựa trên nội dung (CBIR), đặc biệt trong phân tích dữ liệu lớn trên mạng, đã thu hút được sự quan tâm rộng rãi. Hệ thống CBIR thường tìm kiếm những hình ảnh tương tự nhất với ví dụ truy vấn đã cho trong một dải rộng các hình ảnh ứng cử. Tuy nhiên, tâm lý con người cho thấy người dùng thường quan tâm nhiều hơn đến các khu vực mà họ chú ý và chỉ muốn khôi phục các hình ảnh chứa các khu vực liên quan, trong khi bỏ qua các khu vực hình ảnh không liên quan (chẳng hạn như các khu vực kết cấu hoặc nền). Hệ thống CBIR trước đây trong khôi phục hình ảnh theo sự quan tâm của người dùng thường yêu cầu phân đoạn phức tạp khu vực từ nền. Trong bài báo này, chúng tôi đề xuất một sơ đồ trích xuất đặc trưng cục bộ phân cấp mới cho CBIR, với việc tránh phân đoạn hình ảnh phức tạp. Trong hệ thống CBIR của chúng tôi, một phương pháp trích xuất mảnh định hướng dựa trên nhận thức và một thuật toán phát hiện mảnh đặc biệt cải tiến được đề xuất để trích xuất các đặc trưng cục bộ. Sau đó, các khoảng màu sắc và các đặc trưng kết cấu Gabor được sử dụng để lập chỉ mục cho các khu vực nổi bật. Nhiều thí nghiệm đã được thực hiện để đánh giá hiệu suất của sơ đồ đề xuất, và kết quả thí nghiệm cho thấy hệ thống CBIR được phát triển tạo ra các kết quả khôi phục hợp lý.

Từ khóa

#Khôi phục hình ảnh #CBIR #phân cấp #trích xuất đặc trưng #dữ liệu lớn

Tài liệu tham khảo

Alzu’bi A, Amira A, Ramzan N (2015) Semantic content-based image retrieval: a comprehensive study. J Vis Commun Image Represent 32:20–54 Carson C, Belongie S, Greenspan H (2002) Blobworld: image segmentation using expectation-maximization and its application to image querying. IEEE Trans PAMI 24(8):1026–1038 Corel: Image Library University of California, Berkely. http://calphotos.berkeley.edu/use.html#download Daubechies I (1988) Orthonormal bases of compactly supported wavelets. Commun Pure Appl Math 41:909–996 ElAlami ME (2014) A new matching strategy for content based image retrieval system. Appl Soft Comput 14:407–418 Elleuch N, Ben Ammar A, Alimi AM (2015) A generic framework for semantic video indexing based on visual concepts/contexts detection. Multimed Tools Appl 74(4):1397–1421 Ester M, Kriegel HP, Sander J, Xu X (1996) A density based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining. Portland: AAAI Press, pp. 226–231 Fauqueur J, Boujemaa N (2002) Region-based retrieval: coarse segmentation with fine signature, IEEE ICIP, Rochester, NY, USA Fauqueur J, Boujemaa N (2004) Region-based image retrieval: fast coarse segmentation and fine color description. J Vis Lang Comput 15:69–95 Gao L, Guo Z, Zhang H, Xu X, Shen HT (Sep. 2017) Video captioning with attention-based LSTM and semantic consistency. IEEE Trans Multimed 19(9):2045–2055 Gouet V, Boujemaa N (2001) Object-based queries using color points of interest. IEEE Workshop on Content-based Access of Image and Video Labraries, vol. 1, p 30–36 Ground Truth Database: Department of Computer Science and Engineering, University of Washington. http://www.cs.washington.edu/research/imagedatabase/groundtruth/_tars.for.download/ Jain AK, Farroknia F (1991) Unsupervised texture segmentation using Gabor filters. Pattern Recogn 24(12):1167–1186 Jian MW, Dong JY (2007) Wavelet-Based Salient Regions and their Spatial Distribution for Image Retrieval, IEEE International Conference on Multimedia & Expo., p 2194–2197, 2–5 July Jian M, Lam K-M (2014) Face-image retrieval based on singular values and potential-field representation. Signal Process 100:9–15 Jian M, Guo H, Liu L (2009) Texture classification using visual perceptual texture features and Gabor wavelet features. J Comput 4(8):763–770 Jian M, Dong J, Ma J (2011) Image retrieval using wavelet-based salient regions. Imaging Sci J 59(4):219–231 Jian M, Lam K-M, Dong J (2014) Facial-feature detection and localization based on a hierarchical scheme. Inf Sci 262:1–14 Jian M, Lam K-M, Dong J (2014) Illumination-insensitive texture discrimination based on illumination compensation and enhancement. Inf Sci 269:60–72 Jian M, Lam K-M, Dong J, Shen L (2015) Visual-patch- attention-aware saliency detection. IEEE Trans Cybern 45(8):1575–1586 Jiji GW, DuraiRaj PJ (2015) Content-based image retrieval techniques for the analysis of dermatological lesions using particle swarm optimization technique. Appl Soft Comput 30:650–662 Lan R, Zhou Y, Tang YY (2016) Quaternionic local ranking binary pattern: a local descriptor of color images. IEEE Trans Image Process 25(2):566–579 Lau HF, Levine MD (2002) Finding a small number of regions in an image using low-level features. Pattern Recogn 35(11):2323–2339 Liu G, Yang J (2013) Content-based image retrieval using color difference histogram. Pattern Recogn 46(1):188–198 Liu Y, Zhang D, Lu G, Ma WY (2007) A survey of content-based image retrieval with high-level semantics. Pattern Recogn 40(1):262–282 Liu F, Zhang D, Shen L (2015) Study on novel curvature features for 3D fingerprint recognition. Neurocomputing 168(1):599–608 Long F, Zhang HJ, Feng DD (2003) Fundamentals of content-based image retrieval. In: Feng D, Siu WC, Zhang HJ (eds) Multimedia information retrieval and management-technological fundamentals and applications. Springer, Berlin Mallat S (1989) A theory for multiresolution signal decomposition: the wavelet representation. IEEE Trans PAMI 11(7):674–693 McGill Calibrated Colour Image Database http://tabby.vision.mcgill.ca/html/browsedownload.html Muwei J, Dong J (2007) Combining color, texture and region with objects of user’s interest for content-based image retrieval. Eighth ACIS International Conference on SNPD, p 713–718 Pavlidis T (2008) Limitations of content-based image retrieval. ICPR. http://www.theopavlidis.com/technology/CBIR/PaperB/vers3.htm Sander J, Ester M, Kriegel HP et al (1998) Density-based clustering in spatial databases: the algorithm GDBSCAN and its applications. Data Min Knowl Disc 2(2):169–194 Sebe N, Lew MS (2003) Comparing salient points detectors. Pattern Recogn Lett 24(1–3):89–96 Sebe N, Tian Q, Loupias E, Lew MS, Huang TS (2001) Content-based Retrieval using Salient Point Techniques, IEEE Conference on Computer Vision and Pattern Recognition (CVPR'01), Technical Demo, Electronic Proceedings, Kauai, Hawaii Sebe N, Tian Q, Loupias E, Lew MS, Huang TS (2003) Evaluation of salient point techniques. J Image Vision Comput 21(13–14):1087–1095 Shen L, Bai L (2008) 3D Gabor wavelets for evaluating SPM normalization algorithm. Med Image Anal 12(3):375–383 SIMPLIcity Image Database: http://wang.ist.psu.edu/docs/related/ J. Song, Lianli Gao, Xiaofeng Zhu, Nicu Sebe (2017) Quantization based hashing: a general framework for scalable image and video retrieval. Pattern Recogn Song J, He T, Gao L, Xu X, Shen H (2018) Deep region hashing for efficient large-scale instance search from images. AAAI Sudhakar MS, Bagan KB (2014) An effective biomedical image retrieval framework in a fuzzy feature space employing phase congruency and GeoSOM. Appl Soft Comput 22:492–503 Taylor JR (1997) An introduction to error analysis, 2nd edn. University Science Books, Sausolito, California Tian Q, Sebe N, Loupias E, Lew MS, Huang TS (2001) Image retrieval using wavelet-based salient points. J Electron Imaging 835–849 Tsai HH, Chang BM, Liou SH (2014) Rotation-invariant texture image retrieval using particle swarm optimization and support vector regression. Appl Soft Comput 17:127–139 Vieux R, Benois-Pineau J, Domenger J-P (2012) Content based image retrieval using bag-of-regions, 18th International Conference, MMM 2012, Klagenfurt, Austria, January 4–6, pp. 507–517 Walia E, Pal A (2014) Fusion framework for effective color image retrieval. J Vis Commun Image Represent 25(6):1335–1348 Wang Q, Yuan Y, Yan P, Li X (2013) Visual saliency by selective contrast. IEEE Trans Circ Syst Vid Technol 23(7):1150–1155 Wang Q, Yuan Y, Yan P, Li X (2013) Saliency detection by multiple-instance learning. IEEE Trans Cybern 43(2):660–672 Wang Q, Wan J, Yuan Y (2018) Locality constraint distance metric learning for traffic congestion detection. Pattern Recogn 75:272–281 Wang X, Gao L, Wang P, Sun X, Liu X (2018) Two-stream 3D convNet fusion for action recognition in videos with arbitrary size and length. IEEE Trans Multimed 20(3):634–644 Wang J, Zhang T, Song J, Sebe N, Shen H (2018) A survey on learning to hash. IEEE Trans Pattern Anal Mach Intell 40(4):769–790 Wang Q, Wan J, Yuan Y Deep metric learning for crowdedness regression. IEEE Trans. Circ Syst Vid Technol. https://doi.org/10.1109/TCSVT.2017.2703920 Xu Y-Y (2016) Multiple-instance learning based decision neural networks for image retrieval and classification. Neurocomputing 171:826–836 Yang M, Zhu P, Liu F, Shen L (2015) Joint representation and pattern learning for robust face recognition. Neurocomputing 168(30):70–80 Zhu Z, Jia S, He S, Sun Y, Ji Z, Shen L (2015) Three-dimensional Gabor feature extraction for hyperspectral imagery classification using a memetic framework. Inf Sci 298(1):274–287 Zhu Y, Jiang J, Han W, Ding Y, Tian Q (2017) Interpretation of users’ feedback via swarmed particles for content-based image retrieval. Inf Sci 375:246–257