Đếm bông lúa mì bằng cách phân đoạn K-means clustering và mạng nơ-ron tích chập

Xin Xu1, Haiyang Li1, Fei Yin1, Lei Xi1, Hui Qiao1, Zhaowu Ma1, Shuaijie Shen1, Binchao Jiang1, Xinming Ma1
1Henan Agricultural University, Zhengzhou, 450002, China

Tóm tắt

Tóm tắt Thông tin nền

Năng suất lúa mì bị ảnh hưởng bởi số lượng bông trên mỗi đơn vị diện tích, và phương pháp đếm thủ công từ lâu đã được sử dụng để ước lượng năng suất lúa mì. Để hiện thực hóa việc đếm bông lúa mì nhanh chóng và chính xác, phương pháp phân cụm K-means đã được áp dụng cho việc phân đoạn tự động hình ảnh bông lúa mì được ghi lại bằng các thiết bị cầm tay. Tập dữ liệu phân đoạn được xây dựng bằng cách tạo bốn thể loại nhãn hình ảnh: không phải bông lúa mì, một bông lúa mì, hai bông lúa mì và ba bông lúa mì, sau đó đã được đưa vào mô hình mạng nơ-ron tích chập (CNN) để đào tạo và kiểm tra nhằm giảm độ phức tạp của mô hình.

Kết quả

Độ chính xác nhận diện của không phải bông lúa mì, một bông lúa mì, hai bông lúa mì và ba bông lúa mì lần lượt là 99.8%, 97.5%, 98.07% và 98.5%. Mô hình R2 đạt 0.96, sai số bình phương gốc trung bình (RMSE) là 10.84 bông, điểm số F1 vi mô và F1 vĩ mô đều đạt 98.47%, và hiệu suất tốt nhất được quan sát thấy trong giai đoạn căng hạt cuối (R2 = 0.99, RMSE = 3.24 bông). Mô hình cũng có thể được áp dụng cho nền tảng UAV (R2 = 0.97, RMSE = 9.47 bông).

Kết luận

Việc phân loại hình ảnh đã phân đoạn thay vì nhận diện mục tiêu không chỉ giảm khối lượng công việc ghi chú thủ công mà còn cải thiện đáng kể hiệu quả và độ chính xác của việc đếm bông lúa mì, từ đó đáp ứng yêu cầu ước lượng năng suất lúa mì trong môi trường thực địa.

Từ khóa


Tài liệu tham khảo

Nerson H. Effects of population density and number of ears on wheat yield and its components. Field Crop Res. 1980;3:225–34.

Zhang HP, Turner NC, Poole ML, Asseng S. High ear number is key to achieving high wheat yields in the high-rainfall zone of south-western Australia. Aust J Agric Res. 2007;58:21–7.

Ferrante A, Cartelle J, Savin R, Slafer GA. Yield determination, interplay between major components and yield stability in a traditional and a contemporary wheat across a wide range of environments. Field Crop Res. 2017;203:114–27.

Li L, Zhang Q, Huang DF. A review of imaging techniques for plant phenotyping. Sensors. 2014;14:20078–11111.

Grift TE, Zhao W, Momin MA, Zhang Y, Bohn MO. Semi-automated, machine vision based maize kernel counting on the ear. Biosyst Eng. 2017;164:171–80.

Mochida K, Koda S, Inoue K, Hirayama T, Tanaka S, Nishii R, Melgani F. Computer vision-based phenotyping for improvement of plant productivity: a machine learning perspective. GigaScience. 2019;8:giy153.

Knecht AC, Campbell MT, Caprez A, Swanson DR, Walia H. Image Harvest: an open-source platform for high-throughput plant image processing and analysis. J Exp Bot. 2016;67:3587–99.

Pearline SA, Kumar VS, Harini S. A study on plant recognition using conventional image processing and deep learning approaches. J Intell Fuzzy Syst. 2019;36:1997–2004.

Perez-Rodriguez F, Gomez-Garcia E. Codelplant: Regression-based processing of RGB images for colour models in plant image segmentation. Comput Electron Agric. 2019;163:104880.

Cointault F, Guerin D, Guillemin JP, Chopinet B. In-field Triticum aestivum ear counting using colour-texture image analysis. N Z J Crop Hortic. 2008;36:117–30.

Fernandez-Gallego JA, Kefauver SC, Gutierrez NA, Nieto-Taladriz MT, Araus JL. Wheat ear counting in-field conditions: high throughput and low-cost approach using RGB images. Plant Methods. 2018;14:22.

Fernandez-Gallego JA, Buchaillot ML, Gracia-Romero A, Vatter T, Diaz OV, Gutierrez NA, Nieto-Taladriz MT, Kerfal S, Serret MD, Araus JL, Kefauver SC. Cereal crop ear counting in field conditions using zenithal RGB images. J Vis Exp. 2019;144:e59695.

LeCun Y, Bengio Y, Hinton G. Deep learning. Nature. 2015;521:436–44.

Jo JW, Hye LM, Hong-Ro L, Suk CY, Baek JH, Kim KH, Lee CW. LeafNet: plants segmentation using CNN. J Korea Soc Ind Inform Syst. 2019;24:1–8.

Zhu YX, Sun WM, Cao XY, Wang CY, Wu DY, Yang Y, Ye N. TA-CNN: two-way attention models in deep convolutional neural network for plant recognition. Neurocomputing. 2019;365:191–200.

Zhu YJ, Cao ZG, Lu H, Li YN, Xiao Y. In-field automatic observation of wheat heading stage using computer vision. Biosyst Eng. 2016;143:28–41.

Li QY, Cai JH, Berger B, Okamoto M, Miklavcic SJ. Detecting spikes of wheat plants using neural networks with Laws texture energy. Plant Methods. 2017;13:83.

Hasan MM, Chopin JP, Laga H, Miklavcic SJ. Detection and analysis of wheat spikes using convolutional neural networks. Plant Methods. 2018;14:100.

Madec S, Jin XL, Lu H, De Solan B, Liu SY, Duyme F, Heritier E, Baret F. Ear density estimation from high resolution RGB imagery using deep learning technique. Agric Forest Meteorol. 2019;264:225–34.

Hamuda E, Glavin M, Jones E. A survey of image processing techniques for plant extraction and segmentation in the field. Comput Electron Agric. 2016;125:184–99.

Wang ZB, Li HL, Zhu Y, Xu TF. Review of plant identification based on image processing. Arch Comput Method E. 2017;24:637–54.

Sadeghi-Tehran P, Virlet N, Ampe EM, Reyns P, Hawkesford MJ. DeepCount: in-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks. Front Plant Sci. 2019;10:1176.

Bradski G. The OpenCV library. Dr Dobbs J Softw Tools. 2000;120:122–5.

CIE. 015:2018 Colorimetry. 4th ed. Vienna: The International Commission on Illumination; 2018.

MacQueen J. Some Methods for Classification and Analysis of MultiVariate Observations. Proc Fifth Berkeley Symp Math Stat Probab. 1967;1:281–97.

Erisoglu M, Calis N, Sakallioglu S. A new algorithm for initial cluster centers in k-means algorithm. Pattern Recogn Lett. 2011;32:1701–5.

Reza MN, Na IS, Baek SW, Lee KH. Rice yield estimation based on K-means clustering with graph-cut segmentation using low-altitude UAV images. Biosyst Eng. 2019;177:109–21.

Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O, Blondel M, Prettenhofer P, Weiss R, Dubourg V, Vanderplas J, Passos A, Cournapeau D, Brucher M, Perrot M, Duchesnay E. Scikit-learn: machine learning in python. J Mach Learn Res. 2011;12(85):2825–30.

Wang X, Wang K, Lian S. A survey on face data augmentation for the training of deep neural networks. Neural Comput Appl. 2020;32:1–19.

Tang C, et al. PLANET: improved convolutional neural networks with image enhancement for image classification. Math Prob Eng. 2020;2020:1–10.

Fu Y, Li X, Ye Y. A multi-task learning model with adversarial data augmentation for classification of fine-grained images. Neurocomputing. 2020;377:122–9.

Deng L, Yu D. Deep learning: methods and applications. Found Trends Signal Process. 2014;7(3–4):197–387.

Kamilaris A, Prenafeta-Boldu FX. A review of the use of convolutional neural networks in agriculture. J Agric Sci. 2018;156:312–22.

Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Commun Acm. 2017;60:84–90.

Ma L, Liu Y, Zhang XL, Ye YX, Yin GF, Johnson BA. Deep learning in remote sensing applications: a meta-analysis and review. Isprs J Photogramm Remote Sens. 2019;152:166–77.

Yang Y. An evaluation of statistical approaches to text categorization. Inf Retr. 1999;1:69–90.

Menzies T, Dekhtyar A, Distefano J, Greenwald J. Problems with precision: a response to “comments on ‘data mining static code attributes to learn defect predictors’”. IEEE T Softw Eng. 2007;33:637–40.

Despotovic M, Nedic V, Despotovic D, Cvetanovic S. Evaluation of empirical models for predicting monthly mean horizontal diffuse solar radiation. Renew Sustain Energy Rev. 2016;56:246–60.

Alkhudaydi T, Reynolds D, Griffiths S, Zhou J, Iglesia B. An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK Bread Wheat. Plant Phenom. 2019;2019:1–17.

Zhou CQ, Liang D, Yang XD, Yang H, Yue JB, Yang GJ. Wheat ears counting in field conditions based on multi-feature optimization and TWSVM. Front Plant Sci. 2018;9:1024.