تشخیص قابلیت برداشت زعفران با استفاده از شبکه‌های عصبی عمیق برای برداشت به‌موقع

کیفیت کلاله زعفران به زمان برداشت بستگی دارد و درست پیش از شکوفایی گل به اوج خود می‌رسد. این مقاله به مسئله برداشت زعفران به روش «درست‌به‌موقع» (JIT) یا همان برداشت در زمان دستیابی به حداکثر کیفیت می‌پردازد. برداشت JIT مستلزم تشخیص غنچه‌ها و گل‌های قابل‌برداشت از غنچه‌های نارس است. پژوهش‌های کنونی در زمینه تشخیص زعفران، تنها بر گل‌های بازشده تمرکز دارند و قادر به شناسایی غنچه‌های قابل‌برداشت نیستند. در اینجا راهکاری برای مسئله برداشت JIT زعفران پیشنهاد شده است که از شبکه‌های عصبی عمیق (DNN) برای شناسایی گل‌ها و غنچه‌های قابل‌برداشت و تمایز آن‌ها از غنچه‌های نارس استفاده می‌کند. مدل تشخیص مذکور با استفاده از مجموعه‌داده‌ای شامل ۳۵،۴۷۲ تصویر از زعفران که در اکتبر ۲۰۲۳ گردآوری شده بود، آموزش دید. این مجموعه‌داده ۱۰ برابر بزرگ‌تر از هر پایگاه‌داده تصویری دیگری است که تاکنون از زعفران تهیه شده و تنها مجموعه‌ای است که مراحل ظهور، رشد و گلدهی زعفران را به‌طور کامل پوشش می‌دهد. گل‌ها و غنچه‌های زعفران با برچسب‌های «آماده‌برای‌برداشت» (Ready_To_Harvest)، «نامآماده‌برای‌برداشت» (Not_Ready_To_Harvest) یا «نامطمئن» (Not_Sure) مشخص شدند. این مدل در شناسایی و تفکیک زعفران قابل‌برداشت از زعفران نارس به دقت متوسط ​​(Average Precision) ۹۳٫۱ درصد دست یافت و بدین ترتیب، نخستین مدل تشخیصی است که توانایی شناسایی غنچه‌های قابل‌برداشت زعفران را دارد. این مدل می‌تواند در ربات‌های برداشت خودکار که وظیفه پایش مزرعه و چیدن تک‌تک گل‌ها در زمان اوج کیفیت را بر عهده دارند، به کار گرفته شود. همچنین، بحثی جامع پیرامون محدودیت‌های روش‌های گردآوری داده، ساختاردهی مجموعه‌داده و استفاده از داده‌های برچسب‌گذاری‌شده توسط انسان در آموزش مدل ارائه شده است که همگی از مسائل کلیدی در حوزه اتوماسیون کشاورزی محسوب می‌شوند.

Saffron stigma quality is dependent on harvest timing and is at its peak immediately prior to the flower’s bloom. This paper introduces the problem of Just-In-Time (JIT) saffron harvesting, or harvesting saffron at its maximum quality. JIT harvesting requires distinguishing harvestable saffron buds and flowers from immature buds. Current research on saffron detection only focuses on opened flowers and cannot detect harvestable flower buds. A solution to the JIT saffron harvesting problem is proposed that uses deep neural networks (DNNs) to detect harvestable saffron flowers and flower buds and distinguish them from immature flower buds. The detection model was trained on a dataset consisting of 35,472 images of saffron collected in October 2023. This dataset is 10 times larger than any other saffron image database collected to date, and the only one to include saffron throughout its emergence, growth, and flowering stages. Saffron flowers and buds were labelled as Ready_To_Harvest, Not_Ready_To_Harvest, or Not Sure. The detection model achieved an Average Precision of 93.1% in identifying and distinguishing harvestable saffron from immature saffron, making it the first detection model capable of identifying harvestable saffron buds. This model can be used on an autonomous harvesting robot that monitors a field and picks individual flowers at their maximum quality. In-depth discussion is given on the limitations of data collection methods, dataset structuring, and using human-labelled data in model training, which are key issues in agricultural automation.