PT-Herb: شبکه‌ای با تنظیم پرامپت و یادگیری تقابلی تطبیقی ​​برای تشخیص گیاهان دارویی چینی با توزیع دم‌بلند (Long-tailed)

توزیع داده‌های دنباله‌دار، چالش مهمی را در طبقه‌بندی تصاویر ریزدانه، به‌ویژه برای تشخیص گیاهان دارویی طب سنتی چینی (TCM)، ایجاد می‌کند، که در آن دسته‌های سر غالب هستند و دسته‌های دم از کمبود شدید داده‌ها رنج می‌برند. برای پرداختن به این موضوع، ما PT-Herb را معرفی می‌کنیم، یک چارچوب تشخیص سریع جدید که شامل یادگیری تطبیقی متعادل برای بهبود عملکرد دسته دم است. PT-Herb از یک ماژول تنظیم سریع سبک وزن استفاده می‌کند که یادگیری ویژگی‌های ریزدانه را با وارد کردن دستورات قابل یادگیری در حالی که ستون فقرات را ثابت نگه می‌دارد، افزایش می‌دهد. علاوه بر این، ما یک کاهش کنتراست متعادل تطبیقی پیشنهاد می‌کنیم که تسلط دسته سر را از طریق میانگین‌گیری آگاه از دسته، افزایش متمرکز بر دم و وزن‌دهی پویا کاهش می‌دهد. برای سنجش این کار، ما Herb-LT را می‌سازیم، یک مجموعه داده تصویر گیاهی TCM دنباله‌دار در مقیاس بزرگ که شامل بیش از 13000 تصویر در 180 دسته، از جمله گیاهان نادر و ارزشمند مانند Cervi Cornu Pantotrichum (مخملی شاخ گوزن) و Crocus sativus (زعفران) است. نتایج آزمایش روی Herb-LT نشان می‌دهد که PT-Herb به دقت ۸۹.۹۰٪ دست می‌یابد که به طور قابل توجهی از خطوط پایه قوی پیشی می‌گیرد و به دستاوردهای قابل توجهی در تشخیص دسته دم دست دست می‌یابد. این نتایج، اثربخشی تنظیم سریع و یادگیری مقابله‌ای متعادل را در طبقه‌بندی بصری ریزدانه با دم بلند برجسته می‌کند.

Long-tailed data distributions present a significant challenge in fine-grained image classification, particularly for Traditional Chinese Medicine (TCM) herb recognition, where head categories dominate and tail categories suffer from severe data scarcity. To address this, we introduce PT-Herb, a novel prompt-tuned recognition framework that incorporates adaptive balanced contrastive learning to improve tail class performance. PT-Herb employs a lightweight prompt tuning module that enhances fine-grained feature learning by inserting learnable prompts while keeping the backbone frozen. Furthermore, we propose an adaptive balanced contrastive loss that alleviates head-class dominance through category-aware averaging, tail-focused augmentation, and dynamic weighting. To benchmark this task, we construct Herb-LT, a large-scale long-tailed TCM herb image dataset consisting of over 13,000 images spanning 180 categories, including rare and valuable herbs such as Cervi Cornu Pantotrichum (deer antler velvet) and Crocus sativus (saffron). Experimental results on Herb-LT demonstrate that PT-Herb achieves a accuracy of 89.90%, significantly outperforming strong baselines and achieving substantial gains in tail category recognition. These results highlight the effectiveness of prompt tuning and balanced contrastive learning in long-tailed fine-grained visual classification.