从麦田图像中检测和表征穗子对于精确农业的小麦生长监测至关重要。随着各种技术的发展，基于深度学习的方法已经显著地提高了小麦穗的检测性能。然而，由于田间小麦高穗遮挡和复杂背景会导致错检和漏检的问题，在无人机图像中检测小的和重叠的小麦穗仍具有挑战性。本文提出了一种用于定向小尺寸小麦穗检测的深度学习方法（OSWSDet）。与经典的小麦穗粒检测方法不同，OSWSDet通过集成圆形平滑标签（CSL）和微尺度检测层，将小麦穗粒的方向引入YOLO框架。这些改进提高了检测小尺寸麦穗的能力，防止了麦穗检测错误。实验结果表明，OSWSDet优于经典的麦穗检测方法，平均精度（AP）为90.5%。OSWSDet能够准确地检测出具有复杂田间背景的无人机图像中的麦穗，为今后田间小麦表型监测提供了技术参考。
图1 实验地点和无人机的麦穗图像。(a)清晰的图像，(b)模糊的图像，(c)人工标注的图像。
图2 OSWSDet 的总体框架。红色标签是OSWSDet中提出的改进，包括 CSL（圆形平滑标签）、微尺度检测层、基于 CIoU（Complete Intersection over Union）和 RNMS（Rotation Non-Maximum Suppression）的优化定位损失。
图3 据增强：（a）原始图像，（b）旋转90°，（c）旋转180°，（d）旋转270°，（e）垂直翻转，（f）水平翻转，（g）和（h）亮度平衡。
图4 两个定向检测框的 WIoU 计算。左图显示了小麦穗的定向检测框，右边的6幅图像显示了两个重叠框之间重叠区域的形状。根据形状的不同，两个重叠框有6种不同类型的黄色相交图，可以用三角形的面积来计算WIoU：（a）相交图是三角形，（b）相交图是四边形，（c）相交图是五边形，（d）相交图是六边形，（e）相交图是七边形，（f）相交图是八边形。
图5 所提方法和其他最先进方法的小麦穗子检测的精确性和召回率曲线。
图6图像上标注的真实穗子数量与Faster RCNN、SSD、standard YOLOv5、standard YOLOv5with micro-sclae layer、standard YOLOv5with micro-sclae layer and CIoU以及OSWSDet估计的穗子数量的比较。
图7 角度等级的小麦穗数从0到179，具有100个以上小麦穗的类标有特定编号。
图8使用OSWSDet（a）和标准YOLOv5（b）的检测结果。红色边框代表检测结果。
图9使用CSL（a）和无CSL（b）角度分类的模型检测结果。红色边框表示检测结果。
图10 不同大小的穗子的数量分布。
图11在训练过程中，用微尺度检测层（a）、小尺度检测层（b）、中尺度检测层（c）和大尺度检测层（d）实现的正样本边界框和麦穗边界框。正样本边界框（浅蓝色）。小麦穗的边界框（粉红色）。
图12使用CIoU进行定位损失的模型的检测结果（a）和使用IoU进行定位损失的检测结果（b）。红色边框代表检测结果。
来源
Zhao J, Yan J, Xue T, et al. A deep learning method for oriented and small wheat spike detection (OSWSDet) in UAV images[J]. Computers and Electronics in Agriculture, 2022, 198: 107087.https://doi.org/10.1016/j.compag.2022.107087