LOPD：基于域適應的低照度場景遮擋行人檢測模型
中文題目：LOPD：基于域適應的低照度場景遮擋行人檢測模型
論文題目：LOPD: A Low-illumination Scene Occluded Pedestrian Detection Model Based on Domain Adaptation
錄用期刊/會議：【International Joint Conference on Neural Networks 2025】 (CCF C類 會議)
作者列表：
1） 祝留宇 中國石油大學（北京）人工智能學院 計算機科學與技術專業(yè) 碩 23
2） 王智廣 中國石油大學（北京）人工智能學院 計算機科學與技術系教師
3） 侯永勝 中國石油大學（北京）人工智能學院 能源動力專業(yè) 博24
4） 劉志強 中國石油大學（北京）人工智能學院 計算機科學與技術專業(yè) 碩 23
5） 李 珅 中國石油大學（北京）人工智能學院 計算機技術專業(yè) 碩23
6） 李曉雪 中國石油大學（北京）人工智能學院 計算機科學與技術專業(yè) 碩 23
文章簡介:
近年來，在行人檢測領域，相關的模型和方法不斷被提出。但目前仍有兩個問題尚未被很好地解決，這兩個問題分別是低照度和遮擋。針對低照度遮擋復合場景下的行人檢測問題，本文開展了一系列研究工作。
摘要:
在行人檢測領域主要存在以下瓶頸：（1）行人檢測領域的開源數據集缺少低照度遮擋復合場景的數據集；（2）低照度圖片中存在高頻噪聲，這些高頻噪聲會降低模型檢測的準確率；（3）通用行人檢測方法的邊界框損失函數在遮擋場景中定位不夠準確；（4）傳統NMS算法在遮擋場景中容易導致漏檢。針對上述瓶頸問題，本文提出了一種基于域適應的低照度遮擋復合場景行人檢測模型LOPD。
主要內容:
1．LOPD整體模型架構圖
我們想在只利用有標簽的正常照度遮擋行人數據集和無標簽的低照度遮擋行人數據集的情況下去完成低照度遮擋場景下的行人檢測任務。基于此我們設計了能夠進行域適應的LOPD模型，LOPD的整體架構圖如圖1所示。
圖1 LOPD的整體架構圖
圖片的中部是半監(jiān)督域適應檢測框架MT-YOLO。圖片的左側是輸入，我們除了將源域（正常照度域）圖片
和目標域（低照度域）
圖片作為輸入外，為了緩解光照差異，我們還使用離線模型S2WAT去生成具有目標域風格的源域圖片
和具有源域風格的目標域圖片
，并將他們一起送入MT-YOLO中。圖片的右側是不同的損失函數。對于不同的輸入使用不同的損失函數來支持半監(jiān)督域適應。我們所提出的AR Loss被包含在Detection Loss中。此外，由于我們所提出的SD-NMS是后處理步驟因此并未在模型架構圖中展示出來，它的詳細論述將在第5節(jié)給出。
2．域適應蒸餾檢測架構MT-YOLO
MT-YOLO是LOPD的核心部分，也是LOPD能夠將正常照度域上學習到的知識遷移到低照度域的關鍵原因之一。MT-YOLO的半監(jiān)督學習架構是Mean Teacher，同時我們采用兩個完全相同的、添加了CLEF模塊的YOLOv8作為Mean Teacher的教師模型和學生模型。MT-YOLO的模型架構如圖1中部所示。
3．跨階段低頻增強濾波器CLEF
為了抑制低照度圖片中的高頻噪聲同時融合不同階段的特征信息，我們設計了CLEF模塊。CLEF的具體結構如圖2所示。
圖2 CLEF模塊詳細結構圖
4．吸引排斥損失函數AR Loss
AR Loss的目標是在訓練過程中讓擬合行人T的預測框盡可能地與行人T的GT框靠近（吸引），同時與周圍行人的GT框遠離（排斥）。AR Loss公式如式（1）所示。
在公式（1）中AR Loss由兩部分組成，其中吸引部分包括兩個損失函數：一個是CIOU Loss，另一個是DFL Loss；排斥部分只包括RepGT Loss（如公式（2）所示）。
5．SD-NMS
為了減少遮擋場景中漏檢的錯誤情況發(fā)生。我們設計出了SD-NMS后處理算法。SD-NMS的具體細節(jié)信息如表1所示。
表1 SD-NMS后處理算法
實驗結果及分析:
1、數據集
我們選取Citypersons中包含遮擋行人的圖片以及在現實場景中收集的正常照度遮擋行人圖片作為本研究所使用的正常照度遮擋行人數據集，記為
。同時，我們將從互聯網上和現實場景中采集的低照度遮擋行人圖片作為為本研究所使用的低照度遮擋行人數據集，記為
。
此外，我們用
和
訓練了S2WAT模型，然后利用S2WAT去生成
和
。各種類型圖片的具體數量如表2所示。
表2 不同類型的圖片的數量及來源
2、對比實驗
為了證明我們提出的方法的有效性，我們在上一小節(jié)構建的低照度數據集上進行了實驗，并與其它行人檢測模型進行了對比實驗，實驗結果如表3所示。實驗表明我們的方法更適用于低照度遮擋場景中的行人檢測。
表3不同檢測模型之間的性能對比
結論:
本文提出了一種適用于低照度遮擋復合場景下的行人檢測方法LOPD。在LOPD中，我們設計的半監(jiān)督域自適應檢測架構MT-YOLO使檢測器能夠利用無標簽的低照度數據集；CLEF模塊能夠抑制低照度圖像中的高頻噪聲；AR Loss損失函數和SD-NMS能夠解決遮擋場景中行人定位不準確和漏檢的問題。實驗結果表明，我們的方法在低照度遮擋復合場景中能夠獲得更好的行人檢測結果。
通訊作者簡介:
王智廣，教授。博士生導師，北京市教學名師。中國計算機學會（CCF）高級會員，全國高校實驗室工作研究會信息技術專家指導委員會委員，北京市計算機教育研究會常務理事。長期從事計算機視覺、知識圖譜方面的研究工作，主持或承擔國家重大科技專項子任務、國家重點研發(fā)計劃子課題、國家自然科學基金、北京市重點實驗室課題、地方政府委托課題以及企業(yè)委托課題20余項，在國內外重要學術會議和期刊上合作發(fā)表學術論文70余篇，培養(yǎng)了100余名碩士博士研究生。