深度分析box來(lái)提升檢測(cè)性能的方法

1 前言

該文章作者團(tuán)隊(duì)來(lái)自香港中文大學(xué)、騰訊優(yōu)圖、思謀科技等，收錄于ECCV2020.現(xiàn)階段，無(wú)錨框的目標(biāo)檢測(cè)方法稱為流行，該論文提出了深度分析box來(lái)提升檢測(cè)性能的方法。

在目標(biāo)檢測(cè)領(lǐng)域，雖然無(wú)錨框的取得成功，但仍存在一些問(wèn)題。比如，檢測(cè)框框的中心點(diǎn)并不是目標(biāo)的中心點(diǎn)，如下圖所示：

而且中心點(diǎn)會(huì)出現(xiàn)漂移。

為了解決這些問(wèn)題，文章提出了一種邊框重組的方法，通過(guò)對(duì)中心點(diǎn)box的回歸過(guò)程，考慮語(yǔ)義一致性得到檢測(cè)結(jié)果。

2 網(wǎng)絡(luò)架構(gòu)

在該論文中，基于FCOS構(gòu)建了DDBNet，如下圖所示：

D&R模塊通過(guò)將預(yù)測(cè)的框劃分為邊界進(jìn)行訓(xùn)練來(lái)重組預(yù)測(cè)框，該邊界在回歸分支后面進(jìn)行連接。在訓(xùn)練階段，一旦邊界框預(yù)測(cè)在每個(gè)像素處回歸，D&R模塊會(huì)將每個(gè)邊界框分解為四個(gè)方向邊界。然后，根據(jù)它們與ground truth的實(shí)際邊界偏差對(duì)同類邊界進(jìn)行排序。因此，通過(guò)重新組合排位邊界，可以期望得到更準(zhǔn)確的box框預(yù)測(cè)，然后利用IoU loss對(duì)其進(jìn)行優(yōu)化。

D&R模塊由四個(gè)步驟組成，如下圖所示：

2.1 分解

將一個(gè)預(yù)測(cè)的box劃分為四個(gè)邊界的置信度。然后將四種邊界分為四組，分別是：

left = {l0，l1，...，ln}，right = {r0，r1，...，rn}，bottom = {b0，b1，...， bn}，top = {t0，t1，...，tn}。

2.2 排序

考慮到IoU損失的約束，有利于具有較小并集和較大交集區(qū)域的預(yù)測(cè)框，最佳框預(yù)測(cè)的IoU損失預(yù)計(jì)最低。因此，在第二步中可以直接遍歷所有邊界后進(jìn)行重新排列以獲得最優(yōu)的框，然而，以這種方式，計(jì)算復(fù)雜度非常高。為了避免這種暴力方法帶來(lái)的繁重計(jì)算，本文采用了一種簡(jiǎn)單有效的排序策略。對(duì)于目標(biāo)實(shí)例的每個(gè)邊界集，計(jì)算到目標(biāo)邊界集合的偏差。然后，將每個(gè)集合中的邊界按相應(yīng)的偏差排序，因此，靠近ground truth的邊界比遠(yuǎn)處的邊界具有更高的等級(jí)。作者發(fā)現(xiàn)這種排序策略效果很好，并且排序噪聲不會(huì)影響網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性

2.3 重組

將具有相同等級(jí)的四個(gè)集合的邊界重新組合為新框。然后，將分解后的邊界集合和目標(biāo)邊界集合之間的IoU看作為四個(gè)邊界的重組置信度。重組邊界的置信度表示為形狀為N×4的矩陣。

2.4 分配得分

現(xiàn)在得到了原始邊界和重組后的邊界兩組邊界得分。每個(gè)邊界的最終置信度是使用兩組邊界得分中的較高得分來(lái)分配的，而不是完全使用其中一組。如果重新組合后的低位框包含的邊界離ground truth很遠(yuǎn)，這會(huì)導(dǎo)致重組后四個(gè)邊界的置信度遠(yuǎn)低于其原始邊界，這些嚴(yán)重漂移的置信度分?jǐn)?shù)會(huì)導(dǎo)致訓(xùn)練階段的梯度反向傳播不穩(wěn)定，因此選擇得分較高的一組

3 模型訓(xùn)練

網(wǎng)絡(luò)整體的損失函數(shù)是：

其中分類損失使用的是Focal Loss,另外兩部分分別是邊框回歸損失和語(yǔ)義一致性損失

3.1 邊框回歸損失

為了進(jìn)行可靠的網(wǎng)絡(luò)訓(xùn)練，在基于ground truth和最優(yōu)box以及相應(yīng)的更好邊界得分估算的IoU損失的監(jiān)督下來(lái)優(yōu)化每個(gè)邊界。邊框回歸損失包括兩個(gè)部分：

分別是重組框和原始框與標(biāo)簽之間的交并比IOU分?jǐn)?shù)，選擇每個(gè)邊界的梯度以更新網(wǎng)絡(luò)。

3.2 語(yǔ)義一致性損失

在根據(jù)語(yǔ)義一致性自主確定像素的標(biāo)簽后，網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中考慮了每個(gè)正向像素的內(nèi)在重要性，類似于FCOS中的中心度得分。因此，DDBNet網(wǎng)絡(luò)能夠強(qiáng)調(diào)一個(gè)實(shí)例中更重要的部分，學(xué)習(xí)起來(lái)更加有效。具體地，將每個(gè)像素的內(nèi)在重要性定義為預(yù)測(cè)框與ground truth之間的IoU。然后，在內(nèi)在重要性的監(jiān)督下，將估計(jì)每個(gè)像素語(yǔ)義一致性的額外分支添加到網(wǎng)絡(luò)中。語(yǔ)義一致性的損失表示為：

4 實(shí)驗(yàn)

該論文作者在COCO數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。

4.1 對(duì)比實(shí)驗(yàn)

與RCNN系列、yolo系列、ssd等都做了對(duì)比實(shí)驗(yàn)，本文的結(jié)構(gòu)優(yōu)于其他模型。

4.2 消融實(shí)驗(yàn)

作者將D&R 模塊和語(yǔ)義一致性進(jìn)行了實(shí)驗(yàn)，結(jié)果表明加入后效果較好。

4.3 檢測(cè)效果

紅色框表示真實(shí)值。綠色框表示預(yù)測(cè)結(jié)果，有較高的IOU。黑色框也是預(yù)測(cè)結(jié)果，但I(xiàn)OU值較小。

猜你喜歡：

用人工智能玩轉(zhuǎn)《絕地求生》

python人工智能之人臉識(shí)別綜合應(yīng)用與實(shí)踐

深度相機(jī)常見技術(shù)：深度相機(jī)的相位求解