基于圖像的植物表型一直在穩(wěn)步增長(zhǎng),這急劇增加了對(duì)需要能夠評(píng)估多種植物性狀的更有效圖像分析技術(shù)的需求。深度學(xué)習(xí)已經(jīng)在植物表型的許多視覺任務(wù)中顯示出它的潛力,例如分割和計(jì)數(shù)。本文展示了如何使用多任務(wù)學(xué)習(xí)(MTL)從植物圖像中同時(shí)提取不同的表型性狀。MTL利用包含在相關(guān)任務(wù)的訓(xùn)練圖像中的信息來(lái)改善整體泛化并學(xué)習(xí)帶有較少標(biāo)簽的模型。本文作者提出了一種用于植物表型的多任務(wù)深度學(xué)習(xí)框架,該框架能夠同時(shí)推斷出三個(gè)特征:(i)葉數(shù),(ii)投影葉面積(PLA)和(iii)基因型分類。作者采用一個(gè)改進(jìn)的預(yù)訓(xùn)練ResNet50作為特征提取器,對(duì)其進(jìn)行端到端的訓(xùn)練以預(yù)測(cè)多個(gè)性狀。還利用MTL表明,通過(guò)學(xué)習(xí)更容易獲得的注釋(如PLA和基因型),可以預(yù)測(cè)更好的葉數(shù)(更難獲得注釋)。作者在幾個(gè)公開的擬南芥頂視圖圖像數(shù)據(jù)集上評(píng)估了此發(fā)現(xiàn)。
多任務(wù)學(xué)習(xí)(MTL)模型示意圖
模型的詳細(xì)架構(gòu)
使用滑動(dòng)窗口顯示網(wǎng)絡(luò)焦點(diǎn)的測(cè)試
實(shí)驗(yàn)結(jié)果表明,與同一數(shù)據(jù)集上的單個(gè)任務(wù)網(wǎng)絡(luò)相比,所提出的MTL方法將葉子計(jì)數(shù)均方誤差(MSE)提高了40%以上。還表明,本文的MTL框架可以在不顯著影響性能的情況下,使用最多減少75%的葉數(shù)注釋進(jìn)行訓(xùn)練,而當(dāng)可用注釋減少時(shí),單個(gè)任務(wù)模型顯示出穩(wěn)定的下降。
代碼獲取路徑https://github.com/andobrescu/Multi_task_plant_phenotyping
來(lái)源:Front. Plant Sci.Doing More With Less: A Multitask Deep Learning Approach in Plant Phenotyping.Andrei Dobrescu, Mario Valerio Giuffrida and Sotirios A. Tsaftaris.https://doi.org/10.3389/fpls.2020.00141