基于圖像的植物表型一直在穩(wěn)步增長,這急劇增加了對需要能夠評估多種植物性狀的更有效圖像分析技術(shù)的需求。深度學(xué)習(xí)已經(jīng)在植物表型的許多視覺任務(wù)中顯示出它的潛力,例如分割和計數(shù)。本文展示了如何使用多任務(wù)學(xué)習(xí)(MTL)從植物圖像中同時提取不同的表型性狀。MTL利用包含在相關(guān)任務(wù)的訓(xùn)練圖像中的信息來改善整體泛化并學(xué)習(xí)帶有較少標(biāo)簽的模型。本文作者提出了一種用于植物表型的多任務(wù)深度學(xué)習(xí)框架,該框架能夠同時推斷出三個特征:(i)葉數(shù),(ii)投影葉面積(PLA)和(iii)基因型分類。作者采用一個改進(jìn)的預(yù)訓(xùn)練ResNet50作為特征提取器,對其進(jìn)行端到端的訓(xùn)練以預(yù)測多個性狀。還利用MTL表明,通過學(xué)習(xí)更容易獲得的注釋(如PLA和基因型),可以預(yù)測更好的葉數(shù)(更難獲得注釋)。作者在幾個公開的擬南芥頂視圖圖像數(shù)據(jù)集上評估了此發(fā)現(xiàn)。
多任務(wù)學(xué)習(xí)(MTL)模型示意圖
模型的詳細(xì)架構(gòu)
使用滑動窗口顯示網(wǎng)絡(luò)焦點的測試
實驗結(jié)果表明,與同一數(shù)據(jù)集上的單個任務(wù)網(wǎng)絡(luò)相比,所提出的MTL方法將葉子計數(shù)均方誤差(MSE)提高了40%以上。還表明,本文的MTL框架可以在不顯著影響性能的情況下,使用最多減少75%的葉數(shù)注釋進(jìn)行訓(xùn)練,而當(dāng)可用注釋減少時,單個任務(wù)模型顯示出穩(wěn)定的下降。
代碼獲取路徑https://github.com/andobrescu/Multi_task_plant_phenotyping
來源:Front. Plant Sci.Doing More With Less: A Multitask Deep Learning Approach in Plant Phenotyping.Andrei Dobrescu, Mario Valerio Giuffrida and Sotirios A. Tsaftaris.https://doi.org/10.3389/fpls.2020.00141