植物結構如株高、葉片或分支角度、葉片大小以及節間長度等,影響著對光的截留,從而影響植物光合作用與生產力。植物結構的變化可以反映植物面臨的脅迫情況,例如節間長度的變化與干旱、鹽脅迫有關。簡單的表型性狀可以從2D圖像中測量,但節間長度、分支角度等復雜性狀則需要使用3D數據。
本研究以黃瓜為例(含彎曲株和直立株),基于激光三角測量,使用Phenospex PlantEye F500采集了10天的3D數據,該多光譜3D掃描儀還為點云中的每個點提供了光譜信息。同時,每天多次采集2D圖像,獲得一個包含9990張圖像的數據集?;赮OLO-v3深度學習對象檢測算法在單個2D圖像中檢測節點,使用親和力傳播聚類算法對同一節點的多次檢測進行合并,獲得每個節點只出現一次的節點位置列表并按照在莖上的位置進行排序以估計2D節間長度(節間長度為兩個連續節點之間的歐氏距離)。從3D點云估計節間長度的方法分為三個步驟:(1)基于深度神經網絡 PointNet++將 3D 點云分割成植物部分;(2)從分割的點云中檢測節點,使用HDBSCAN聚類算法對節點進行聚類;(3)節間長度估計。結果顯示,使用3D點云代替2D圖像,可以以與直立植株相同的精度來估計彎曲植株的節間長度;從3D點云估計的節間長度誤差小于從2D圖像估計的節間長度誤差,使用3D 點云估計節間長度的精度更高。但基于2D圖像的節點檢出率更高,因此建議綜合利用2D圖像和3D點云的優勢??傊狙芯孔C實了基于3D點云與計算機視覺技術結合進行植物結構尤其是節間長度測量的可行性。
圖1 黃瓜植株三個節點示意圖,含兩個節間。
圖2 實驗裝置示意圖。植株生長在2個植物水槽( A、B)上,每個水槽含6株植物( 1 ~ 6株)。將彎曲植株A2、A3和B5分別稱為離群植株4、5和8。六個視點(Ⅰ-Ⅵ)在圖的右上角部分放大顯示。
圖5 數據獲取的第一天(左)和最后一天(右)人工標注點云的實例。圖中顏色代表圖例中指定的類別,黑色方塊表示點云的放大部分。
圖9 人工測量的節點間長度(x軸)與估計的節點間長度(y軸)擬合圖。左圖為基于2D的結果,右圖為基于3D點云的結果。直立植株的節點用藍色圓圈表示,彎曲植株的節點用紅色三角形表示。虛線表示函數x = y,表示估計的節點間長度等于人工測量值的位置。
圖10 基于2D和3D數據預測直立和彎曲植株節間長度的絕對誤差( mm )。框表示下四分位數和上四分位數,須表示1.5倍四分位數間距內的最高和最低絕對誤差。超出此范圍的值被認為是異常值,并顯示為“+”。顯著性水平 “n.s. ”表示沒有觀察到顯著性差異, “***”表示在p < 0.001的情況下觀察到顯著性差異。
文獻來源:Frans P B, Eldert J, Gert K. The added value of 3D point clouds for digital plant phenotyping –A case study on internode length measurements in cucumber. Biosystems Engineering, 2023, 234:1-12.