Machine learning-based real-time visible fatigue crack growth detectio

作者：Le Zhang, Zhichen Wang , Lei Wang , Zhe Zhang , Xu Chen, Lin Meng

摘要：航空航天和汽車工業中應用了許多大型和復雜的結構部件。然而，在使用過程中，反復的交變或循環載荷往往會導致意外的疲勞斷裂。因此，開發實時可見的疲勞裂紋萌生和擴展監測方法對結構安全至關重要。本文提出了一種結合計算機視覺和機器學習的基于機器學習的疲勞裂紋擴展檢測方法。在我們的模型中，計算機視覺用于數據創建，機器學習模型用于裂紋檢測。然后使用計算機視覺對裂紋的擴展路徑和長度進行標記和分析。我們應用了7種模型進行裂縫分類，發現決策樹是本研究中模型。實驗結果證明了該方法的有效性，實現的裂縫長度測量精度為0.6 mm。此外，輕微的機器學習模型幫助我們實現了實時可見的疲勞裂紋檢測。

關鍵詞：疲勞裂紋、擴展預測、機械響應、發光材料結構健康監測、計算機視覺、機器學習

1.簡介

航空、汽車工業中應用了許多大型、復雜的結構部件，如發動機、渦輪等。其中一些在使用中受到反復交變或循環載荷的作用，容易產生意外的疲勞斷裂。因此，開發實時可見的疲勞裂紋萌生和擴展監測方法對結構安全至關重要。在過去的幾十年里，工業上廣泛發展了用于疲勞損傷評估的結構健康監測(SHM)方法。壓電傳感器、紅外熱成像、聲發射、蘭姆波和數字圖像相關(DIC)等技術在飛機結構安全監測中得到了廣泛應用。然而，有限的傳感器尺寸、高成本和復雜的測量系統以及復雜的加工程序限制了它們在大型復雜結構部件上的應用。目前迫切需要一種現場、實時、可見的SHM疲勞損傷評價方法。

基于熒光的檢測技術具有可視化和快速響應的優點。因此，在生物、化學、光電子等領域得到了廣泛的應用。機械-發光(machine -noluminescence, ML)材料在機械響應的測量中被考慮，其中，當ML材料受到機械力的作用時，熒光波長或強度可以發生變化。因此，ML現象對于實現對應力分布和疲勞裂紋行為等機械響應的實時、直接可見的監測有很大的好處。許多無機物基ML材料，如SrAl2O4:Eu2t、Dy3t、Nd3t(SAO)和CdSe@ZnS顆粒，被混合在陶瓷中或涂覆在金屬表面，從而可以實現對疲勞裂紋擴展的實時可見監測。1,1,2,2-四基(4-硝基苯基)乙烷(TPE-4N)是一種純有機機械響應發光材料(MRL)。它在無定形狀態下表現出強烈的綠色熒光，而在結晶狀態下其發射則被強烈猝滅。與無機ML材料相比，純有機MRL材料在金屬表面具有良好的成膜性，為大型復雜結構件疲勞損傷評估的現場、實時、可見監測開辟了新的可能性。通常，疲勞損傷出現在材料表面。因此，金屬表面的誘導熒光可以用來表征疲勞損傷。要使該技術真正應用，必須實現疲勞裂紋損傷的自動監測和保護報警。因此，在目前的工作中，應用計算機視覺和機器學習來實現對熒光分布的監測，熒光分布代表疲勞的發生和傳播。

在計算機視覺的研究領域，裂紋檢測可能定義為一種目標檢測方法，并取得了良好的性能。在某些情況下，機器學習模型通過使用計算機視覺提取的圖像特征對物體進行分類。例如，甲骨文(Oracle Bone Inscription, OBI)是一種刻在骨頭上的類似裂縫的文字，利用計算機視覺技術和機器學習模型對甲骨文進行分類就取得了很好的效果。此外，隨著計算能力的不斷提高，深度學習技術被廣泛用于具有更高精度的目標檢測。深度學習方法在OBI分類中也取得了很好的準確率。

因此，提出的工作研究計算機視覺和機器學習方法，通過有機MRL方法實時和可見地監測疲勞裂紋檢測。將金屬中的疲勞裂紋起裂和裂紋擴展路徑轉換為可見的熒光信號。在檢測過程上，首先通過計算機視覺提取圖像特征作為預處理，然后采用機器學習方法對裂紋和非裂紋進行分類。最后，在原始圖像上標記裂紋部位，并測量其生長方向。根據熒光分布，可以實時確定疲勞裂紋長度和疲勞裂紋擴展路徑。這些結果表明，本文提出的方法在實際應用中對大型復雜結構構件的裂紋檢測具有很大的潛力。

第2節討論了相關工作。我們在第3節中提出了提出的疲勞裂紋檢測方法。第4節介紹了實驗過程，結果見第5節。第6節討論了這項工作的貢獻以及局限性。我們在第7節中總結了一個簡短的總結和未來工作的計劃。

2.相關工作

疲勞裂紋檢測是疲勞損傷評估中最重要的一步，因為裂紋檢測的準確性深刻影響疲勞裂紋起裂和擴展路徑的預測。在此，我們對不同研究領域的裂紋檢測相關工作進行了綜述。

2.1.金屬力學響應的實時可見檢測

近年來，純有機MRL已經成功實現了金屬內部應力分布和疲勞裂紋擴展的動態可視化。通過在金屬表面涂覆有機MRL膜，可以將金屬的超靈敏力學響應轉化為可見的熒光信號。有機MRL法測得的應力分布與DIC法或有限元法模擬得到的結果吻合較好。然而，對有機MRL膜機械響應熒光圖像的定量評估仍然不足，限制了其在實時機械損傷評估中的應用。

2.2.基于視覺的疲勞裂紋檢測

裂紋檢測可以定義為計算機視覺中的一種物體檢測。Mohan等人對使用圖像處理的裂紋檢測進行了全面的調查，并發現了使用圖像處理的方法。與傳統的物體檢測類似，疲勞裂紋檢測包括降噪、特征提取和分類。通常，Reduction使用過濾器來減少噪聲，二值化來增強對象(裂紋)。為了檢測鉻鍍層中的裂紋網絡圖案區域，Vidal等人首先將拉普拉斯高斯(LoG)濾波器和Prewitt濾波器結合起來，然后直接對所選像素進行閾值化，構建二值圖像。Heideklang等人提出了一種數據融合濾波器，用于改進近表面裂紋檢測。孟等人旨在通過定向梯度直方圖(Histogram of oriented Gradients, HoG)獲取裂紋網絡信息，并通過分析幾個案例獲得了更好的二值化閾值。Glud等人采用Gabor濾波器進行降噪，采用Otsu方法獲得二值化圖像。形態學處理包括(a)初始二值圖像;(b)對角填充處理;(c)閉合處理;(d)細化處理;(e)清洗處理(骨架的最終圖像);以及(f)分支點處理。由于特征是從二值圖像中提取的，因此通常提取的裂縫為黑色，背景為白色。

2.3.基于機器學習的疲勞裂紋檢測

支持向量機(SVM)、k -最近鄰算法(KNN)、樸素貝葉斯、決策樹、隨機森林、集成模型和神經網絡(NN)等機器學習模型已被廣泛用于分類。作為機器學習的延伸，深度學習模型現在被用于裂紋檢測。

基于計算機視覺的裂紋檢測方法已經取得了良好的性能。但是，閾值的判定比較困難，通常需要人工修改，這就限制了制造業的發展。目前，在高精度目標檢測的研究領域，提出了幾種深度學習模型。LeNet是第一個成功分類數字手寫數字的深度學習模型。提出了AlexNet和GoogleNet，并在更大數量的分類中取得了很好的精度，后來提出了Inception和Xception ResNet，以獲得更好的精度。但是，這些模型都需要提前手工切割目標圖像。后來，YOLO和SSD同時被提出用于目標檢測和分類，也被用于一些特殊的研究領域，如古文字識別。

因此，研究人員嘗試將深度學習應用于裂紋檢測。Fan等人提出了一個14層的模型，其中有7個卷積層。每兩個卷積層之間應用一個最大池化層，最后一個是連接層。Li等人提出了一個12層模型，其中兩次三個卷積層t池化層后應用三個卷積層。接下來的步驟是三個連接的層，最后一層應用了一個softmax。此外，還提出了一些其他模型，通過使用深度學習模型進行裂紋檢測。

然而，深度學習的局限性在于需要準備大量的數據進行訓練。這也證明了為什么提出了大量深度學習模型來檢測混凝土裂縫的原因。本文提出了一種基于計算機視覺和機器學習的疲勞裂紋檢測方法，利用機器學習避免數據限制，并嘗試將裂紋檢測結果用于疲勞裂紋擴展評價。我們采用了7種機器學習模型來檢驗和選擇裂紋檢測的模型。

3.機器學習的疲勞裂紋檢測

我們提出了一種計算機視覺和機器學習相結合的疲勞裂紋檢測和增長路徑預測方法。圖1是該方法的概述，它由三個步驟組成:

步驟1.預處理用于檢測數據集的創建，將原始圖像分成若干塊，并通過傳統的圖像處理從這些塊中提取特征。

步驟2.使用機器學習進行分類，利用機器學習將塊分類為有裂紋和無裂紋。

步驟3.利用分類結果對裂紋進行測量，在原始圖像中標記裂紋，并利用裂紋的坐標來檢測裂紋的擴展方向和長度。

3.1. 特征提取

特征提取包括二值化、圖像分離和特征像素計數。二值化后，每張裁剪后的圖像分別被縱軸和橫軸分割成四個部分。這意味著裁剪后的圖像被分成16個部分。然后對二值化后的圖像中各部分的白像素數進行計數。最后得到16個數字作為裂縫分類的特征。

3.2. 檢測數據集預處理

由于原始圖像太大，裂縫有時小于原始圖像大小，因此應將圖像裁剪成幾個塊。在第一步中，原始圖像被裁剪成幾個塊。裁剪的動作如圖2所示。圖2(a)為簡單原始圖像，大小為{Size_j， Size_i}。圖2 (b)是中心塊，其大小定義為8?8。

當裂縫分類正確時，我們只能得到裂縫的局部信息。這意味著我們只獲得了原始圖像中的裂紋坐標，這一步很難判斷裂紋的擴展方向和長度。為了解決生長路徑預測的問題，我們從左、右、上、下四個方向移動起點，然后裁剪圖像。換擋動作如圖2(c)、(d)、(e)、(f)所示，分別表示左換擋、右換擋、上換擋和下換擋。移位像素數定義為步長，如圖2所示，步長定義為2。

這并不意味著可以在每個塊中檢測到裂縫。然而，通過這種方式，可能會在某些塊中檢測到裂縫。例如，在圖2(b)的裁剪圖像中存在部分裂紋。通過平移圖像，左移圖像(c)失去了裂縫，而右移圖像中仍然存在一部分裂縫。在這種情況下，可以在(b)和(d)中檢測到裂縫，并在同一位置進行標記。

算法1以五個方向顯示原始圖像的裁剪塊。首先計算五個塊的起始點（左上坐標），然后檢查溢出。當溢出不存在時，塊被裁剪。

3.3. 機器學習分類

我們采用支持向量機、KNN、樸素貝葉斯、決策樹、隨機森林、集成模型和神經網絡等7種機器學習模型進行檢驗，并選出裂縫分類的模型。所有這些模型都是傳統模型。

支持向量機是一種監督學習模型，用于從最大邊界超平面上確定邊界并對數據進行分類。KNN計算特征空間中的k個訓練數據。Na?ve貝葉斯分類器是基于貝葉斯理論的概率分類器，特征之間具有很強的獨立性假設。決策樹是一種分類器，它使用樹狀模型進行決策及其可能的后果，包括事件結果的概率、資源成本和效用。決策樹在工業中廣泛應用于各種不確定數據領域，如道路裂縫檢測和生物技術。隨機森林結合了樹的預測器，其中每棵樹都獨立依賴于隨機向量樣本的值，并且森林中的所有樹都具有相同的分布。

神經網絡是一種研究大腦神經元結構的數學模型，它為訓練數據構建多層相互連接的節點，通常用于分類。這項工作構建了一個由五層組成的神經網絡模型。輸入層有8個節點，第二層、第三層、第四層分別有16、32、64個節點。前四層的激活為整流線性單元（ReLU），輸出層的激活為s型。對于參數，epoch設為50，置信度為0.5，即當裂縫分類置信度大于0.5時，判斷預測結果為裂縫，否則判斷預測結果為非裂縫。集成模型通過組合幾個基本模型來進行預測。關鍵思想是通過對基本模型預測進行投票，生成最終的預測結果

3.4. 疲勞裂紋擴展檢測

分類后，對有裂縫的區域用正方形、橢圓形和圓形標記，表示分別從中心塊、左右塊、上下塊檢測裂縫。將漸降信息用于裂紋擴展預測。我們使用一個簡單的圖像（圖3）來介紹增長預測算法。在這里，我們定義裂紋分支中的裂紋方向變化，這可以通過檢查同類標記的退化來找到。例如，在左右裂紋分支的情況下，紅色橢圓從兩個（左和右）變為一個（左）。這意味著疲勞裂紋有向左擴展的趨勢。此外，在上下裂紋分支的情況下，藍色循環從兩個（上下）變為一個（上）。這意味著疲勞裂紋擴展趨向于減小。因此，得出的結論是，裂紋擴展預測是左下的，距離可以通過對抗檢測到的裂紋數來測量，如圖3中的5?Block_size。

4.疲勞裂紋擴展試驗過程及熒光響應實驗程序

4.1.實驗程序

本文對航空工業中常用的結構材料之一A2024鋁合金進行了研究。1,1,2,2-四akis (4-nitrophenyl)乙烷(TPE-4N)是一種具有聚集誘導發射(AIE)特性的純有機MRL材料，其晶體狀態被破壞時表現出敏感的機械響應熒光信號。文獻詳細介紹了TPE-4N的熒光特性和成膜過程。在 A2024鋁合金表面形成厚度約為1 μm的均勻結晶TPE-4N薄膜。疲勞裂紋試驗試樣的尺寸和試驗裝置如圖 4所示。疲勞裂紋擴展試驗采用單刃缺口試樣。試件的尺寸如圖 4 (a)所示。通過線電極切割加工一個尖銳的缺口。圖 4(b)顯示了實驗裝置，其中包括一臺施加機械載荷的原位疲勞試驗機(IBTC-5000, CARE)和一個成像系統，該系統包括一個CCD相機來捕捉實時圖像，一個紫外燈來提供紫外線，以及一臺計算機來進行數據分析。在室溫下，在恒力(F?700 N)控制下進行疲勞試驗。在脈沖循環拉伸(應力比R?0)下，進行了恒周期為4s的三角形波形加載。力從0上傳至最大值，再下載至0，記為一個應力循環。同時，CCD攝像機記錄了TPE-4N薄膜在不同周期(N)下的實時熒光響應。用相對灰度值表示熒光強度，即從背景中去除了灰度值。

4.2.疲勞裂紋擴展試驗下的熒光響應

圖5為A2024鋁合金表面TPE-4N薄膜在單調張力作用下的熒光響應。未變形的試樣表面未觀察到明顯的熒光。相對灰度隨外加應力的增大而逐漸增大。因此，值得注意的是，不可見的機械應力被轉化為可見的熒光信號。此外，更高的應力導致更高的熒光強度。圖6為A2024鋁合金單棱缺口疲勞裂紋擴展試驗時的熒光圖像。初始樣品中除圖像背景外，熒光信號不顯著(如圖 6(a)所示)。由圖 6(b) - (e)可以看出，在疲勞裂紋附近出現熒光，熒光擴展伴隨著疲勞裂紋擴展，應力循環次數分別為7300、8500、10200、12500。利用熒光信號可以實時監測疲勞裂紋的萌生、擴展路徑和長度。

5.基于機器學習的疲勞裂紋擴展預測實驗結果

5.1. 實驗條件

使用Python 3.7和OpenCV編程進行預處理、特征提取和機器學習設計。標準平臺是Anaconda。硬件環境是一個CPU (core i7 8th Gen，內存:32gb)。測試映像大小為577?314，目標映像的高度為6 mm。塊大小為32?32，步幅(偏移大小)為8像素。因此，裁剪后的目標約為0.6毫米。

對于訓練數據集的創建，我們將一張圖像分為裂紋部分和非裂紋部分。然后我們將裂縫裁剪成幾個32?32大小的塊，并使用左、右、上和下移動進行數據集增強，以克服裂縫圖像的數量限制。最后，創建41張裂紋和63張非裂紋大小為32?32的圖像作為訓練數據集。

5.2. 實驗結果

我們應用了7個模型進行裂縫分類，測量了這些模型的精度，并將它們與以前的人工裂縫收集進行了比較。我們發現決策樹模型是本研究中的模型，因為神經網絡和樸素貝葉斯方法經常發生過擬合。此外，其他模型經常失去裂縫。因此，我們在本研究中配備了決策樹模型。

圖6 R-a)、R-b)、R-c)、R-d)、R-e)為(a)初始狀態下的裂紋檢測結果;(b) 7300個周期;(c) 8500次;(d) 10,200個周期;(e) 12,500個周期。如圖6 R-a)所示，由于(a)的目標圖像為初始狀態，因此未檢測到裂紋。在圖 6R-b中，圖像的中心有兩個正方形，在正方形中也標記了幾個橢圓和圓。這意味著在圖像的中心有一個裂縫。然后在這些標記下可以觀察到一個橢圓，這意味著裂縫現在正在向下擴展。如圖6 (R-c)所示，在圖6 (r)所示的最后一個橢圓上增加了兩個周期。結果表明，最后的擴展路徑預測是正確的，裂紋繼續向下擴展。最后一個橢圓為左橢圓，表示裂紋擴展方向為左向下。如圖6 (R-d)所示，在最后一個橢圓和周期中增加一個正方形。這也證明了最后的擴展預測是正確的，裂紋繼續向下擴展。在圖 6(R-e)中檢測到的裂紋區域左側加四個周期。可以得到類似的增長趨勢。

裂紋擴展方向和裂紋長度隨循環的變化如圖 7所示。發現裂紋擴展方向預測正確，在10200 ~ 12500次循環之間，由于裂紋長度增加，裂紋擴展速度最快(圖中標注了大部分裂紋痕跡)。這也證明了我們的建議的有效性，即更長的周期帶來更長的裂紋增長。

6.討論

提出了一種基于機器學習的疲勞裂紋擴展檢測方法，該方法將計算機視覺與機器學習相結合。實驗結果表明，該方法能準確監測疲勞裂紋的擴展情況，包括裂紋長度和裂紋路徑。且長度精度水平為一塊尺寸為0.6 mm，可用于實際應用。由于時間較短，本研究使用了兩種分類機器學習模型(決策樹)，計算時間幾乎是實時的。

但是，由于弱裂紋數據集和光線變化的影響，實驗結果中出現了一些檢測誤差，如圖中圖像左側的檢測誤差(Rb)。有時，錯誤檢測發生在圖像的探測中。由于光線變化很小，因此光校正并不是克服這一問題的有效方法。幸運的是，這種誤差不會在集中時發生，因此我們可以消除這些分散的標記，以克服光影響的問題

此外，盡管根據相關工作，深度學習可能是一種很好的裂紋檢測方法，但應用幾種裂紋檢測模型并沒有達到比機器學習方法更好的精度。原因與訓練數據集的弱點有關。

結論

提出了一種結合計算機視覺和機器學習的基于機器學習的疲勞裂紋擴展檢測方法。利用計算機視覺進行數據生成，利用機器學習模型進行裂紋檢測，然后利用計算機視覺分析疲勞裂紋擴展路徑和長度。實驗結果證明了該方法對疲勞裂紋擴展路徑預測的有效性，獲得的裂紋長度測量精度為0.6 mm。此外，輕微的機器學習模型(決策樹)幫助我們實現實時的裂紋檢測。但是，由于裂紋數據本身的缺陷和受的影響較小，在今后的工作中存在一定的誤差，需要加以糾正。

算法1.數據集創建