技術文章
機器視覺技術越發先進，小零件也可用機器視覺檢測！
日期：2017-03-24
來源：三姆森科技
使用集成到單一系統中的多臺相機，實現小零件的全方位檢測。
雖然諸如墊圈、螺釘和橡膠墊等小零件的質量可以由人工檢查，但這是一項枯燥乏味、且耗時的重復性勞動。而且，這種檢查也會因為人眼疲勞而出現錯誤，同時人工檢查也不能高速完成，因此這樣的檢查任務更適合讓機器視覺系統去完成。
機器視覺系統除了能更快地執行這樣的檢查任務之外，還可以對每個零件的多個方位成像，從而確保零件的所有部分都制造正確。為了實現這一點，機器視覺系統需要部署多個成像站點來完成這項任務，這些成像站點通常會采用不同的照明光源、相機系統和鏡頭產品。
公司開發出了一套基于旋轉臺的檢測系統來執行這項任務（見圖1）。在操作中，零件通過一個振動碗加載到旋轉臺上，隨后零件在旋轉臺上旋轉經過多個成像站點，以檢測其頂部缺陷、底部缺陷、內部缺陷和內部缺陷。該系統使用多個視覺檢測站點對小零件進行全方位的檢查，如檢查墊圈、螺釘和橡膠墊等產品。
圖1：為了開發一套機器視覺系統用于檢查墊圈、螺釘和橡膠墊等小零件，公司使用了一個配有三個視覺站點的旋轉臺。
尺寸和表面
當振動碗給料器（VBF）將小零件加載到系統的旋轉臺上后，系統旋轉，將零件送入到成像站點（見圖2）。在每個零件旋轉時，使用公司的一個激光位移傳感器測量零件的高度，并在經過設定的時間延遲后，觸發第一個成像檢查站的相機。在這里，檢查零件的尺寸。
圖2：在操作中，零件通過一個振動碗加載到旋轉臺上，隨后在旋轉臺上經過多個成像檢查站點，以檢查其（a）尺寸、（b）頂部缺陷、（c）底部缺陷以及（d）內部和周邊缺陷。
在第一個成像檢查站點，在旋轉臺上方安裝了一臺Manta G-504 GigE相機，該相機采用2/3英寸2452×2056 CCD傳感器，配備遠心鏡頭。該相機捕獲零件的彩色圖像，并將圖像通過相機的GigE接口傳送到系統的主機PC中。
接下來，零件被旋轉臺帶到第二個成像檢查站點，在這里相機將捕獲零件上表面的圖像。第二個成像站點同樣安裝了一臺Manta G-504 GigE相機，其配備的是的35mm鏡頭。為了對彎曲表面（常常是高反射的鏡面）精確成像，此處采用的照明光源是圓頂燈，安裝在接近正被成像零件的上方，以便清晰顯現出零件的角度、紋理或形貌特征。
不同的顏色
由于被檢查的不同零件所反射和/或吸收的波長可能不同，因此，該系統中使用的定制圓頂燈包括紅光LED和綠光LED。當零件進入成像檢查站點后，隨即接受紅色光源和綠色光源的漫射照明。
通過這種方式，用紅光照亮零件，將反射紅色的顏色表面特征，相對的綠色的顏色表面特征將變暗。類似地，用綠光照亮零件，將反射綠色的顏色表面特征，紅色的顏色表面特征將變暗。當零件被照亮后，分別在兩種不同光源的照射下，各自拍攝一幅圖像，然后將這兩幅圖像組合，并通過相機的GigE接口傳送到系統的主機PC中。
另外，該系統還在旋轉盤的下方部署了一個相同的成像站點，用于捕獲零件底部表面特征的圖像，然后傳送到主機PC中。
零件內部
除了捕獲零件的高度信息、頂部和底部表面特征之外，通常需要捕獲零件的外表面和內表面的特征。例如，在檢查橡膠圈的案例中，必須分析零件外表面上的分型線，以及在零件內表面上可能出現的任何缺陷。
盡管使用專用的環外側鏡頭和折反射環外側鏡頭，可以減少執行此任務的相機和鏡頭的數量，但在一些情況下，這種鏡頭可達到的分辨率并不足以滿足應用對細節的要求。在這種情況下，則需要采用多相機/鏡頭解決方案。
為了在基于旋轉臺的檢查系統中完成零件的內外側表面檢查任務，公司開發了一套專用的成像系統，其使用12臺相機來完成這項任務。當零件旋轉到該成像系統下時，系統觸發6臺相機對零件的外表面成像；這6臺相機均配備索尼的1600×1200 CCD傳感器，與水平方向成60°角安裝。與此同時，另外6臺配備索尼1600×1200 CCD傳感器的相機也被觸發，用于捕獲零件內表面的圖像；這6臺相機與垂直方向成45°角安裝。隨后，由這12臺相機捕獲的圖像通過GigE接口傳送到系統的主機PC中。
當圖像被系統捕獲時，它們被顯示在平板監視器的圖形用戶界面上（見圖3）。這個界面是使用GTK+編寫的，允許用戶清晰地看到（從上到下順時針）零件的尺寸、表面特征、外邊緣特征和內表面特征。因此，操作者能在系統處理圖像時，看到各個成像站點捕獲的圖像情況。
圖3：在該系統的設計中，公司利用Retina庫，用監督學習來分析圖像。有了這個用戶圖形界面，操作者看到（從頂部到底部）零件的尺寸、表面特性、外邊緣和內表面。
監督式學習
該系統并沒有使用諸如特征分析等標準的圖像處理算法，來檢測特定特征以及每個零件的顏色缺陷，而是使用了一種基于C/C ++庫的人工智能軟件——Retina。與無監督式或半監督式學習算法不同，Retina使用專有算法分析圖像，需要操作員使用一組圖像培訓系統。因此需要配置參數，參數就是用于培訓的圖像。在這種監督式學習系統中，算法使用輸入變量（此處為圖像）和輸出變量（通過或失敗）來學習從輸入到輸出的映射函數。
在該系統中，Retina軟件用于處理來自各個機器視覺站點捕獲的所有圖像。這消除了任何圖像預處理階段，比如用于保持圖像所有信息的圖像閾值處理。
為了培訓該系統，培訓過程需要使用的零件數量，取決于被檢查零件的可變性。對于簡單的零件，培訓過程大約只需要5個零件；對于更復雜的零件，則培訓過程所需的零件數量可能更多。典型情況下，首先要捕獲一個對象的大約100幅圖像。然后對合格和不合格的零件成像，操作者將其輸入系統，對系統進行培訓。一旦培訓完成，將其他零件呈現給系統，并且系統向操作者查詢關于部件的狀況，以加強監督式機器學習。
零件被分類后，它們將圍繞旋轉臺旋轉。為了根據缺陷對零件分類，一個與系統主機相連的PLC，觸發吹氣閥，從而將零件分別放置到不同的箱子中。通過以不同的方式配置系統，零件可以按照“合格”和“不合格”分類，或者也可以根據檢測到的缺陷類型，將零件分別放置到不同的箱子中。在很多情況下，在分類之后，有缺陷的零件可以被再循環或重新生產。
雖然諸如墊圈、螺釘和橡膠墊等小零件的質量可以由人工檢查，但這是一項枯燥乏味、且耗時的重復性勞動。而且，這種檢查也會因為人眼疲勞而出現錯誤，同時人工檢查也不能高速完成，因此這樣的檢查任務更適合讓機器視覺系統去完成。
機器視覺系統除了能更快地執行這樣的檢查任務之外，還可以對每個零件的多個方位成像，從而確保零件的所有部分都制造正確。為了實現這一點，機器視覺系統需要部署多個成像站點來完成這項任務，這些成像站點通常會采用不同的照明光源、相機系統和鏡頭產品。
公司開發出了一套基于旋轉臺的檢測系統來執行這項任務（見圖1）。在操作中，零件通過一個振動碗加載到旋轉臺上，隨后零件在旋轉臺上旋轉經過多個成像站點，以檢測其頂部缺陷、底部缺陷、內部缺陷和內部缺陷。該系統使用多個視覺檢測站點對小零件進行全方位的檢查，如檢查墊圈、螺釘和橡膠墊等產品。
尺寸和表面
當振動碗給料器（VBF）將小零件加載到系統的旋轉臺上后，系統旋轉，將零件送入到成像站點（見圖2）。在每個零件旋轉時，使用公司的一個激光位移傳感器測量零件的高度，并在經過設定的時間延遲后，觸發第一個成像檢查站的相機。在這里，檢查零件的尺寸。
在第一個成像檢查站點，在旋轉臺上方安裝了一臺Manta G-504 GigE相機，該相機采用2/3英寸2452×2056 CCD傳感器，配備遠心鏡頭。該相機捕獲零件的彩色圖像，并將圖像通過相機的GigE接口傳送到系統的主機PC中。
接下來，零件被旋轉臺帶到第二個成像檢查站點，在這里相機將捕獲零件上表面的圖像。第二個成像站點同樣安裝了一臺Manta G-504 GigE相機，其配備的是的35mm鏡頭。為了對彎曲表面（常常是高反射的鏡面）精確成像，此處采用的照明光源是圓頂燈，安裝在接近正被成像零件的上方，以便清晰顯現出零件的角度、紋理或形貌特征。
不同的顏色
由于被檢查的不同零件所反射和/或吸收的波長可能不同，因此，該系統中使用的定制圓頂燈包括紅光LED和綠光LED。當零件進入成像檢查站點后，隨即接受紅色光源和綠色光源的漫射照明。
通過這種方式，用紅光照亮零件，將反射紅色的顏色表面特征，相對的綠色的顏色表面特征將變暗。類似地，用綠光照亮零件，將反射綠色的顏色表面特征，紅色的顏色表面特征將變暗。當零件被照亮后，分別在兩種不同光源的照射下，各自拍攝一幅圖像，然后將這兩幅圖像組合，并通過相機的GigE接口傳送到系統的主機PC中。
另外，該系統還在旋轉盤的下方部署了一個相同的成像站點，用于捕獲零件底部表面特征的圖像，然后傳送到主機PC中。
零件內部
除了捕獲零件的高度信息、頂部和底部表面特征之外，通常需要捕獲零件的外表面和內表面的特征。例如，在檢查橡膠圈的案例中，必須分析零件外表面上的分型線，以及在零件內表面上可能出現的任何缺陷。
盡管使用專用的環外側鏡頭和折反射環外側鏡頭，可以減少執行此任務的相機和鏡頭的數量，但在一些情況下，這種鏡頭可達到的分辨率并不足以滿足應用對細節的要求。在這種情況下，則需要采用多相機/鏡頭解決方案。
為了在基于旋轉臺的檢查系統中完成零件的內外側表面檢查任務，公司開發了一套專用的成像系統，其使用12臺相機來完成這項任務。當零件旋轉到該成像系統下時，系統觸發6臺相機對零件的外表面成像；這6臺相機均配備索尼的1600×1200 CCD傳感器，與水平方向成60°角安裝。與此同時，另外6臺配備索尼1600×1200 CCD傳感器的相機也被觸發，用于捕獲零件內表面的圖像；這6臺相機與垂直方向成45°角安裝。隨后，由這12臺相機捕獲的圖像通過GigE接口傳送到系統的主機PC中。
當圖像被系統捕獲時，它們被顯示在平板監視器的圖形用戶界面上（見圖3）。這個界面是使用GTK+編寫的，允許用戶清晰地看到（從上到下順時針）零件的尺寸、表面特征、外邊緣特征和內表面特征。因此，操作者能在系統處理圖像時，看到各個成像站點捕獲的圖像情況。
監督式學習
該系統并沒有使用諸如特征分析等標準的圖像處理算法，來檢測特定特征以及每個零件的顏色缺陷，而是使用了一種基于C/C ++庫的人工智能軟件——Retina。與無監督式或半監督式學習算法不同，Retina使用專有算法分析圖像，需要操作員使用一組圖像培訓系統。因此需要配置參數，參數就是用于培訓的圖像。在這種監督式學習系統中，算法使用輸入變量（此處為圖像）和輸出變量（通過或失敗）來學習從輸入到輸出的映射函數。
在該系統中，Retina軟件用于處理來自各個機器視覺站點捕獲的所有圖像。這消除了任何圖像預處理階段，比如用于保持圖像所有信息的圖像閾值處理。
為了培訓該系統，培訓過程需要使用的零件數量，取決于被檢查零件的可變性。對于簡單的零件，培訓過程大約只需要5個零件；對于更復雜的零件，則培訓過程所需的零件數量可能更多。典型情況下，首先要捕獲一個對象的大約100幅圖像。然后對合格和不合格的零件成像，操作者將其輸入系統，對系統進行培訓。一旦培訓完成，將其他零件呈現給系統，并且系統向操作者查詢關于部件的狀況，以加強監督式機器學習。
零件被分類后，它們將圍繞旋轉臺旋轉。為了根據缺陷對零件分類，一個與系統主機相連的PLC，觸發吹氣閥，從而將零件分別放置到不同的箱子中。通過以不同的方式配置系統，零件可以按照“合格”和“不合格”分類，或者也可以根據檢測到的缺陷類型，將零件分別放置到不同的箱子中。在很多情況下，在分類之后，有缺陷的零件可以被再循環或重新生產。
