机械视觉类型软件范例

機械視覺林宸生逢甲大學自動控制工程研究所LCD檢測PCB檢測PARTICLE檢測SAWTOOTH檢測EYETRACKERLASERSPOT檢測用於液晶顯示器微粒墊片計數之模糊化機器視覺系統研究UsingFuzzifierinMachineVisionSystemforLCDSpacersCounting實例一研究背景與動機液晶顯示器（LiquidCrystalDisplay：LCD）在約1970年代左右，便已經可作為生活上之應用，諸如電子計算器、電子手錶、汽車上的電子鐘、以及一些工業儀器之圖形數字之顯示，液晶顯示器基本上擁有許多優異的特性，例如薄型、重量輕、低電壓驅動、消耗功率低、攜帶方便等優點，因此目前LCD也被廣泛的運用且有逐漸取代映像管(CRT)式顯示器的趨勢，因此提昇液晶顯示器的生產速度以及產品品質，已成為液顯示器製造廠商的當務之急。工業界促進產業升級的過程中，研究發展生產自動化成為首項要務，然而藉著數位影像處理技術的發展，機器視覺的應用範圍變的更寬廣，而機器視覺是一項集合電子、光學、機械、控制等整合性的技術，而目前數位影像處理配合機器視覺系統，已被廣泛的利用來作為生產線上自動量測的重要工具，以提昇生產品質與生產效率。本研究的實際效能1.降低人工成本，同時減少熟練人員的訓練。2.避免人力從事機械化的工作，使人員有較高的創作能力。3.加快生產線檢測速度，降低生產成本。4.提昇檢測準確度，改善產品品質。5.可藉著統計檢測參數，診斷、修正生產線上系統。研究方法及範圍1.如何在生產線中架構一套影像擷取系統，而不改變原生產線架構。2.利用群化理論分離在不同型號下，產生光罩不同明暗度的微粒墊片與背景。3.利用模糊理論發展浮動閥值之自動擷取演算法。4.發展正確計數微粒墊片的演算法。5.檢出過分重疊或群聚的微粒墊片。6.統計分析同一片光罩上的微粒墊片的分佈密度。7.加快演算法過程，以配合生產線速度。微粒墊片自動檢測之基本架構個人PCLCD光罩同軸光源顯微鏡頭CCD攝影機目檢用監示器影像擷取卡微粒墊片自動檢測硬體硬體組成示意圖生產線上硬體架構圖顯微攝影機個人電腦螢幕目檢用監視器個人電腦同軸光源液晶顯示器光罩實際光罩圖影像分析程式方塊圖原始影像區別遮罩分離背景與微粒墊片計數遮罩計數微粒墊片膨脹遮罩分析微粒墊片微粒墊片型態分析微粒墊片數量統計區別遮罩設計XY9⊙9區別遮罩區別遮罩將罩住部份的微粒墊片加強特徵區別遮罩掃瞄過範圍微粒墊片被加強特徵群化概念未知的資料第一類第二類已知的資料加強特徵訓練資料找出區別函數區別函數1na,...2a,1a為由1中選出的樣本2nb,...2b,1b為由2中選出的樣本★★★★★★★★★☆▲▲▲▲▲▲▲▲▲▲特徵值A特徵值B12X1n1iiax1n12n1iibx2n1使用區別函數d1i0iWWx)x(g★★★★★★★★★★★★▲▲▲▲▲▲▲▲▲▲▲▲▲)x(g=0★T1T2X1X2特徵空間上的區別函數閥值選擇範圍★★★★★▲▲T1T2X1X2A★★★★★★★★▲▲▲▲▲▲▲▲▲▲▲▲▲▲X灰階臨界點X灰階★★★★★★★★★★★★▲▲▲▲▲▲▲▲▲▲▲▲▲★背景X1X2)x(g=0微粒墊片★★★★★★★★★★★★▲▲▲▲▲▲▲▲▲▲▲▲▲★X1X2)x(g=0背景微粒墊片閥值=137區別遮罩的大小與準確度的關係210211212213214215216292827262524遮罩大小10.5準確度可利用範圍不可用範圍0.95使用4×4區別遮罩的結果使用15×15區別遮罩的結果計數遮罩c(1,1)c(5,5)640X480……………Y……………………計數遮罩展開00標記過後的微粒墊片..........................................................................................................................................................................................................................................................................................膨脹遮罩向左膨脹向上膨脹向右膨脹膨脹方式(a)(b)(c)(d)(e)(f)區別遮罩實驗結果計數與膨脹遮罩實驗組合上光罩下光罩0.08~0.1mmX-YTable旋轉軸Θ下光罩上光罩顯示器顯示器顯微鏡與CCD顯微鏡與CCD固化.小切割X-YTable活動刀座軌道灌液晶真空密封箱小切割後之LCD片基座基座含液晶之海綿海綿吸附後液晶流向液晶版膠封吸附液晶之海綿封口.固化液晶封口ITO膜清洗.目檢.電測.清洗下偏光板上偏光板LCD板ITOPIN腳貼偏光片.終檢包裝.入庫LCD板上下偏光片相差90度結論1.利用群化理論的方法，在對於微粒墊片的影像中，可輕易的判斷出微粒墊片是否存在。2.用9*9區別遮罩對小範圍的影像作處理，較不易受到漸層光場以及不同灰階背景的影響。3.藉著基本的單直輸入輸出的方式，利用模糊演算方法來得到浮動的閥值，以分離微粒墊片及背景，此法可以應付生產線上不同型號的液晶顯示器，以及顯示光罩上不同的圖案、檢測環境光場的變化、雜訊等等，使得我們的檢測系統更具強健性。4.使用計數遮罩與膨脹遮罩的配合，可大大的提高計數的準確度，由實驗證明我們可以得到百分之九十七以上的準確度。5.固定顯微攝影鏡頭的倍率對於計數的準確度有著關鍵的影響，在利用印刷過單位面積圖形的玻璃定位檢測的範圍後之後，需將此時的鏡頭倍率加以固定，以避免不確定的倍率，影響了我們的檢測範圍，如此將會發生計數不準確的現象。6.此系統確實加速了生產線的檢測速度，較以往的人工檢測快了十倍左右的速度，故十分適用於生產線上的檢測。參考文獻[1]林宸生，邱創乾，陳德請，“數位信號處理實務入門”，高力圖書，1996.[2]松本正一，“液晶之基礎與應用”，國立編譯館，1997。[3]林宸生，“數位信號-影像與語音處理”，全華書局，1997。[4]陳連春，“LCD彩色液晶顯示器原理與技術”，建興書局，1992。[5]R.S.CHANG,Y.J.HU,C.S.LIN,DigitalImageProcessingforDetectingCrackGrowthsUsingaCausticMethod,Proc.Natl.Sci.Counc.ROC,March,pp.614-624,1994.[6]AndrewGee,RobertoCipolla,Fastvisualtrackingbytemporalconsensus,ElsevierScience,Vol.14,pp.105-114,1996.[7]C.S.Lin,R.S.Chang,Digitalimageprocessingforevaluatingthecharacteristicsofthemicrostructureofaholographicplate,Optics&LaserTechnology,Vol.29,No.2,pp.97-102,1997.[8]H.W.Tang,V.Srinivasan,S.H.Ong,Invariantobjectrecognitionusinganeuraltemplateclassifier,ElsevierScience,Vol.14,pp.473-483,1996.[9]D.Drankov,H.Hellendoorn,M.Reinfrank,AnIntroductiontoFuzzyControl,Springer,1993.影像處理應用於細微表面微粒之自動評估系統概論微粒影像分析微粒型樣分類及識別系統發展與實驗結果結論與未來研究方向實例二光碟母模版--瑕疵檢測液晶顯示板夾層--微粒計數無塵室灰塵--微粒分析概論問題簡介研究目的改善人工式的檢驗工作提供統計及分析的數據研究內容如何組構一套微粒自動影像擷取系統，擷取數位影像發展微粒影像分割的方法，正確有效的分離出微粒及背景如何正確計數影像中微粒的個數對於每一單獨微粒計算面積、周長、長短軸等數字度量定義特徵參數，利用最小距離分類器做簡易歸類對於特定形狀的微粒，利用識別神經網路來做微粒辨認系統硬體架構位移平台顯微鏡平台＋固定光源控制器模組CCD攝影機個人電腦影像擷取卡測試片NTSC癟腹RS-232-CCCD攝影機影像擷取卡顯微鏡照明系統雙軸位移平台平台控制器模組個人電腦系統功能設計自動二值化影像分割標記微粒計算數字度量形狀分類及識別周長長短軸偏心度緊湊度面積取出單獨微粒微粒辨認微粒正規化非固定形狀固定形狀計數微粒數目影像前處理微粒影像微粒影像分析原始影像二值化平滑濾波微粒填充微粒度量及統計微粒邊緣偵測微粒標記及計數無空洞微粒微粒分析方塊圖1.空間濾波之平滑濾波器目的雜訊免除平滑尖銳的細節空間濾波gxywklfxkyllk(,)(,)(,)1/91/91/91/91/91/91/91/91/9利用3x3mask做空間迴旋積分平滑濾波灰階亮度統計圖(Histogram)graylevelpixelsHISTOGRAM0255暗亮T=閥值擷取值f(x,y)T,則f(x,y)設為255(亮)f(x,y)=T,則f(x,y)設為0(暗)2.二值化影像及自動閥值擷取二值化影像自動閥值擷取作法：利用機率統計的原理來找出最佳的閥值分辨標準量測(discriminantcriterionmeasures)來討論0r0ii1k1r1iik1L0r0i1kii1k0rik1Liik1LP(c)P(k)P(c)P1(k)iP(i/c)iP(k)(k)iP(i/c)iP(k)(k)1111(L)iPiiL102200120101221112111(i)P(ic)(i)P(i)P(ic)(i)PrikiikrikLiikLW()()()()2002112202012101210221BiiLiP分別是群集中(within-class)變異數、群集間(between-class)變異數及總(total)變異數。BWWB222222///()()/()[()()]/()[()]kkkkkkkBB22221最佳化閥值k*為BkLBkMaxk212()()*Gray-LevelHistogram灰階分佈圖;自動閥值擷取threshold=126.目的單獨處理;微粒計數方法區域成長演算法個數=203.微粒標記演算法演算法中採用八鄰接點搜尋1.演算法開始，令標記Label=1。2.自左向右、由上至下掃瞄影像，找尋其值為1的種子點，設定種子點標記=Label。假如找不到種子點，則結束整個標記演算法3.對於種子點周圍同值之像素點做下述操作：由x軸方向(a)自左向右逐點掃瞄影像，若f(x,y)標記為Label，則令f(x,y)八鄰接點中，值為1的像素點標記=Label。(b)自右向左逐點掃瞄影像，若f(x,y)標記為Label，則令f(x,y)八鄰接點中，值為1的像素點標記=Label。改y軸方向(c)由上往下逐點掃瞄影像，若f(x,y)標記為Label，則令f(x,y)八鄰接點中，值為1的像素點標記=Label。(d)由下往上逐點掃瞄影像，若f(x,y)標記為Label，則令f(x,y)八鄰接點中，值為1的像素點標記=Lable。4.經過四個方向掃瞄後，標記為L之微粒被完整取出。指定新的標記Label++