Článek ve formátu PDF je možné stáhnout
zde.
Článek popisuje systém strojového vidění In-Sight 2800 od firmy Cognex. Jde o systém, který umožňuje jednoduché využití metody strojového učení paralelně s klasickými metodami zpracování obrazu pro úlohy strojového vidění. Systém vyvolal velkou pozornost odborníků a získal několik prestižních ocenění. Mezi nimi je i Zlatý Amper 2022 z veletrhu Amper v Brně. Článek představí systém In-Sight 2800, jeho parametry a možnosti využití.
Počet úloh, v nichž se v průmyslové automatizaci využívají různé systémy strojového vidění, stále roste. Jde např. o identifikaci výrobků, kontrolu úplnosti montáže, kontrolu rozměrů, tvarů nebo barev, třídění výrobků a nebo navádění robotů.
Pro úspěšnou integraci strojového vidění je třeba vybrat správnou kameru, objektiv, navrhnout osvětlení, ale také naprogramovat nebo nastavit software pro zpracování obrazu. Dříve bylo nutné každou úlohu naprogramovat nebo nastavit na míru. Protože uživatelé zpravidla nejsou odborníci na strojové vidění, a přesto si chtějí alespoň jednodušší úlohy vyřešit sami, uvítají každé zjednodušení.
V moderních systémech řady In-Sight společnosti Cognex se používají předem připravené nástroje, u kterých postačuje nastavit příslušné parametry bez nutnosti programování. To výrazně zkracuje proces uvedení systému do provozu.
Moderním trendem je využití metod umělé inteligence, nejčastěji v podobě strojového učení. To umožňuje systém natrénovat např. na rozpoznávání a třídění určitých výrobků podobně, jako se stejnou úlohu učí lidský operátor. Natrénovaný systém pracuje nepřetržitě a bez únavy. Je-li to třeba, může stará data zapomenout a natrénovat se na jinou úlohu.
Systém strojového učení se sice neunaví, ale jinak má některá omezení stejná jako lidská obsluha. Musí se předem natrénovat, a to na dostatečné množině dat. Nedostatečně nebo nesprávně natrénovaný systém nepracuje spolehlivě.
Protože systémy strojového učení jsou výpočetně náročné, často se z kamery přenášejí surová nebo jen zkomprimovaná data a obraz se vyhodnocuje ve výkonné počítačové stanici nebo v cloudu. Nevýhodou jsou zvýšené nároky na komunikační infrastrukturu, která musí zajistit přenos velkého množství dat. Problémy pak dále narůstají u aplikací vyžadujících rychlou odezvu. V tomto ohledu je nespornou výhodou systému In-Sight, že snímání a vyhodnocení probíhají lokálně na jednom zařízení. Moduly, v nichž se realizuje tzv. edge computing, jsou vlastně vestavné průmyslové počítače s dostatečným výpočetním výkonem.
Systém strojového vidění In-Sight 2800 (obr. 1) kombinuje klasické metody zpracování obrazu založené na pravidlech s analýzou pomocí strojového učení a je navržen pro úlohy průmyslové automatizace od jednoduché detekce přítomnosti přes vyhledávání a čtení znaků až po složitější úlohy třídění. Jeho hlavní předností je snadná implementace s omezením rizika chybného nastavení nebo naprogramování. Jako trénovací množina mnohdy stačí jen několik vzorových snímků (řádově jednotky až nižší desítky). I na tak malé trénovací množině se naučí spolehlivě rozhodovat.
Snímek je vyhodnocován přímo v systému In-Sight 2800, v jeho výkonné výpočetní jednotce.
Senzor s velkým rozlišením a objektiv s kapalinovou čočkou
Systém In-Sight 2800 je vybaven kamerou se senzorem 1/2,8" CMOS, černobílým a barevným. Rozlišení je VGA (720 × 540 px), 1,6 MP (1 440 × 1 080 px) nebo 2 MP (1 920 × × 1 080 px). Nejkratší doba expozice elektronické závěrky je 29 μs, nejdelší 10 ms s interním osvětlením nebo 200 ms s externím osvětlovačem.
Dodáván je ve dvou provedeních, Multi Torch a Mini. Kamery varianty Multi Torch jsou vybaveny objektivy 8, 12 či 16 mm s manuálním ostřením nebo HSLL, varianta Mini má objektivy 6,2 nebo 16 mm HSLL.
Objektiv HSLL je objektiv vybavený vysokorychlostní kapalinovou čočkou (High Speed Liquid Lens). Kapalinová čočka je optický člen obsahující kombinaci optické kapaliny a polymerové membrány. Vnitřní prostor čočky je naplněn optickou kapalinou a utěsněn tenkou, elastickou polymerní membránou. Průhyb membrány je ovládán tlakem uvnitř optického členu. Ten se mění přivedením napětí na cívku v kroužku u obvodu membrány (podobně jako u reproduktoru). Pohyb kroužku zvýší nebo sníží tlak na membránu a tím se změní její průhyb, tedy i optická mohutnost čočky.
Kapalinové čočky umožňují dynamické automatické zaostřování i v úlohách s velkou variabilitou a požadavky na velmi rychlé snímání. S tím, jak se mění vzdálenost od objektu ke kameře, objektiv automaticky upravuje zaostření snímek po snímku, přičemž nejsou třeba žádné mechanické díly ani ruční zásah a přeostření trvá jen 2 až 3 µs.
Systém In-Sight 2800 je vybaven také výkonnou interní osvětlovací soustavou RGBW. Varianta Multi Torch má kruhový osvětlovač se čtyřmi vysoce svítivými vícebarevnými LED (červená, zelená, modrá, bílá), varianta Mini s objektivem 6,2 mm má čtyři menší LED s modrým, červeným nebo bílým světlem a volitelně s IR osvětlením a varianta Mini s objektivem 16 mm má čtyři vysoce svítivé červené nebo bílé, popř. infračervené LED. Vícebarevné osvětlení umožňuje optimalizovat kontrast obrazu pro danou úlohu.
Celý systém je velmi modulární: na základní jednotku se senzorem se nasadí adaptérová deska, na ni vhodný objektiv, osvětlovač, popř. pásmový filtr a kryt. Výstupní konektor může být v optické ose nebo kolmo k ní (obr. 2).
Systém má ethernetové rozhraní s protokoly TCP/IP, Profinet, EtherNet/IP, SLMP, OPC UA a FTP. Dále jsou k dispozici dva opticky oddělené digitální vstupy, dva digitální výstupy a dva uživatelsky konfigurovatelné I/O. Krytí IP67 a rozsah pracovních teplot 0 až +40 °C vyhovuje pro většinu úloh v průmyslové automatizaci nebo logistice.
Software pro klasické zpracování obrazu i umělou inteligenci
Systém In-Sight 2800 se programuje pomocí uživatelského rozhraní EasyBuilder v rámci sady In-Sight Vision Suite. Průvodce provede vývojáře krok za krokem celým nastavením, od parametrů snímání obrazu, nastavení nástrojů až po úpravu grafického rozhraní (GUI), a umožňuje novým i zkušeným uživatelům konfigurovat různé úlohy metodou Point & Click, bez nutnosti programování. Na obr. 3 je ukázka nastavení kontroly zapojení konektoru.
V systému In-Sight 2800 je k dispozici obsáhlá knihovna nástrojů pro úlohy strojového vidění, která poskytuje přístup k průmyslově ověřeným algoritmům založeným na pravidlech, jako jsou měření vzdálenosti, počítání pixelů, počítání vzorů a různé matematické a logické operace. Pro složitější úlohy lze využít software ViDi EL, který pomocí předem připravené sady algoritmů založených na umělé inteligenci řeší úlohy jako pokročilá segmentace a klasifikace.
Trénování neuronové sítě v systému ViDi EL je jednoduché a rychlé: mnohdy vyžaduje jednotky snímků pro jednu třídu objektů a poskytuje spolehlivé výsledky, přičemž není třeba žádné programování ani odborné znalosti umělé inteligence.
Obecně mají umělé neuronové sítě velkou nevýhodu v nutnosti zdlouhavého přeučovaní nad velkým množstvím vstupních dat. Firma Cognex tento problém vyřešila tak, že systém dodává už předem natrénovaný a pro danou úlohu jej vlastně stačí jen „doučit“. Potom mohou ke spolehlivé funkci neuronové sítě stačit opravdu i jednotky snímků.
Nástroj ViDi EL Classify využívá strojové učení k automatické klasifikaci objektů do tříd i na základě velmi jemných odlišností ve vzorových snímcích každé třídy (obr. 4, obr. 5). Třídy se mohou lišit prakticky jakoukoliv vizuální vlastností, např. tvarem, zbarvením nebo přítomností defektů. Výhodou je eliminace použití velkého množství standardních nástrojů pro řešení komplexních úloh. Stačí pořídit vzorové snímky a přiřadit je do správné kategorie. Nástroj je možné použít v široké škále úloh od jednoduchého třídění na vyhovující a nevyhovující objekty až po složitou klasifikaci dílů s různými variantami. V obrazu je navíc možné definovat několik oblastí zájmu a objekt klasifikovat v jednom snímku z několika hledisek. Například na desce plošných spojů lze současně kontrolovat úplnost montáže, popis na procesoru a správnou orientaci konektoru.
Nástroj ViDi EL Read umí prostřednictvím pokročilého optického rozpoznávání znaků (OCR) přečíst texty s různými typy písem (obr. 6, obr. 7, obr. 8). Přečte i víceřádkový text a text na pozadí, které jsou z hlediska čtení problematické, včetně textů na odrazných, málo kontrastních a nerovných površích. Nástroj je možné rychle přetrénovat, aby zvládl jiné texty a přizpůsobil se různým provozním variantám.
Příklady použití
Na obr. 4 je příklad jednoduchého třídění těsnění na vyhovující a vadné kusy. Využívá se při tom nástroj ViDi EL Classify. Složitější úloha je třídění ozubených kol do různých tříd na obr. 5. Systém se nejprve natrénuje na třídění ozubených kol do čtyř tříd (a). Snímač potom snímá ozubená kola na dopravníkovém pásu (b) a určuje, do které třídy kolo patří (c). Na obr. 6 je příklad čtení obtížně čitelných popisů na dílech pro automobilový průmysl.
Možnosti použití jsou opravdu široké a v různých oblastech průmyslu. Ještě alespoň dva příklady z jiných oborů, než je strojírenská výroba: obr. 7 znázorňuje úlohu kontroly přítomnosti uzávěru na osvěžovačích vzduchu a obr. 8 kontrolu čísla šarže a data exspirace na skleněných ampulích s vakcínou.
Závěr
Výhody nového systému In-Sight 2800 shrnuje Carl Gerst, výkonný viceprezident pro produkty, platformy a řešení společnosti Cognex: „Nikdy nebylo snazší implementovat metody strojového učení (deep learning) u výrobních strojů a linek. Systém In-Sight 2800 lze trénovat pomocí několika snímků, aby bylo možné automatizovat vše od jednoduchých kontrol vyhověl/nevyhověl až po pokročilou klasifikaci a třídění – a není potřeba žádný počítač ani znalosti programování.“
Petr Bartošík
(Obrázky a video: Cognex Corporation)
Obr. 1. Systém strojového vidění In-Sight 2800 od firmy Cognex
Obr. 2. Komponenty systému In-Sight 2800 Multi Torch: základní jednotka, adaptér, objektiv, osvětlovač, volitelné pásmové filtry, kryt
Obr. 3. Easy Builder – ukázka nastavení kontroly zapojení konektoru
Obr. 4. Třídění těsnění na vyhovující a vadné kusy
Obr. 5. Třídění ozubených kol do několika tříd: a) definování čtyř tříd, b) snímání, c) výsledky klasifikace
Obr. 6. Čtení obtížně čitelných popisů na dílech
Obr. 7. Kontrola přítomnosti uzávěru na osvěžovačích vzduchu
Obr. 8. Kontrola data exspirace a čísla šarže na ampulích s vakcínou