Článek ve formátu PDF je možné stáhnout
zde.
Trojrozměrné strojové vidění není tou nejjednodušší metodou rozpoznávání předmětů. Protože je však nejblíže ke vnímání lidskýma očima, má široké uplatnění a stále více se používá v praxi, spolu s metodami strojového učení. Velkými oblastmi využití v průmyslové výrobě jsou viděním naváděné roboty (VGR, Vision Guided Robotics) a automaticky naváděná vozidla (AGV, Automated Guided Vehicles), kde 3D vidění v současné době vytváří zcela nová řešení v souladu s koncepcemi chytré výroby. Nové moduly COM-HPC, např. od společnosti congatec, mohou vést k výraznému zvýšení výkonu a zároveň posílit trend konsolidace hardwaru v obou oblastech.
Trh 3D strojového vidění se vyvíjí velmi dynamicky s roční mírou růstu téměř 15 %. Za jednu z hlavních hnacích sil tohoto růstu se považuje stárnutí světové populace. Tento aspekt má dva rozměry: na jedné straně klesá počet lidí v produktivním věku. Na druhé straně roste počet lidí, kteří potřebují péči. To způsobuje nedostatek pracovníků v obou směrech a vyžaduje další roboty. V odvětví průmyslové výroby se roboty navrhují tak, aby co nejefektivněji vyráběly všechny druhy výrobků. Ve zdravotnictví se roboty používají k usnadnění péče nebo k zachování autonomie a mobility osob. Celkově vzato, roboty usnadňují mnoho věcí.
Trojrozměrné vidění čeká velká budoucnost
Ovšem než budou lidé obklopeni armádami dvounohých humanoidních robotů, zbývá konstruktérům ještě mnoho práce. Většina inspekčních systémů je např. stále statických a ukotvených na jednom místě. Odvětví VGR se rychle rozvíjí, ale i zde je mobilita ještě poměrně omezená, ačkoliv podíl mobilních robotů dynamicky roste. Inspekční roboty, které jsou pevně zafixovány na svém místě, mají jeden hlavní úkol – pozorně se dívat, a to stále častěji i trojrozměrně. Kamerové systémy pro 3D jim pomáhají identifikovat objekty ze tří stran (osy X, Y a Z), měřit vzdálenosti a plnit zadaný úkol. Mimochodem, hlavní hybnou silou růstu odvětví je potřeba větší flexibility v diskrétní výrobě. Flexibilita hraje v moderní chytré výrobě, kde se uplatňují principy průmyslu 4.0, stále důležitější roli vzhledem k trendu automatizovat i malosériovou a kusovou výrobu.
Systémy VGR často spolupracují s AGV, které se používají hlavně jako vozíky pro přísun a odebírání materiálu v diskrétní výrobě. Očekává se také dynamický růst poptávky po AGV, s roční mírou 14,1 % do roku 2027. Vozíky AGV přepravují produkty ve výrobních závodech, skladech a distribučních centrech, čímž eliminují nebo minimalizují potřebu stálých dopravníkových systémů, např. pásových nebo válečkových. Sledují konfigurovatelné cesty a umožňují tak optimalizovat procesy skladování, vychystávání a přepravy. Používají se především v centrálních zásobovacích tepnách průmyslových závodů, které nesmí být blokované dopravníky. Nakonec se mohou zkombinovat se systémy VGR a stanou se z nich mobilní roboty typu pick and place.
Klíčem je modularita
Při pohledu na velmi pokročilé mobilní robotické systémy je zřejmé, že mívají několik subsystémů. Například existují mobilní roboty se čtyřma nohama, které používají tři moduly Computer-on-Module: jeden pro orientaci, druhý pro pohyb a třetí pro provádění úkolů (viz [ANYmal C – odolný čtyřnohý robot se třemi mozky. Automa, 2021, č. 4-5, str. 44 až 46, https://automa.cz/Aton/FileRepository/pdf_articles/13517.pdf]). Jde o ideální přístup, protože umožňuje výrobci škálovat počítače v modulech podle konkrétních požadavků každého z těchto úkolů. Při výrobě robotizovaných pracovišť s několika roboty je také běžnou praxí vybavit každý robot vlastním řídicím systémem. Je však rovněž možné sloučit řídicí systémy všech robotů ve výrobní buňce do jednoho systému, která komunikuje přímo a v reálném čase prostřednictvím dvouvodičového Ethernetu s akčními členy a měniči pohonů. Taková konsolidace však vyžaduje vyspělou platformu založenou na výrazně výkonnějších modulech, než jaké dosud byly k dispozici v průmyslovém provedení. Mimochodem, prototyp zmíněného čtyřnohého robotu používal k zajištění požadovaného výpočetního výkonu a schopnosti pracovat v reálném čase deset procesorových jader. Takové procesory pro mobilní vestavné systémy s ultra nízkou spotřebou ale zatím nejsou k dispozici.
Větší počet jader posiluje víceúčelovost
S ratifikací specifikace COM-HPC standardizační komisí PICMG je však nyní k dispozici výrazně větší výpočetní výkon, který daleko převyšuje výkon modulů COM Express. To platí zejména pro kategorii serverů, protože moduly COM-HPC Server v budoucnu umožní umístit serverové procesory do odolných a škálovatelných pájitelných modulů základní třídy (obr. 2). To dovolí realizovat víceúčelová integrovaná řešení edge computingu, na kterých lze konsolidovat i ty nejnáročnější decentralizované řídicí systémy v reálném čase. To vyžaduje hypervizory pro virtuální stroje schopné pracovat v reálném čase (obr. 3). Jedním z osvědčených dodavatelů je firma Real-Time Systems. Taková řešení s hypervizorem a se schopností pracovat v reálném čase jsou nezbytná k zajištění nepřerušeného deterministického řízení v reálném čase, i když se HMI výrobní buňky, které je na stejném procesoru, právě restartuje nebo když integrovaná brána IoT zaneprazdňuje procesor převáděním a vyhodnocováním velkých objemů strojních dat a požadavky na paralelní zpracování různých úloh.
Potřeba zrychlení pro větší výkon
Ale i bez integrace různých subsystémů do jednoho modulu je použití COM-HPC pro trojrozměrné vidění v zásadě nutností, protože zpracování obrazu ve 3D je složitý úkol, který např. zahrnuje vytváření mračen bodů zachycených metodou Time-of-Flight (ToF). To vytváří obrovské množství dat, protože na jeden pixel se generuje 32 bit prostorových souřadnic. Při rozlišení 640 × 480 px a při 30 snímcích za sekundu (fps) tak systém generuje 35 MB/s. K tomu se přidávají informace o barvě jako u klasické 2D kamery a obvykle čtyřikrát vyšší rozlišení senzoru. Při 1,2 Mpx (1 280 × 1 024 px) a osmibitové barevné hloubce na kanál je nutné přidat dalších 112,5 MB/s. Systém tedy musí dokázat zpracovat surová data v celkovém objemu kolem 150 MB/s. Také stereoskopické vidění se dvěma kamerami a volitelně strukturovaným světlem procesor vysoce výpočetně zatěžuje. To se promítá do výjimečně vysokých požadavků na datovou propustnost a heterogenní výpočetní výkon CPU a GPU. Pro tyto případy se v současné době doporučuje první generace modulů COM-HPC, založená na procesorech Intel® Core™ jedenácté generace (s kódovým označením Tiger Lake). Ačkoliv jde o klientské moduly COM-HPC, nabízejí atraktivní funkce, které jiné standardy modulů neposkytují. Zaprvé podporují plné rozhraní PCIe Gen4 (obr. 1), a proto mají ve srovnání s PCIe Gen3 dvojnásobnou šířku pásma mezi kamerami a procesory i mezi samostatnými GPU, které se používají k masivně paralelnímu zpracování obrazových dat a algoritmů AI. To je zkombinováno s nativní podporou kamer s rozhraním MIPI-CSI, což snižuje náklady na kamerovou techniku a zvyšuje výkon rozhraní. Moduly navíc mají vysoce konfigurovatelné možnosti připojení k Ethernetu, ve startovací sadě congatec COM-HPC od 8× 1GbE a 2× 2,5GbE včetně podpory TSN až po duální připojení 10GbE. Tuto podporu lze dále rozšířit o dvouvodičový Ethernet, který pak umožňuje efektivní připojení nejmenších periferních zařízení, jako jsou jednotlivé senzory a akční členy.
Ekosystém AI je zásadní
Kompletní podpora umělé inteligence pro kamery s rozhraním MIPI-CSI, kterou firma congatec poskytuje, ještě zvyšuje připravenost na aplikace pro síťové vestavné systémy IIoT a průmyslu 4.0. Metody AI a zrychlení inference lze implementovat na CPU pomocí instrukcí vektorových neuronových sítí (VNNI) založených na Intel® DL Boost a na procesor GPU využívající osmibitové celočíselné instrukce (Int8). Další atraktivní funkcí v této souvislosti je podpora ekosystému Intel Open Vino pro AI. To zahrnuje knihovnu funkcí a optimalizovaná volání pro jádra OpenCV a OpenCL k urychlení úloh hlubokých neuronových sítí napříč platformami, což umožňuje rychleji získat přesnější výsledky inference metodami AI. Laboratoř autonomních systémů společnosti Intel Labs China již pro vzdělávací účely představila platformu založenou na modelu COM Express (obr. 4). Kromě toho je už k dispozici sada Ready for Production, certifikovaná společností Intel pro konsolidaci pracovního zatížení. S novými moduly COM-HPC je nyní možné využít ekosystém OpenVINO od softwarových knihoven po adaptivní interakci člověka s robotem (AHRI) nebo simultánní lokalizaci a navigaci (SLAM).
Nosná deska ATX conga-HPC/EVAL-Client
Nosná deska ATX conga-HPC/EVAL-Client nabízí vše potřebné pro využití inteligentního vidění v robotice a v autonomních logistických vozících. Je vybavena dvěma výkonnými rozhraními PCIe Gen4 x16 a širokou škálou variant LAN s různými šířkami pásma dat, přenosovými protokoly a konektory – včetně podpory 2× 10GbE, stejně jako 2,5GbE a 1GbE. S využitím mezzaninové karty může nosná deska obsluhovat dokonce ještě výkonnější rozhraní, až do 2× 25GbE, a proto je tato vývojová platforma perfektním řešením pro masivní připojení zařízení edge. Jádrem představené startovací sady pro vývoj systémů COM-HPC Client je modul conga-HPC/cTLU Computer-on-Module, který je k dispozici v konfiguracích s různými procesory. Pro každou z těchto konfigurací existují tři různá řešení chlazení pro celý rozsah od 12 do 28 W konfigurovatelného TPD procesorů Intel® Core™ jedenácté generace.
Zeljko Loncaric, Marketing Engineer, congatec AG
Řešení 3D vidění od firmy Basler, partnera společnosti congatec a dodavatele vestavných systémů strojového vidění
Kamerový systém pro 3D vidění založený na hlubokém učení se skládá z kamer Basler blaze, která využívá metodu Time-of-Flight (ToF) a již lze snadno kombinovat s vestavnými systémy od společnosti congatec. Kamera Basler blaze snímá 3D obrazy s vysokým rozlišením s téměř milimetrovou přesností. Nejenže vytváří obraz ve stupních šedi, ale také zachycuje vzdálenost ke každému jednotlivému pixelu pomocí metody ToF pro měření doby šíření světelných pulzů v blízkém infračerveném spektru. Výsledný obraz je poté k dispozici jako 3D mračno bodů, které poskytuje další informace o zachycené scéně. Ve srovnání s 2D obrázky RGB jsou barevné informace nahrazeny údaji o tvaru, což má nejen výhody pro současnou detekci červených a zelených jablek (obr. 5), ale rovněž to umožňuje řešit další úlohy, jako je přesné umístění a měření detekovaných objektů. Uživatelsky přívětivé a na platformě nezávislé programovací rozhraní kamery Basler blaze usnadňuje integraci softwaru Deep Learning DS od společnosti Data Spree. Toto snadno použitelné softwarové řešení založené na hlubokých neuronových sítích (Deep Learning) umožňuje vývoj modelů hlubokého učení bez předchozích znalostí a výrazně zjednodušuje jednotlivé kroky vývoje systému – od sběru vstupních dat a anotací, trénování sítě a nasazení až po implementaci natrénované sítě na cílovém hardwaru.
Snadná integrace kamery s rozhraním BCON pro MIPI
Bez ohledu na konečnou strukturu modulu COM a vestavného systému založeného na nosné desce představují kamery řady Basler dart perfektní východisko pro přidání zpracování obrazu k běžným procesorovým jednotkám (obr. 6). Na základě standardu rozhraní kamery MIPI CSI-2, speciálně vyvinutého firmou Basler, je snadné integrovat jejich proprietární rozhraní BCON s rozhraním MIPI. To znamená, že BCON lze pro modely s MIPI použít stejně snadno jako jakékoliv jiné rozhraní kamery typu plug-and-play, např. USB 3.0. BCON je zkratka Basler Connectivity, což znamená přidání osvědčených a výkonných funkcí strojového vidění k zavedeným standardům přenosu dat v oboru vestavných systémů (jako jsou LVDS nebo MIPI CSI-2). Díky integraci do světa standardů strojového vidění (GenICam) a díky SDK pylon od firmy Basler je přístup k základním technologiím strojového vidění uživatelsky přívětivý tak jako nikdy dříve.
Výsledek: stabilní přenos dat s velkou šířkou pásma.
Obr. 1. Moduly COM-HPC společnosti congatec s procesory Intel Core jedenácté generace zdvojnásobují datovou propustnost díky podpoře PCIe Gen4
Obr. 2. Moduly typu Server-on-Module díky svému standardizovanému formátu zaručují dlouhodobou dostupnost a jsou ideální pro vyvážení
výkonu odolných modulárních serverů v mobilních logistických vozících a robotických systémech naváděných strojním viděním
Obr. 3. Pro konsolidaci několika aplikací edge do jednoho systému podporují moduly Server-on-Module společnosti congatec využití hypervizoru reálného času od firmy Real-Time Systems
Obr 4. Vzdělávací sada vyvinutá Laboratoří autonomních systémů ve společnosti Intel Labs China, založená na modulech Computer-on-Module congatec, nabízí tři úrovně rozšíření