Vývoj dispečerských center vodovodů a kanalizací v reakci na covid-19

Nové požadavky na dispečerské řízení

Obecně můžeme konstatovat, že epidemická situace zapůsobila na technický rozvoj přeneseně jako urychlovač přechodu k vyšším formám automatizace. Došlo ke změně priorit požadavků, zejména schopnosti rychle reagovat na měnící se podmínky provozování a být pružný v řešení provozních situací, hlavně v rovině nestabilního personálního zabezpečení v krizových podmínkách.

V oblasti dispečerské techniky pozorujeme následující trendy:

• Rostoucí podíl práce na dálku,
• Flexibilní uspořádání SCADA center,
• Širší využití technologie cloudu pro provoz SCADA,
• Odolnost dispečerské infrastruktury proti výpadkům,
• Sbližování výrobních a IT technologií.

Zajímavostí je, že všechny aspekty jsou určitým způsobem provázány a vzájemně se doplňují. Poslední měsíce provozu v krizovém prostředí, kdy byl omezován fyzický kontakt mezi členy pracovních týmů, potvrdily nezastupitelnost dispečerské techniky jako prostředku pro udržení integrity provozu vodárenské infrastruktury.

Dispečinky již dříve dokázaly svoji potřebnost při efektivním provozování soustav zásobování vodou. Poslední měsíce navíc ukázaly i další potenciál posunutím fyzických a organizačních hranic při využití dispečerské techniky, podporou koordinované spolupráce pracovních týmů na dálku a v reálném čase.

V krizových situacích, kdy provozovatel musí počítat s každodenní nejistotou fyzické dostupnosti pracovní síly, je důležitou výhodou možnost disponovat pružností při naplnění různých pracovních scénářů a operativně tak delegovat kompetence řízení dispečinku na různá výkonná pracoviště buď přímo z hlavního centra, nebo vzdáleně z domova či jiného záložního pracoviště. S touto schopností je nedílně spojena potřeba zabezpečení řídicích kompetencí před zneužitím. Vodárenské společnosti, které se v předchozích letech věnovaly technické přípravě na krizové podmínky vytvořením odolné a pružné infrastruktury dispečinku, tak s výhodou mohly prověřit jejich účinnost.

SCADA a cloud – využití cloudu v architektuře dispečerských center

Využití cloudu pro provoz dispečerských center není sice žádnou novinkou, nicméně využití tohoto provozního modelu se u uživatelů stále setkává s jistou obezřetností a nedůvěrou. Například QLine dlouhodobě provozuje „dispečink jako službu“ svého dispečerského centra se SCADA sofware Retos.net^® ve veřejném cloudu od roku 2006. V současnosti již pro více než 50 menších provozovatelů i několika větších vodárenských společností.

V praxi je zřejmý rozdíl mezi přístupem malých utilit k této technologii, kde webový dispečink formou garantované služby kompletně naplňuje roli řídící instance, a velkých utilit, u kterých dispečink v cloudu funguje pouze pro bezpečnou prezentaci a sdílení provozních informací se zákazníky, jako uložiště pro zálohování dat nebo jako alternativní připojení ke vzdáleným lokalitám. I začlenění sběru dat ze sítí IoT do SCADA infrastruktury je často provedeno prostřednictvím konektivity cloudu.

Obezřetnost před externí závislostí u modelu s cloudem je naprosto pochopitelná, zejména u větších provozovatelů, a to vzhledem ke klíčovému významu dispečinku pro řízení. Proto větší provozovatelé naopak využívají opatření resilence pro zvýšení provozní odolnosti, a tím i vlastní soběstačnosti. Přesto je zajímavé znát a v individuálních případech zvážit i využití instancí SCADA v cloudu, jako možné součásti krizových scénářů.

Možnou situací může být případ vyřazení počítačové sítě z provozu po kybernetickém útoku. Zkušenosti posledního roku totiž ukázaly, že opětovné sestavení počítačové sítě je u společností s vyššími desítkami počítačových pracovišť otázkou týdnů a tak dlouhé provozní výpadky nejsou při zásobování pitnou vodou akceptovatelné. V těchto případech může být rychlá obnova SCADA center v dočasném prostředí cloudu užitečným řešením. Provozní nasazení si ale vyžaduje splnění několika technických předpokladů, jako flexibilní architektura center telemetrie se vzdáleným přístupem ke řídicím modemům, provádění operačních záloh konfigurace SCADA software s možností rychlé aktivace klonu původní instance SCADA (vlastnost konkrétního produktu).

Protože realizace SCADA v cloudu je v zásadě logickým krokem ve vývoji automatizační technologie, je užitečné si přiblížit technické zvláštnosti tohoto uspořádání. Při této architektuře systému je třeba věnovat pozornost zejména minimalizaci datových toků mezi SCADA v cloudu a uživateli a rovněž při sběru a zpracování dat z telemetrie. Což v praxi znamená například přechod od obvolávací strategie master – slave při sběru dat k úsporným přenosům při významnější změně hodnoty. Obdobný princip se uplatní při záznamu provozních dat do databáze. Toto sníží datové toky při komunikaci s externím centrem.

Dalším důležitým bodem je rozhodnutí, zda pro komunikaci použít privátní nebo veřejný cloud. Zdá se, že nejvhodnějším řešením je hybridní cloud (viz obr. nahoře), který spojuje vyšší zabezpečení dat v prostředí privátního cloudu s výhodou bezbariérového a současně bezpečného přístupu z veřejného cloudu. Přínosem umístění SCADA do cloudu je menší starost o hardware, software, infrastrukturu, a tím i nižší náklady na údržbu. Díky cloudovému nasazení je využití SCADA více flexibilní.

Univerzální řešení modelu s cloudem neexistuje, každá společnost si může – musí vytvořit svůj provozní model dle individuálních požadavků na cenu řešení, škálování výkonu a bezpečnost.

Nastupující technologie edge computingu

Určitou reakcí na trend centralizace a přesunu interních systémů do cloudu je nastupující technologie označovaná jako edge computing. Jedná se o uplatnění myšlenky distribuovaných systémů známé z klasické teorie řízení. Kde je řízená soustava ovládána nikoliv z jednoho centra, ale řízení je rozloženo do několika provozních uzlů, které mají vlastní logiku řízení spojenou s chováním uzlu a současně jsou cloudem nebo místním SCADA systémem integrovány do jedné soustavy.

S řešením edge computingu se nyní můžeme potkat zejména v souvislosti se sítěmi IoT, které většinou završuje cloud, na jehož datovém rozhraní jsou data poskytována dalším systémům. Při této architektuře ale reakce návazného systému často neodpovídají potřebám technologického řízení. Je to dáno omezenou frekvencí přenosu naměřených dat do cloudu. Kvůli provozním limitům koncových zařízení IoT a době zpracování přenášených informací ve vzdáleném cloudu lze v této architektuře ovládat jen děje s pomalejším průběhem. Toto omezení částečně odstraňuje infrastruktura edge computing, ve významu předsunutého uzlového zařízení, které je součástí vyšší úrovně hierarchie řízení, kterou může být infrastruktura cloudu nebo SCADA systém. Uzlové (edge node) zařízení si lze představit jako koncentrátor dat s vlastní logikou umožňující vyhodnotit situaci a reagovat v reálném čase, nebo se může jednat o komunikační bránu do cloudu nebo jiné řídící struktury, použitou pro integraci lokálních systémů do jednoho celku.

Resilence – odolnost infrastruktury proti výpadkům

Jedním z cílů digitální transformace (v jiné terminologii také Průmysl 4.0) je zajistit vyšší odolnost provozovatelů a výrobců obecně. Kvalita a dostupnost klíčových dat v reálném čase z objektů vodovodní sítě spolu s dálkovým ovládáním jsou základem fungování každého vodárenského dispečinku. Pro získání provozní odolnosti a udržení si této schopnosti v prostředí s rizikem možných výpadků je potřeba do architektury dispečinku zabudovat alternativní klíčové prvky a zavést organizační opatření s tím spojená. Aktuálně je třeba počítat v krizových scénářích s těmito základními komplikacemi: dodávky elektřiny, poruchy klíčové techniky dispečinku nebo nedostupnost přenosových sítí.

S ohledem na charakter dispečerské infrastruktury ve vodárenství připadají pro vyvážení rizik do úvahy tyto techniky provozní odolnosti: redundance klíčových částí, zálohování dat serverů telemetrie, pružná topologie systému, autonomní provoz dílčích celků v ostrovním režimu. Všechny tyto techniky slouží k pokrytí výše uvedených rizik provozu a jejich cílem je udržení schopnosti dálkového měření a ovládání i při dílčích výpadcích některé ze systémových komponent telemetrie, byť s omezeným komfortem obsluhy. Pro dispečerskou infrastrukturu je zásadní zejména dostupnost serverů telemetrie, počítačových sítí propojujících servery telemetrie s dispečerskými pracovišti a řízení sítí sběru dat.

Redundanci klíčových prvků řízení a komunikačních prostředků jsem podrobně rozebíral ve svém příspěvku zde na konferenci ve Zlíně 2019. Hlavní pozornost je třeba věnovat serverům telemetrie a řízení přenosových sítí. Se zdvojováním serverů úzce souvisí i problematika sdílení provozních databází mezi hlavní instancí SCADA a stroji v záloze. Což se například u SCADA Retos provádí průběžným vytvářením záložní sady dat, obsahující i aktuální parametry řízení na sdíleném uložišti. Z této sady dat lze v krátkém čase vytvořit na záložními stroji klon instance řízení, který může ihned převzít hlavní roli. Obdobnou techniku používají soustavy s pružnou topologií.

Pružná topologie je odpovědí na požadavek, jak s co nejmenším počtem serverů a dispečerských pracovišť efektivně zabezpečit spolehlivý provoz dálkového měření a ovládání z dispečerských pracovišť. Jedná se samozřejmě o větší dispečerské systémy s řadou provozních uzlů propojených páteřní počítačovou sítí. Předpokladem nasazení pružné topologie je vhodný SCADA systém, který umožňuje v čase blízkém reálnému přenášet kompetence řízení mezi různými servery a technické uspořádání infrastruktury umožňující vzdálené sdílení řídicích modemů přenosových sítí. Pří výpadku některého z řídicích serverů může jeho roli převzít jiný z provozní zálohy. Důležité je, že proces převzetí instance řízení včetně aktuálního provozního kontextu může proběhnout řádově v desítkách nebo jednotkách minut podle toho, zda se jedná o studenou nebo horkou zálohu.

Jak jsem zmínil v předchozí kapitole, v rámci přípravy záložních scénářů stojí za pozornost i využití platformy SCADA v cloudu pro případ rozsáhlejší ztráty počítačových a síťových prostředků, například z důvodu napadení kryptovirem. Důležitým předpokladem je existence operativních záloh datových sad a časová náročnost reinstalace. Moderní SCADA software jako Retos.net^® tuto funkci již podporují.

V předchozím přehledu jsme si ukázali, že můžeme efektivně zabezpečit provozní odolnost dispečerského systému za pomoci architektury pružného uspořádání, která je tvořena: servery telemetrie (hlavní a záložní), dispečerskými pracovišti (hlavní a záložní), modemy řízení přenosových sítí a páteřní počítačovou sítí s redundantní architekturou.

Sbližování výrobních technologií a IT řešení přináší nové výhody

Koncept Průmyslu 4.0 přináší poptávku po těsnější integraci výrobních a IT technologií a získání většího množství informací z technologického procesu a spolu s tím potřebu využívat i efektivní nástroje na analýzu provozních dat. V posledních letech tak vidíme zrychlené tempo zavádění prvků místní inteligence, včetně schopnosti komunikovat po síti, do řady strojů a zařízení přímo v procesu výroby (uzávěry, čerpací technika, provozní linky, měřicí a regulační technika). Díky získané inteligenci jsou tato zařízení schopná autonomního provozu v rámci linky a díky komunikačním schopnostem může být jejich činnost v rámci provozního celku koordinována prostřednictvím průmyslových sběrnic.

Perspektivní oblastí trendu sbližování může být, jak si vysvětlíme níže, využití senzorů, vyvinutých v rámci průmyslového internetu věcí (IIoT), pro prediktivní údržbu, která přináší výhody jako snížení výpadků zařízení, prodloužení životnosti, přesná data o provozovaném zařízení, verifikaci prováděných oprav a zvýšení bezpečnosti práce.

Trend sbližování souvisí s potřebou uživatelů mít přesná data o provozovaném zařízení a mít tak lepší přehled o probíhajících procesech vodárenských technologií. Znalost aktuálního stavu zařízení je základem pro řízení procesu údržby, a tím i osvědčeným prostředkem pro snižování provozních nákladů. SCADA systémy tuto datovou základnu vytvářejí a poskytují informace o provozních hodinách pohonů nebo o blížících se poruchách na zařízení a jejich energetické spotřebě.

Nově jim v tom pomáhají třeba inteligentní senzory s bezdrátovým přenosem na snímání vibrací pohonů vytvořené v rámci průmyslového internetu věcí (IIoT). Díky bezdrátové komunikaci a vlastnímu zdroji napájení je montáž těchto snímačů do stávajících zařízení technicky jednoduchá stejně jako jejich začlenění do systému řízení a sledování. Pro integraci IIoT čidel do PLC automatů se používá technologie edge computingu, zmíněná v předchozí kapitole.

Navíc užívané SCADA systémy již disponují analytickými nástroji, které umí výstupy měření z těchto čidel efektivně vyhodnotit v kontextu celého provozu. Vedoucí v provozech mohou efektivně hledat nové způsoby, jak optimalizovat procesní linky z pohledu nákladů na energie a provozovat zařízení bez výpadků.

Nastupující technologie IIoT senzorů tak vytváří nový pohled na další rozvoj automatizace procesních linek rovněž ve vodárenství. Cennou vlastností je, že jejich nasazení se díky modularitě a otevřeným řešením často děje formou rozšíření funkcí již existujících prostředků automatizace, což je efektivní z pohledu investičních i provozních nákladů.

Na druhé straně tyto nové technické vlastnosti s sebou přinesly do výrobní úrovně i nové provozní problémy, zejména na straně zajištění počítačové bezpečnosti. Protože vše, co je připojeno přes internet i průmyslový intranet, je současně zdrojem zvýšených bezpečnostních rizik a vyžaduje tak v rámci nasazení i vlastní zabezpečení včetně pravidelných bezpečnostních činností, jako je aktualizace software síťových prvků a vyhodnocování provozu na komunikačních branách.

Společnost QLine je dlouhodobým partnerem vodárenských společností skupin Aqualia, Veolia, Energie AG a řady vlastníků vodárenské infrastruktury, kterým dlouhodobě pomáhá s realizaci řady aplikací technologických informačních systémů a uvádění nových řešení dispečerské a automatizační techniky do provozu. V příspěvku jsou využity zkušenosti z této praxe.