Zanim zbudujesz model Predictive Maintenance, sprawdź dane, na których ma się opierać

Sebastian Dudzik
Produkcja

Nawet najlepszy model nie skompensuje błędów w danych wejściowych

Predictive Maintenance ma pomóc odpowiednio wcześnie rozpoznać pogarszanie się stanu maszyny, ocenić ryzyko awarii i zaplanować właściwą reakcję. Skuteczność takiego podejścia zależy jednak nie tylko od zastosowanych algorytmów, lecz przede wszystkim od jakości danych wykorzystanych do ich przygotowania.

W praktyce dane historyczne dotyczące awarii, prac utrzymaniowych, cykli eksploatacyjnych i sygnałów pomiarowych rzadko są od razu gotowe do analizy. Brakujące pomiary, niespójne identyfikatory części, niekompletna historia zdarzeń czy sygnały zawierające kilkanaście procent brakujących wartości mogą pozostać niezauważone podczas pobieżnego przeglądu danych. Jednocześnie każdy z tych problemów może istotnie wpłynąć na wyniki późniejszego modelowania danych.

To klasyczny problem garbage in, garbage out. Model może zostać poprawnie wytrenowany pod względem technicznym, ale jego wyniki będą oparte na niepełnym lub niespójnym obrazie pracy maszyny. Taki błąd często nie ujawnia się podczas trenowania. Staje się widoczny dopiero wtedy, gdy prognozy przestają odpowiadać rzeczywistemu zachowaniu urządzeń.

Predictive Maintenance Walidator został opracowany po to, aby wykryć problemy z danymi przed rozpoczęciem właściwego modelowania, a nie dopiero po wdrożeniu rozwiązania.

Omawiane narzędzie może być wykorzystywane zarówno na etapie pilotażu Predictive Maintenance, jak i w trakcie eksploatacji wdrożonego rozwiązania. W pilotażu dane z maszyn są zwykle przekazywane w formie plików, jeszcze przed zbudowaniem docelowych integracji z systemami źródłowymi. Możliwość weryfikacji ich jakości już na tym etapie ma duże znaczenie, ponieważ przygotowanie pełnego zestawu integracji jest czasochłonne i kosztowne, a jego wartość zależy od tego, czy dostępne dane rzeczywiście pozwalają zbudować wiarygodny model. Wcześniejsza walidacja pozwala więc podjąć decyzję o zakresie prac zanim poniesione zostaną nakłady na integracje. Po wdrożeniu to samo narzędzie służy do cyklicznej kontroli danych zasilających modele.

Co sprawdza Predictive Maintenance walidator

Predictive Maintenance Walidator nie jest ogólnym narzędziem do kontroli plików Excel i CSV. Uwzględnia strukturę danych wykorzystywanych w projektach Predictive Maintenance, w tym:

  • historię zdarzeń, awarii i prac utrzymaniowych;
  • dane dotyczące cykli eksploatacyjnych części i komponentów;
  • parametry maszyn;
  • sygnały procesowe i pomiarowe pochodzące z czujników.

Walidacja jest prowadzona w trzech kolejnych fazach.

Faza 1 – kompletność zestawu plików

W pierwszym kroku Predictive Maintenance Walidator sprawdza, czy dostarczono podstawowy zestaw danych oraz czy pliki można prawidłowo przypisać do poszczególnych maszyn.

Kontrola obejmuje między innymi:

  • obecność głównego pliku z listą maszyn;
  • obecność historii zdarzeń i parametrów dla każdej maszyny;
  • zgodność identyfikatora maszyny z nazwami przypisanych do niej plików;
  • dostępność plików zawierających sygnały procesowe.

Brak plików wymaganych do dalszego przetwarzania powoduje błąd. Brak danych sensorycznych może natomiast zostać zapisany jako ostrzeżenie, ponieważ jego znaczenie zależy od planowanego zakresu analitycznego.

Jeżeli w tej fazie zostaną wykryte błędy krytyczne, dalsze etapy walidacji nie są wykonywane. Użytkownik otrzymuje raport wskazujący, które elementy zestawu danych należy uzupełnić lub poprawić.

Faza 2 – walidacja strukturalna

Druga faza sprawdza poprawność budowy poszczególnych plików.

Predictive Maintenance Walidator weryfikuje między innymi:

  • obecność wymaganych kolumn;
  • zgodność identyfikatorów maszyn;
  • typy danych;
  • formaty dat i znaczników czasu;
  • dodatnie wartości całkowite w polach, w których są wymagane;
  • wartości pochodzące ze zdefiniowanych słowników;
  • format i maksymalną długość nazw części;
  • poprawność wartości liczbowych w plikach z danymi pomiarowymi.

Przykładowo typ zdarzenia może być sprawdzany względem słownika zawierającego wartości FAILURE, PLANNED_MAINTENANCE i UNPLANNED_MAINTENANCE. Dzięki temu ten sam rodzaj zdarzenia nie zostanie zapisany w kilku różnych formach, które podczas modelowania zostałyby potraktowane jako odrębne kategorie.

Faza 3 – walidacja semantyczna i kontrola między plikami

Poprawna struktura każdego pliku nie oznacza jeszcze, że cały zestaw danych jest spójny. Dlatego w trzeciej fazie Predictive Maintenance Walidator analizuje zależności pomiędzy plikami przypisanymi do tej samej maszyny.

Sprawdza między innymi:

  • czy dla poszczególnych części dostępna jest minimalna liczba cykli eksploatacyjnych;
  • czy zarejestrowano minimalną liczbę zdarzeń wymaganą do dalszej analizy;
  • czy udział brakujących wartości w danych pomiarowych nie przekracza skonfigurowanego progu;
  • czy dla maszyny dostępna jest wymagana liczba zmiennych procesowych;
  • czy części występujące w historii zdarzeń zostały również zdefiniowane w parametrach maszyny.

Progi te nie stanowią uniwersalnej gwarancji, że na danych można zbudować wiarygodny model. Określają minimalne wymagania przyjęte dla konkretnego projektu i pozwalają ocenić, czy można rozpocząć dalsze prace analityczne oraz jakie ograniczenia danych należy w nich uwzględnić.

Jak wygląda walidacja w praktyce

Predictive Maintenance Walidator można uruchomić za pomocą jednej komendy. Narzędzie analizuje dane znajdujące się w katalogu wejściowym, a następnie generuje raport z walidacji w formie pliku excel, który zawiera arkusz z podsumowaniem wyniku walidacji. W zależności od wykrytych problemów tworzone są również arkusze:

  • error – błędy blokujące dalsze przetwarzanie lub rozpoczęcie analizy;
  • warning – problemy, które nie muszą blokować pracy, ale mogą ograniczać jakość lub zakres przyszłego modelu;
  • info – dodatkowe informacje diagnostyczne.

Podstawowe informacje w tym raporcie to:

  • kod reguły;
  • poziom problemu;
  • nazwa pliku;
  • identyfikator maszyny;
  • nazwa części lub kolumny;
  • opis wykrytej niezgodności;
  • liczba przypadków naruszających regułę;
  • rekomendowane działanie naprawcze.
rule_codestatusfiledescription
CSV_FLOAT_VALUEERRORM1_temp.csvNiepoprawna wartość liczbowa w kolumnie value
MAX_MISSING_RATIOWARNINGM1_temp.csvUdział brakujących wartości wynosi 15%, przy skonfigurowanym limicie 10%

Pierwszy z wskazanych na powyższym przykładzie problemów wymaga poprawienia danych przed dalszym przetwarzaniem. Drugi wskazuje na ograniczenie jakości danych, które należy usunąć albo świadomie uwzględnić podczas określania możliwego zakresu analitycznego.

Dzięki temu właściciel danych otrzymuje konkretną listę elementów wymagających poprawy, zamiast ogólnego komunikatu, że jakość danych jest niewystarczająca.

Konfiguracja dostosowana do projektu

Wymagania dotyczące danych nie są jednakowe dla wszystkich maszyn i procesów. Innej historii będzie wymagał model dla urządzenia pracującego w sposób ciągły, a innej analiza maszyny uruchamianej okresowo i działającej w wielu trybach operacyjnych.

Dlatego reguły oraz progi wykorzystywane przez Predictive Maintenance Walidator są definiowane w pliku config.yaml. Konfiguracja może obejmować między innymi:

  • wymagany format daty i czasu;
  • maksymalną długość nazwy części;
  • minimalną liczbę cykli;
  • minimalną liczbę zdarzeń;
  • minimalną liczbę zmiennych procesowych;
  • maksymalny dopuszczalny udział brakujących wartości;
  • słowniki typów zdarzeń;
  • słowniki przyczyn wymiany części.

Poszczególne reguły można włączać i wyłączać bez modyfikowania kodu źródłowego. Pozwala to dostosować walidację do pilotażowego, charakterystyki urządzeń oraz dostępności danych po stronie klienta.

Nie oznacza to rezygnacji ze standardów jakości. Przeciwnie – wymagania są zapisane w sposób jawny, powtarzalny i możliwy do uzgodnienia przed rozpoczęciem modelowania.

Sprawdzona logika działania

Predictive Maintenance Walidator został objęty rozbudowanym zestawem testów automatycznych: ponad 120 testami jednostkowymi oraz 17 scenariuszami integracyjnymi.

Testy obejmują między innymi:

  • poprawny zestaw danych bez błędów;
  • brak wymaganych plików;
  • nieprawidłowe nazwy i identyfikatory;
  • błędy strukturalne w plikach Excel i CSV;
  • niewystarczającą liczbę cykli lub zdarzeń;
  • przekroczenie dopuszczalnego udziału brakujących wartości;
  • zbyt małą liczbę zmiennych procesowych;
  • przypadki znajdujące się dokładnie na granicy skonfigurowanych progów;
  • wiele błędów występujących jednocześnie;
  • zestawy obejmujące kilka maszyn o różnej jakości danych.

Testy jednostkowe sprawdzają działanie poszczególnych komponentów i reguł. Scenariusze integracyjne uruchamiają natomiast pełny proces walidacji – od wczytania danych do wygenerowania wyniku.

Taki sposób testowania zwiększa powtarzalność walidacji i ogranicza ryzyko, że zmiana jednej reguły wpłynie w niekontrolowany sposób na pozostałe elementy procesu.

Pierwsza brama jakości w projekcie Predictive Maintenance

Predictive Maintenance Walidator stanowi pierwszą bramę jakości w projektach i pilotach Predictive Maintenance realizowanych z wykorzystaniem Smart RDM.

Zanim zespół analityczny rozpocznie przygotowanie wskaźników, modeli ryzyka, progów decyzyjnych i prognoz, trzeba ustalić:

  • czy dane są kompletne i poprawnie zbudowane;
  • czy można je jednoznacznie przypisać do maszyn i komponentów;
  • czy historia zdarzeń jest spójna z danymi eksploatacyjnymi;
  • czy dostępne sygnały mają wystarczające pokrycie;
  • jakie wyniki analityczne mogą być realnie osiągnięte;
  • jakie dane należy uzupełnić przed rozpoczęciem modelowania.

Predictive Maintenance Walidator nie ocenia skuteczności przyszłego modelu i nie zastępuje analizy prowadzonej przez ekspertów danych oraz specjalistów utrzymania ruchu. Pozwala natomiast odpowiedzieć na wcześniejsze i bardziej podstawowe pytanie:

czy dane spełniają uzgodnione warunki rozpoczęcia prac analitycznych, jakie mają ograniczenia i co konkretnie należy w nich poprawić?

Wykrycie problemów na początku pilota pozwala uniknąć sytuacji, w której zespół dopiero po wielu tygodniach modelowania odkrywa, że część zdarzeń nie została zarejestrowana, identyfikatory komponentów są niespójne albo kluczowe sygnały zawierają zbyt wiele braków.

W Predictive Maintenance wiarygodna analiza zaczyna się nie od wyboru algorytmu, lecz od sprawdzenia danych, na których ten algorytm ma się opierać.

Tryb jasny