Apache Flink — przetwarzanie zdarzeń w czasie rzeczywistym

Apache Flink to silnik przetwarzania strumieniowego umożliwiający analizę zdarzeń w czasie rzeczywistym bezpośrednio po ich odebraniu z brokera komunikatów, z zachowaniem stanu aplikacji między kolejnymi zdarzeniami.

Okna czasowe w analizie strumieni

Flink umożliwia grupowanie zdarzeń IoT w okna czasowe, na przykład agregując odczyty czujnika temperatury z ostatnich pięciu minut w celu obliczenia wartości średniej lub wykrycia anomalii.

Stan aplikacji strumieniowej

W przeciwieństwie do prostego przetwarzania zdarzenie po zdarzeniu, Flink pozwala na utrzymywanie stanu aplikacji — na przykład ostatniej znanej wartości odczytu z danego czujnika — co umożliwia wykrywanie zmian trendu w czasie rzeczywistym.

Wykrywanie anomalii w danych z czujników

Typowym zastosowaniem jest porównywanie bieżącego odczytu czujnika z wartościami historycznymi przechowywanymi w stanie aplikacji, co pozwala na natychmiastowe zgłoszenie odchylenia od normy.

Integracja z Apache Kafka

Flink najczęściej odczytuje dane bezpośrednio z tematów Kafka jako źródła strumienia, a wyniki przetwarzania zapisuje z powrotem do innego tematu lub do zewnętrznego systemu analitycznego.