Apache Kafka w architekturze strumieniowej IoT

Apache Kafka pełni funkcję centralnego, rozproszonego dziennika zdarzeń, do którego urządzenia IoT oraz systemy pośredniczące publikują dane w czasie rzeczywistym, a wiele niezależnych aplikacji może je odczytywać.

Tematy i partycje w Kafka

Dane w Kafka organizowane są w tematy (topics), które dzielone są na partycje. Partycjonowanie umożliwia równoległe przetwarzanie danych przez wielu konsumentów, co jest istotne przy dużej liczbie urządzeń IoT generujących zdarzenia jednocześnie.

Producenci i konsumenci w kontekście IoT

W typowym wdrożeniu bramka IoT działa jako producent, publikując odczyty czujników do odpowiedniego tematu Kafka. Konsumentami mogą być zarówno systemy analityczne w czasie rzeczywistym, jak i procesy zapisujące dane do długoterminowego magazynu.

Retencja danych

Kafka umożliwia konfigurację czasu przechowywania zdarzeń w partycji, co pozwala na ponowne przetworzenie historycznych danych IoT bez konieczności ich ponownego zbierania z urządzeń źródłowych.

Skalowalność przy dużej liczbie urządzeń

Architektura rozproszona Kafka pozwala na skalowanie horyzontalne poprzez dodawanie kolejnych węzłów klastra (brokerów), co jest istotne w środowiskach IoT obejmujących tysiące podłączonych urządzeń.