Ewolucja Apache Kafka: od LinkedIn do Przyjęcia w Mainstreamie

W artykule szczegółowo opisano ewolucję Apache Kafki od wewnetrznego projektu w LinkedIn do podstawowego elementu wielu systemow rozproszonych. Podkreśla rozwój, funkcje i szerokie zastosowanie platformy Kafka, ilustrując jej rolę w napędzaniu innowacji. Motywacją do napisania tego artykułu było przedstawienie ogólnego przeglądu jednej z najpopularniejszych platform do rozproszonego przesylania zdarzeń i przetwarzania strumieniowego.

Krótki przegląd Apache Kafka

Apache Kafka to potężna platforma typu open source przeznaczona do tworzenia strumieniowego przesyłania danych w czasie rzeczywistym. Rozwiązanie Kafka, początkowo opracowane przez LinkedIn w celu sprostania wyzwaniu związanemu z obsługą ogromnej ilości danych dotyczących aktywności firmy, rozszerzyło swój zasięg, stając się podstawowym elementem infrastruktury danych na całym świecie. Jego możliwości adaptacyjne zapewniają, że jest odpowiedni dla organizacji każdej wielkości, obsługujących szeroki zakres sektorów. w czasie rzeczywistym. Rozwiązanie Kafka, początkowo opracowane przez LinkedIn w celu sprostania wyzwaniu związanemu z obsługą ogromnej ilości danych dotyczących aktywności firmy, rozszerzyło swój zasięg, stając się podstawowym elementem infrastruktury danych na całym świecie. Jego możliwości adaptacyjne zapewniają, że jest odpowiedni dla organizacji każdej wielkości, obsługujących szeroki zakres sektorów.

Sercem Kafki jest rozproszony system przesyłania strumieniowego, który może zarządzać bilionami wiadomości każdego dnia. Wykorzystuje system publikowania i subskrypcji, aby skutecznie przetwarzać i natychmiastowo rozpowszechniać duże ilości danych. Kafka organizuje strumienie danych w „topici”, które są „zapełniane” przez „producentów” i „konsumentów”. Jego skalowalna architektura umożliwia rozbudowę poziomą poprzez dodanie większej liczby „brokerów” (serwerów) w celu zwiększenia wydajności przy minimalnych lub zerowych przestojach.

Kluczowe cechy, które wyróżniają Kafkę

• Odporność na awarie: Kafka zwiększa niezawodność systemu poprzez dystrybucję replikacji danych na wiele węzłów, zapewniając płynną kontynuację operacji pomimo awarii pojedynczego węzła. Atrybut ten jest niezbędny w przypadku kluczowych aplikacji zależnych od nieprzerwanej obsługi danych w czasie rzeczywistym.
• Zoptymalizowana wydajność i szybkość: projekt Kafki koncentruje się na efektywnym zarządzaniu dużymi wolumenami danych, co najważniejsze, wykorzystując technologię zerowej kopii. Metoda ta usprawnia przepływ danych w Kafce poprzez minimalizację zbędnego kopiowania danych pomiędzy warstwą aplikacji a przestrzenią jądra. W rezultacie Kafka osiąga doskonałą przepustowość danych i niskie opóźnienia, doskonale spełniając wymagania przetwarzania w czasie rzeczywistym.
  
• Szeroka elastyczność zastosowań: Kafka została zaprojektowana z myślą o wszechstronności, obsługując różne aplikacje, takie jak zbieranie dzienników, monitorowanie działań online, przeprowadzanie analiz w czasie rzeczywistym i wdrażanie strategii pozyskiwania zdarzeń. Jego architektura jest elastyczna, obsługuje różne formaty i woluminy danych, co umożliwia szerokie spektrum zastosowań.
  
• Usprawniona integracja: zgodność platformy Kafka z wieloma platformami i systemami przetwarzania danych, w tym Apache Hadoop i Spark, podkreśla jej kluczową rolę w nowoczesnych środowiskach zarządzania danymi. Służy jako krytyczny węzeł przepływu danych w czasie rzeczywistym, usprawniając przetwarzanie i analizę danych na różnych platformach i narzędziach.
  

Zwiększanie zrozumienia dzięki porównaniom i przypadkom użycia

Porównanie z innymi systemami przesyłania wiadomości:

• RabbitMQ jest przede wszystkim dostosowany do kolejkowania wiadomości, z dużym naciskiem na skomplikowane routing i niezawodne mechanizmy dostarczania wiadomości. Kontrastuje to z architekturą Kafki, która jest zoptymalizowana pod kątem trwałego przesyłania strumieniowego dużych ilości danych, co sprawia, że jest to doskonały wybór w przypadku rozbudowanego przetwarzania komunikatów i zarządzania danymi w czasie rzeczywistym
• ActiveMQ wyróżnia się jako wszechstronny broker przesyłania wiadomości, oferujący kompleksową gamę funkcji i obsługę wielu protokołów przesyłania wiadomości. Chociaż ActiveMQ obsługuje szerokie spektrum przypadków użycia, Kafka często przewyższa go pod względem skalowalności i przepustowości, dzięki czemu Kafka jest bardziej odpowiednia do aplikacji wymagających szybkiego przetwarzania dużych ilości danych.
  

Różnorodne przypadki użycia w branżach

W sektorze finansowym Kafka odgrywa kluczową rolę w wykrywaniu oszustw, umożliwiając analizę transakcji na bieżąco w celu zidentyfikowania potencjalnych oszustw i szybkiego reagowania na nie.

• W telekomunikacji Kafka usprawnia przetwarzanie i analizę zapisów danych połączeń (CDR) i dzienników sieciowych, znacznie poprawiając wydajność operacyjną i satysfakcję klientów.

• W przypadku platform e-commerce Kafka ma kluczowe znaczenie dla zarządzania zapasami w czasie rzeczywistym i podnoszenia jakości obsługi klienta. Osiąga to poprzez monitorowanie interakcji i zakupów użytkowników, umożliwiając w ten sposób natychmiastowe spersonalizowanie rekomendacji i terminową aktualizację poziomów zapasów.

• W branży produkcyjnej, zwłaszcza w ramach IoT, Kafka przoduje w agregowaniu danych z niezliczonych czujników. Możliwość ta ma fundamentalne znaczenie dla nadzoru w czasie rzeczywistym i wdrażania strategii konserwacji predykcyjnej, zapewniając wydajność i redukując przestoje.

Wspieranie analiz w czasie rzeczywistym i podejmowania decyzji

Kafka jest niezbędna do umożliwienia analiz w czasie rzeczywistym, ponieważ skutecznie przekazuje dane do narzędzi analitycznych, ułatwiając szybkie i świadome podejmowanie decyzji. W szczególności może dostarczać dane do pulpitów nawigacyjnych działających w czasie rzeczywistym w celu kompleksowego monitorowania różnych aspektów biznesowych, umożliwiając organizacjom natychmiastowe reagowanie na zmiany w krajobrazie rynkowym.

Architektury pozyskiwania zdarzeń i mikrousług

Kafka jest powszechnie znana ze swojej użyteczności w pozyskiwaniu zdarzeń, gdzie rejestruje modyfikacje stanu aplikacji poprzez sekwencję zdarzeń. W połączeniu ze swoją odpornością Kafka ułatwia tworzenie skalowalnych i elastycznych architektur mikrousług. Segregując producentów danych od konsumentów, gwarantuje spójność danych i umożliwia autonomiczne skalowanie komponentów.

Przejście Apache Kafka z narzędzia wewnętrznego w LinkedIn na rozwiązanie stosowane na całym świecie podkreśla jego znaczenie, skalowalność i wszechstronność. W czasach, gdy wolumeny danych rosną, a przetwarzanie w czasie rzeczywistym staje się niezbędne, Kafka przoduje, umożliwiając organizacjom podejmowanie świadomych decyzji w oparciu o dane i osiąganie większej wydajności operacyjnej. Ciągły rozwój platformy Kafka w połączeniu z solidnym wsparciem społeczności zapewnia jej trwałe znaczenie i zdolność do sprostania zmieniającym się wymaganiom w zakresie przesyłania strumieniowego danych.

Początki na LinkedIn

Początkowy problem: zarządzanie danymi dotyczącymi aktywności na dużą skalę

Na początku swojego powstania LinkedIn stanął przed szybko rosnącym wyzwaniem, wspólnym dla wielu rozwijających się firm technologicznych: wydajnym zarządzaniem danymi dotyczącymi aktywności na dużą skalę generowanymi przez użytkowników. Dane te, pochodzące z różnych interakcji użytkowników, takich jak połączenia, wiadomości i aktualizacje profili, były nie tylko obszerne, ale także niezwykle cenne zarówno pod kątem spostrzeżeń operacyjnych, jak i ulepszeń produktów. Jednak dostępne wówczas narzędzia i systemy nie były w stanie poradzić sobie z zalewem danych w sposób wydajny, skalowalny i niezawodny.

Tradycyjne systemy przetwarzania danych, z których początkowo korzystał LinkedIn, były zorientowane wsadowo, co oznacza, że przetwarzały dane w dużych, odrębnych porcjach w zaplanowanym czasie. Podejście to wprowadziło znaczne opóźnienia w przetwarzaniu danych i generowaniu spostrzeżeń, czyniąc dane mniej przydatnymi do podejmowania decyzji w czasie rzeczywistym i reaktywnego udoskonalania systemu. Co więcej, systemy te miały trudności ze skalowaniem w obliczu gwałtownego rozwoju LinkedIn, zarówno pod względem ilości danych, jak i złożoności wymaganego przetwarzania danych.

Dostrzegając te wyzwania, zespół inżynierów LinkedIn rozpoczął prace nad rozwiązaniem dostosowanym do ich konkretnych potrzeb. Celem było stworzenie systemu, który byłby w stanie obsłużyć ogromne strumienie danych dotyczących aktywności w czasie rzeczywistym, zapewniając zarówno skalowalność pozwalającą na rozwój wraz z firmą, jak i elastyczność niezbędną do obsługi szerokiej gamy aplikacji do przetwarzania i analizy danych. Inicjatywa ta zapoczątkowała rozwój Apache Kafka – projektu, który ostatecznie wyewoluował poza mury LinkedIn i stał się podstawą technologii w dziedzinie przetwarzania danych w czasie rzeczywistym.

Apache Kafka został zaprojektowany od podstaw, aby sprostać tym wyzwaniom. Podstawowe zasady jego projektowania kładły nacisk na wysoką przepustowość, odporność na awarie, skalowalność i zdolność do obsługi strumieni danych w czasie rzeczywistym. Wykorzystując rozproszoną architekturę systemu, Kafka umożliwił przetwarzanie danych i udostępnienie ich do wykorzystania już w chwilę po ich utworzeniu, umożliwiając analizę w czasie rzeczywistym i podejmowanie decyzji operacyjnych. Stanowiło to znaczącą zmianę paradygmatu w porównaniu z systemami zorientowanymi wsadowo z przeszłości i położyło podwaliny pod powszechne przyjęcie i sukces Kafki.

Rozwój Kafki na LinkedIn do przetwarzania logów

LinkedIn stanął przed kluczowym wyzwaniem, ponieważ tradycyjne systemy przesyłania wiadomości nie zostały zbudowane pod kątem skalowalności, zmagając się z presją cyfrowego krajobrazu, który wymagał obsługi wolumenów informacji nawet tysiąc razy większych niż wcześniej. Pierwotnie pomyślane jako struktury jednowęzłowe, systemy te nieuchronnie zawodzą, gdy zostaną przytłoczone danymi o wielkości od 100 do 1000 razy większej niż projektowana pojemność. Ta świadomość podkreśliła pilną potrzebę opracowania systemu przesyłania wiadomości zaprojektowanego od podstaw, aby bezproblemowo obsługiwać tak wykładniczy wzrost ilości danych.

W odpowiedzi na te wyzwania zespół inżynierów LinkedIn, kierowany przez Jaya Krepsa, Neha Narkhede i Jun Rao, rozpoczął rozwój platformy Kafka w 2010 roku. Ich wizją było stworzenie ujednoliconej platformy o wysokiej przepustowości i niskim opóźnieniu do obsługi źródła danych w czasie rzeczywistym. Kafkę zaprojektowano w celu skonsolidowania różnych potoków przetwarzania logów w jeden, scentralizowany system, upraszczając architekturę danych i umożliwiając bardziej wydajne przetwarzanie danych.

Kluczowe cechy i zasady projektowania Kafki na wczesnym etapie rozwoju na LinkedIn obejmowały:

• Distributed System: Kafka została od początku zbudowana jako system rozproszony. Ten projekt umożliwił skalowanie w poziomie poprzez dodanie większej liczby węzłów do klastra, co pozwoliło bezproblemowo zaspokoić rosnące potrzeby LinkedIn w zakresie danych.

• Publish/Subscribe Model: Kafka przyjął model pub/sub, w którym producenci danych publikują wiadomości w topicach, a konsumenci subskrybują topici, aby otrzymywać wiadomości. Model ten zapewnił elastyczność umożliwiającą obsługę szerokiego zakresu wzorców przetwarzania danych, od prostego gromadzenia danych po złożoną analizę w czasie rzeczywistym.

• Data Persistence: Kafka została zaprojektowana tak, aby przechowywać duże ilości danych przez konfigurowalny okres, umożliwiając ponowne przetworzenie lub odtworzenie danych w razie potrzeby. Była to znacząca zaleta w zakresie odporności na awarie i odzyskiwania danych.

• High Throughput oraz Low Latency: system został zoptymalizowany pod kątem dużej przepustowości i małych opóźnień, kluczowych dla zastosowań analitycznych w czasie rzeczywistym i inteligencji operacyjnej. Wydajne mechanizmy przechowywania i wyszukiwania danych Kafki odegrały kluczową rolę w osiągnięciu tych celów wydajnościowych.

• Scalability oraz Fault Tolerance: rozproszona natura Kafki z natury zapewnia skalowalność i odporność na błędy. Dane są partycjonowane i replikowane w wielu węzłach, co gwarantuje, że system będzie w stanie sprawnie poradzić sobie z awariami bez utraty danych lub znaczących przestojów.

Rozwój Kafki do przetwarzania logów na LinkedIn okazał się monumentalnym sukcesem. Nie tylko usprawniło procesy przetwarzania danych w firmie, ale także znacznie poprawiło szybkość i niezawodność analiz danych. Ten sukces utorował drogę do udostępnienia oprogramowania Kafka jako oprogramowania typu open source i jego ostatecznego przyjęcia przez szeroką gamę firm i branż poza LinkedIn, chcących wykorzystać moc przetwarzania danych w czasie rzeczywistym w swoich operacjach.

Najważniejsze funkcje i zasady projektowania w wersji początkowej

Pierwotna wersja Apache Kafka opracowana na LinkedIn wyróżniała się kilkoma kluczowymi funkcjami i zasadami projektowania, które odróżniały ją od innych ówczesnych systemów przesyłania wiadomości i przetwarzania danych. Funkcje te zostały starannie wybrane, aby sprostać konkretnym wyzwaniom, przed którymi stoi LinkedIn w związku z przetwarzaniem danych na dużą skalę, oraz aby zapewnić solidną podstawę dla przyszłego rozwoju platformy i jej przyjęcia przez szerszą społeczność technologiczną. Oto bliższe spojrzenie na niektóre z tych kluczowych funkcji i zasad projektowania:

Distributed Architecture

Horizontal Scaling: Kafkę zaprojektowano tak, aby umożliwiała skalowanie w poziomie, co oznacza, że pojemność można zwiększyć po prostu dodając więcej serwerów do klastra Kafka. Takie podejście umożliwiło płynne skalowanie w celu dostosowania do rosnących ilości danych.

Partitioning: tematy Kafki są podzielone na partycje, które można rozmieścić na wielu serwerach. Ten schemat partycjonowania umożliwia równoległe przetwarzanie danych, znacznie zwiększając przepustowość.

High Throughput

Kafkę zoptymalizowano pod kątem dużej przepustowości, dzięki czemu może obsługiwać miliony wiadomości na sekundę.

Fault Tolerance

Replication: Kafka wprowadził replikację partycji, zapewniając kopiowanie danych pomiędzy wieloma węzłami. Funkcja ta zabezpiecza przed utratą danych w przypadku awarii węzła, zwiększając niezawodność i dostępność systemu.

Leader-Follower Model: każda partycja ma jednego lidera i jednego lub więcej zwolenników. Lider obsługuje wszystkie żądania odczytu i zapisu dla partycji, natomiast obserwujący replikują dane lidera. W przypadku niepowodzenia lidera, jeden z naśladowców może zostać awansowany na nowego lidera, zapewniając ciągłość

Durability and Reliability

Data Persistence: Kafka przechowuje dane na dysku i przechowuje je przez konfigurowalny okres. Ta trwałość gwarantuje, że dane nie zostaną utracone, nawet jeśli zostały przetworzone, co pozwala na ponowne przetwarzanie lub analizę historyczną.

Commit Log: w swej istocie Kafka działa jako rozproszony dziennik zatwierdzeń. Każda wiadomość związana z tematem jest dodawana na końcu dziennika, co zapewnia porządek w partycjach i ułatwia odzyskiwanie i replikację danych.

Real-Time Processing

Kafkę zaprojektowano tak, aby obsługiwała potrzeby przetwarzania danych w czasie rzeczywistym, umożliwiając publikację i subskrypcję rekordów przy minimalnych opóźnieniach.

Simple API

Kafka zapewniła producentom i konsumentom proste i wydajne API. Ta prostota ułatwiła łatwą integrację Kafki z istniejącymi systemami i aplikacjami.

Te podstawowe funkcje i zasady położyły podwaliny pod ewolucję Apache Kafka w wysoce wszechstronną i szeroko stosowaną platformę do przetwarzania danych w czasie rzeczywistym.

Otwarte pozyskiwanie i wczesne wprowadzenie

Decyzja o udostępnieniu Apache Kafki na otwartym kodzie źródłowym była kluczowym momentem w jego ewolucji od wewnętrznego projektu w LinkedIn do powszechnie przyjętej platformy do strumieniowego przesyłania danych. Posunięcie to wynikało z połączenia wizji strategicznej i uznania szerszego potencjalnego zastosowania Kafki poza murami LinkedIn. Oto głębsze uzasadnienie decyzji o udostępnieniu Kafki na otwartym kodzie źródłowym:

Wizja nowego paradygmatu infrastruktury danych

Twórcy Kafki przewidzieli nowy paradygmat infrastruktury danych, w którym przetwarzanie danych w czasie rzeczywistym będzie miało kluczowe znaczenie dla architektury nowoczesnych cyfrowych przedsiębiorstw. Celem otwartego oprogramowania Kafki było ustanowienie nowego standardu w zakresie sposobu, w jaki firmy radzą sobie ze strumieniowaniem i przetwarzaniem danych, ułatwiając przejście w kierunku architektur danych czasu rzeczywistego.

Wspieranie innowacji i współpracy

Otwarte pozyskiwanie Kafki było postrzegane jako sposób na przyspieszenie jego rozwoju i przyjęcia. Zespół Kafki zrozumiał, że wkład społeczności może znacznie zwiększyć możliwości, niezawodność i zestaw funkcji platformy. Wykorzystując zbiorową wiedzę i kreatywność społeczności open source, Kafka mogłaby ewoluować znacznie szybciej, niż gdyby pozostała zastrzeżonym, wewnętrznym narzędziem.

Ustanowienie faktycznego standardu przesyłania strumieniowego danych

Zespół Kafki dążył do tego, aby Kafka stała się de facto standardem przesyłania strumieniowego danych. Wierzyli, że open source projektu zachęci do jego przyjęcia, czyniąc go łatwo dostępnym dla programistów i firm na całym świecie. To powszechne przyjęcie doprowadziłoby z kolei do powstania tętniącego życiem ekosystemu narzędzi, rozszerzeń i integracji wokół platformy Kafka, jeszcze bardziej umacniając jej pozycję jako centralnego elementu nowoczesnych architektur danych.

Rozpoznawanie szerszych przypadków użycia

Chociaż Kafka została opracowana, aby sprostać konkretnym wyzwaniom LinkedIn, jej twórcy uznali, że zasady i możliwości jej projektowania mają znacznie szersze zastosowanie. Dostrzegli potencjalne zastosowania w różnych dziedzinach, takich jak finanse, sprzedażdetaliczna, IoT i poza nią, gdzie przetwarzanie danych w czasie rzeczywistym staje się coraz ważniejsze. Otwarte oprogramowanie Kafka umożliwiło organizacjom z tych i innych branż dostosowywanie i rozszerzanie platformy Kafka pod kątem ich unikalnych zastosowań.

Wstępne przyjęcie przez społeczność techniczną

Po udostępnieniu oprogramowania typu open source Kafka spotkała się z entuzjastycznym przyjęciem ze strony społeczności technologicznej. Nowatorskie podejście do obsługi strumieni danych w czasie rzeczywistym, w połączeniu ze skalowalnością, niezawodnością i wydajnością, spotkało się z uznaniem inżynierów i architektów stojących przed podobnymi wyzwaniami w całej branży. Projekt szybko zyskał uwagę i wkład, co doprowadziło do szybkich iteracji i ulepszeń.

Dzięki otwartemu kodu zrodlowemu Apache Kafka szybko zyskała popularność w społeczności technologicznej, przyciągając różnorodną grupę pierwszych użytkowników spoza LinkedIn. Ci użytkownicy wykorzystali Kafkę do różnych zastosowań, podkreślając wszechstronność i solidność platformy. Oto kilku znaczących pierwszych użytkowników:

Twitter

Twitter przyjął Kafkę jako kluczowy element swojego systemu analitycznego w czasie rzeczywistym. Platforma wykorzystywała Kafkę do gromadzenia i przetwarzania ogromnych ilości danych z tweetów w czasie rzeczywistym, umożliwiając szybką analizę i wgląd w zaangażowanie i zachowanie użytkowników. Zdolność Kafki do obsługi strumieni danych o dużej przepustowości uczyniła go idealnym wyborem dla Twittera, który przetwarza miliardy tweetów i musi szybko przetwarzać te informacje, aby dostarczać użytkownikom odpowiednie treści.

Netflix

Netflix, lider branży usług streamingowych, wykorzystał Kafkę do monitorowania w czasie rzeczywistym i przetwarzania zdarzeń. Kafka ułatwiła śledzenie interakcji użytkowników, wskaźników wydajności systemu i dzienników aplikacji w rozległej architekturze mikrousług Netflix.

Uber

Uber wykorzystywał platformę Kafka do wielu zastosowań, w tym do wysyłki, obliczeń cenowych i wykrywania oszustw. Rozproszony charakter i skalowalność aplikacji Kafka wspierały globalną działalność Ubera, umożliwiając wydajne przetwarzanie w czasie rzeczywistym danych o lokalizacji pochodzących z milionów przejazdów na całym świecie.

Przyjęcie do głównego nurtu i rozwój społeczności

Czynniki przyczyniające się do powszechnego przyjęcia w różnych branżach

Przejście Apache Kafki z innowacyjnego rozwiązania opracowanego na LinkedIn do podstawowej technologii stosowanej w różnych branżach można przypisać kilku kluczowym czynnikom. Czynniki te łącznie przyczyniły się do jego powszechnego przyjęcia, dzięki czemu Kafka jest synonimem przetwarzania danych w czasie rzeczywistym i analityki strumieniowej w dzisiejszym cyfrowym krajobrazie. Oto główne elementy, które przyczyniły się do przyjęcia Kafki do głównego nurtu:

Otwarte oprogramowanie i wsparcie społeczności

Otwarte oprogramowanie znacząco przyczyniło się do przyjęcia Kafki. Możliwość używania, modyfikowania i rozszerzania platformy Kafka przez organizacje bez konieczności ponoszenia kosztów licencji obniżyła bariery wejścia.

Rola Apache Software Foundation

Ukończenie przez Kafkę udziału w projekcie najwyższego poziomu w ramach Apache Software Foundation (ASF) zapewniło model zarządzania, który jeszcze bardziej wzmocnił wśród przedsiębiorstw pewność co do jego stabilności i przyszłego rozwoju.

Zapotrzebowanie na przetwarzanie danych w czasie rzeczywistym

Rosnące zapotrzebowanie na przetwarzanie i analizę danych w czasie rzeczywistym w różnych branżach również przyczyniło się do przyjęcia Kafki. Firmy, które chcą uzyskać wgląd w swoje operacje w czasie rzeczywistym, poprawić doświadczenia klientów i zbudować systemy reaktywne, zwróciły się do Kafki jako technologii fundamentalnej.

Czynniki te w połączeniu nie tylko ułatwiły przyjęcie platformy Kafka w wielu branżach, ale także ugruntowały jej pozycję jako kluczowego elementu nowoczesnych architektur danych.

Wkład społeczności i rola Apache Software Foundation

Projekt Apache Kafka rozkwitł pod przewodnictwem Apache Software Foundation (ASF), czerpiąc ogromne korzyści z modelu zarządzania fundacją, który kładzie nacisk na otwarty rozwój oparty na współpracy. Oto jak wkład społeczności i ASF odegrały kluczową rolę w rozwoju Kafki:

Ulepszenia i rozszerzenia funkcji: Globalna społeczność platformy Kafka, składająca się z osób i organizacji, aktywnie przyczyniła się do rozszerzenia możliwości platformy Kafka.

Biblioteki klienckie i integracje: Członkowie społeczności opracowali szeroką gamę bibliotek klienckich w różnych językach programowania, dzięki czemu Kafka jest dostępna dla szerszego grona odbiorców.

Dokumentacja i zasoby edukacyjne: Wysokiej jakości dokumentacja, samouczki i studia przypadków przesłane przez społeczność obniżyły barierę wejścia dla nowych użytkowników Kafki.

Rola Apache Software Foundation

Model otwartego zarządzania: ASF zapewnia ugruntowany model zarządzania, który zapewnia przejrzyste, merytokratyczne zarządzanie projektem.

Wsparcie prawne i finansowe: Zajmując się aspektami prawnymi, brandingowymi i finansowymi, ASF pozwala społeczności Kafki skupić się na rozwoju i innowacjach. Wsparcie to obejmuje zarządzanie znakami towarowymi, roszczeniami dotyczącymi praw autorskich oraz zbieranie funduszy poprzez sponsoring i darowizny.

Budowanie społeczności i wydarzenia: ASF odgrywa znaczącą rolę w budowaniu społeczności, organizując i sponsorując wydarzenia, takie jak konferencje, spotkania i hackatony.

Trwałość i wiarygodność projektu: Stowarzyszenie z ASF zapewnia Kafce wiarygodność i stabilność, które są kluczowe dla przyjęcia w środowiskach korporacyjnych.

Przyszłość Kafki

Najnowsze osiągnięcia i nadchodzące funkcje

Ostatnie zmiany

• KRaft (tryb metadanych Kafka Raft): Kafka zmierza w kierunku zastąpienia ZooKeepera samodzielnie zarządzanym kworum (KRaft) do zarządzania metadanymi. Ta zmiana ma na celu uproszczenie architektury Kafki, poprawę skalowalności i zmniejszenie złożoności operacyjnej.

• Magazyn warstwowy: Ta funkcja umożliwia Kafce przenoszenie starszych danych do tańszych systemów pamięci masowej bez utraty możliwości wysyłania zapytań o te dane. Warstwowa pamięć masowa może znacznie obniżyć koszty przechowywania dużych ilości danych, zachowując jednocześnie charakterystykę wydajności Kafki w przypadku nowszych danych.

• Lepsza obserwowalność: ulepszenia funkcji monitorowania i rejestrowania ułatwiają operatorom zrozumienie klastrów Kafki i zarządzanie nimi, szczególnie na dużą skalę.

• Ulepszenia przetwarzania strumieni: Kafka Streams, biblioteka kliencka do tworzenia aplikacji i mikrousług, w których dane wejściowe i wyjściowe są przechowywane w klastrach Kafki, w dalszym ciągu otrzymuje aktualizacje rozszerzające jej możliwości, w tym ulepszone zarządzanie stanem i obsługę bardziej złożonych wzorców przetwarzania zdarzeń.

• Wydano wersję 3.7.

Nadchodzące funkcje

Magazyn warstwowy został wprowadzony w Apache Kafka 3.6.0 jako główna nowa funkcja. Umożliwia migrację starszych danych do tańszych, niezależnych od brokerów rozwiązań pamięci masowej. Ta funkcja rozwiązuje ograniczenia pojemności przechowywania danych, oferując wbudowany mechanizm przenoszenia segmentów dziennika do oddzielnego systemu przechowywania, który pozostaje niewidoczny dla klientów Kafki. Systemy przechowywania obiektów w chmurze, takie jak Amazon S3, są uważane za idealne do tej funkcji, zapewniając tanie i skalowalne rozwiązania w zakresie przechowywania. Co więcej, Apache Kafka oferuje podłączany interfejs dla wielowarstwowej pamięci masowej, umożliwiając społeczności i dostawcom opracowywanie wtyczek do preferowanych przez nich systemów pamięci masowej

Ewolucja Apache Kafka obejmuje skupienie się na interfejsach API sterowanych zdarzeniami i zarządzaniu schematami, przy czym programiści coraz częściej przyjmują podejście programistyczne oparte na kontrakcie. Wiąże się to z wykorzystaniem kontraktów do opisu brokerów Kafki bez utraty kontroli nad danymi w klastrze. Kluczowym elementem skutecznego zarządzania schematami jest użycie rejestru schematów, takiego jak rejestr Apicurio, do zarządzania schematami danych wysyłanych do tematów Kafki i odbieranych z nich. Specyfikacja AsyncAPI okazała się kluczowym narzędziem do definiowania interfejsów API sterowanych zdarzeniami, umożliwiającym lepszą widoczność, zgodność i zarządzanie architekturami sterowanymi zdarzeniami

Potencjalne obszary wzrostu i eksploracji

• Integracja AI/ML: rośnie zainteresowanie ściślejszą integracją platformy Kafka z przepływami pracy opartymi na sztucznej inteligencji i uczeniu maszynowym. Może to obejmować bezpośrednie wsparcie w zakresie udostępniania modeli uczenia maszynowego w ekosystemie Kafki lub ulepszone możliwości inżynierii funkcji w czasie rzeczywistym i wykrywania anomalii.

• Natywne usługi chmurowe: w miarę jak organizacje będą w dalszym ciągu wdrażać architektury natywne w chmurze, oczekuje się, że Kafka będzie ewoluować, aby oferować bardziej płynną integrację z Kubernetes, zarządzanymi usługami w chmurze i modelami przetwarzania bezserwerowego. Może to obejmować ulepszenia narzędzi operatorskich, niestandardowe definicje zasobów (CRD) dla Kubernetes oraz funkcje wykorzystujące natywną pamięć masową i sieć w chmurze.

• Przetwarzanie brzegowe: Kafka jest dobrze przygotowana do odgrywania znaczącej roli w architekturach przetwarzania brzegowego, w których przetwarzanie musi odbywać się bliżej źródeł danych.

Przyszłość Kafki kształtują zarówno bieżące potrzeby jej użytkowników, jak i szersze trendy technologiczne, takie jak rosnące znaczenie przetwarzania danych w czasie rzeczywistym, rozwój obliczeń natywnych w chmurze czy potencjał sztucznej inteligencji i uczenia maszynowego.

Wniosek

Podsumowując, podróż Apache Kafki od projektu LinkedIn do podstawowego elementu nowoczesnego ekosystemu danych podkreśla jego transformacyjny wpływ na przetwarzanie danych w czasie rzeczywistym i analizę przesyłania strumieniowego.

Jego ewolucja, naznaczona ciągłymi innowacjami i szerokim wsparciem społeczności, uczyniła Kafkę kluczowym narzędziem dla organizacji z różnych branż, umożliwiającym im wykorzystanie mocy danych w czasie rzeczywistym do podejmowania decyzji, zwiększania wydajności operacyjnej i tworzenia nowych doświadczeń użytkowników.