Observabilitatea Sistemelor: Impactul Revoluționar al eBPF

Lucian Herciu
DevOps Engineer @ Accesa

Renata Mureșan
DevOps Engineer @ Accesa

Andrei Grigoriu
DevOps Engineer @ Accesa

PROGRAMARE

În lumea tehnologiei, în interiorul sistemului de operare, se află o componentă fascinantă numită kernel (nucleu). Acesta este inima sistemului de calcul, unde se gestionează resursele, se execută sarcini și se menține totul în funcțiune cu ușurință.

Te-ai întrebat vreodată cum poți obține o înțelegere mai profundă a acestei lumi enigmatice? eBPF este o tehnologie revoluționară, care îți permite să arunci o privire în interiorul kernelului și să atingi noi nivele de observabilitate. Articolul de față explorează această nouă și fascinantă lume, rolul său în observabilitate și modul în care a revoluționat înțelegerea și optimizarea sistemelor. Pentru monitorizarea și observabilitatea sistemelor, eBPF devine un element cheie. Cu această tehnologie, poți obține perspective valoroase în privința sănătății, performanței și comportamentului sistemelor tale, fără a te aprofunda în detalii tehnice complexe.

Prin colectarea și analiza în timp real a datelor, eBPF îți oferă posibilitatea de a lua decizii informate, de a identifica probleme și de a asigura funcționarea optimă a sistemelor tale, toate acestea într-o interfață prietenoasă cu utilizatorul.

Ce este eBPF?

BPF (Berkeley Packet Filter) a apărut în anii '90 ca o metodă de filtrare și analiză a pachetelor de rețea în interiorul kernelului. Cu toate acestea, în 2014, extended BPF (eBPF) a fost introdus în kernelul Linux pentru a depăși limitările predecesorului său.

Fig. 1 Logoul eBPF, sursă: https://ebpf.io/

Acest eBPF este o tehnologie revoluționară, care permite rularea de programe personalizate în mod dinamic, în interiorul kernelului, fără a modifica codul sursă al acestuia. Inițial concepută ca mecanism de filtrare al pachetelor, eBPF s-a dezvoltat într-un instrument versatil pentru observabilitate, introducând o mașină virtuală sigură și eficientă, care ne permite să executăm programe personalizate direct în kernel, capturând și analizând evenimente, date și metrice în timp real.

La baza eBPF, se află mașina virtuală eBPF, un mediu izolat în kernel, în care pot rula programe personalizate. Aceste programe, scrise într-un subset restrâns al limbajului de programare C, sunt încărcate în kernel și atașate la evenimente sau puncte de atașare specifice.

Când sunt declanșate, programele eBPF se execută și pot efectua o serie de operații, inclusiv capturarea datelor, modificarea comportamentului sau generarea de telemetrie în scopuri de observabilitate. Capacitatea de a executa în siguranță programe personalizate în interiorul kernel-lui ne permite să obținem o vizibilitate fără precedent asupra comportamentului sistemului, fără a compromite stabilitatea sau securitatea.

Un program eBPF trebuie să poată stoca starea sa și să partajeze datele colectate. Hărțile eBPF pot ajuta programele să acceseze și să stocheze informații în conformitate cu o serie de structuri de date. Utilizatorii pot accesa eBPF maps prin apeluri de sistem, atât din programele eBPF, cât și din aplicații. Tipurile de maps includ tabele hash sau matrice, buffer circular, urmărirea stivei, utilizarea celui mai recent, potrivirea celui mai lung prefix și multe altele.

Fig. 2 Imagine de ansamblu eBPF în Linux Kernel

Impactul revoluționar al eBPF

eBPF oferă capacități de observabilitate și monitorizare în kernelul Linux, permițând programatorilor și administratorilor de sistem să instrumenteze dinamic kernelul, să colecteze date detaliate și să obțină perspective noi cu privire la comportamentul sistemului, fără a modifica kernelul în sine. Iată cum funcționează eBPF în contextul observabilității și câteva aplicații care îl utilizează:

Urmărirea (tracing): eBPF permite urmărirea dinamică a diverselor evenimente din kernel, cum ar fi apelurile de sistem, apelurile de funcții și componentele interne ale kernel-ului. Prin atașarea programelor eBPF la puncte de urmărire sau funcții specifice, programatorii pot colecta informații detaliate despre fluxul de execuție al sistemului.
Monitorizarea: programele eBPF pot fi utilizate pentru monitorizarea și colectarea de metrice referitoare la resursele sistemului, traficul de rețea, E/S pe disc, utilizarea memoriei și multe altele. Prin exploatarea accesului la nivel scăzut al eBPF, la structurile de date ale kernelului, programatorii pot extrage eficient statistici relevante, fără a impune o suprasarcină semnificativă.
Analiza rețelei: prin atașarea programelor eBPF la punctele de atașare pentru rețea, cum ar fi XDP (eXpress Data Path) sau filtrele de socket, programatorii pot efectua o filtrare avansată a pachetelor, implementa protocoale de rețea personalizate, realiza echilibrarea încărcării sau impune politici de securitate la viteze mari.
Securitatea: poate fi utilizat pentru implementarea mecanismelor de monitorizare și aplicare a securității la nivel de kernel. De exemplu, programele eBPF pot detecta și preveni activități nocive, precum system call abuse, exploatarea de kernel sau încercările neautorizate de acces. Prin exploatarea naturii dinamice și a accesului la nivel de bază al eBPF, soluțiile de securitate pot reacționa rapid la amenințările emergente și se pot adapta la modelele de atac în schimbare.
Analiza performanței: eBPF deschide o fereastră către performanța sistemului, permițând programatorilor să urmărească și să analizeze critical paths, latența și consumul de resurse. Aceasta ajută la optimizarea configurațiilor sistemului, identificarea ineficiențelor și îmbunătățirea performanței generale.

Fig. 3 Vedere de ansamblu Cilium, sursă: https://github.com/cilium/cilium

Există mai multe aplicații și instrumente care utilizează eBPF în scopuri de observabilitate și monitorizare, inclusiv:

BPFtrace: un limbaj de urmărire de nivel înalt, care simplifică dezvoltarea uneltelor de urmărire bazate pe eBPF.
Falco: o aplicație open-source de monitorizare de activitate comportamentală, care utilizează eBPF pentru detectarea în timp real a amenințărilor în medii containerizate.
Cilium: un proiect de rețea și securitate care folosește eBPF pentru a oferi vizibilitate sporită în rețea, securitate și echilibrare a încărcării în medii containerizate.
Sysdig: este o unealtă universală de vizibilitate a sistemului, cu suport pentru containere, care recurge la eBPF pentru monitorizarea și depanarea mediilor containerizate.
tcpdump și Wireshark/Kubeshark: unelte de analiză ale rețelei, care pot valorifica filtrarea de pachete bazate pe eBPF pentru a captura și analiza traficul de rețea în mod eficient.

Acestea sunt doar câteva exemple de utilizare a eBPF în observabilitate și monitorizare. Versatilitatea eBPF permite programatorilor să creeze soluții personalizate adaptate nevoilor specifice de monitorizare și analiză, făcându-l un instrument puternic în domeniul observabilității sistemului.

Exemple din lumea reală:

Impactul eBPF asupra observabilității devine evident când explorăm aplicațiile sale în lumea reală.

Netflix: Netflix utilizează eBPF pentru monitorizarea performanței rețelei și detectarea problemelor de latență. Au dezvoltat propriul lor instrument eBPF numit FlameScope, pentru analiza și vizualizarea problemelor de performanță la nivelul kernelului.
Facebook: Facebook utilizează eBPF pentru a obține date detaliate despre apelurile de sistem, ceea ce le permite să identifice și să remedieze probleme de performanță la nivel de kernel în timp real.
Datadog: platforma de monitorizare Datadog integrează eBPF în sistemul lor de monitorizare, permițând clienților să colecteze și să analizeze metrice detaliate despre performanța sistemului.
Google: Google utilizează eBPF pentru instrumentarea sistemelor lor distribuite, ajutând la monitorizarea și depanarea infrastructurii lor scalabile. Aceste exemple demonstrează cum eBPF poate fi utilizat cu succes în diverse domenii și organizații pentru a obține o observabilitate îmbunătățită și o performanță optimizată a sistemului.

Explorarea potențialului Cilium și Hubble: un test practic

În încercarea noastră de a înțelege capacitățile celor mai recente tehnologii, am decis să pătrundem în lumea Cilium - o soluție open-source concepută pentru mediile cloud-native. Cu Cilium, puteți îmbunătăți fără probleme conectivitatea, securitatea și observabilitatea rețelei, fără a fi nevoie să vă modificați codul aplicației. Pentru a o vedea în acțiune, am instalat Cilium pe un cluster Kubernetes de test găzduit pe Google Cloud Platform.

Una dintre caracteristicile remarcabile ale Cilium este integrarea sa cu Hubble, o platformă distribuită de observabilitate și securitate a rețelei. Construită pe Cilium și eBPF, Hubble oferă o vizibilitate profundă a comunicațiilor de servicii și a infrastructurii de rețea. Împreună, acestea oferă control asupra traficului la diferite straturi ale modelului OSI, permițându-vă să monitorizați conexiunile TCP, interogările DNS și cererile HTTP în cadrul clusterelor.

Pentru a pune la încercare Cilium și Hubble, am implementat o aplicație cu tematica "Star Wars" pe Pod-uri Kubernetes denumite după nave spațiale iconice. Implementând un CiliumNetworkPolicy, am reglementat cu atenție accesul la nava spațială Deathstar. Am efectuat apoi teste, pentru a examina eficacitatea acestei politici, iar rezultatele au fost fascinante - unele Pod-uri au avut acces direct la Deathstar, în timp ce altele au fost restricționate.

Permis:

Fig. 4 Hubble UI doar cu filtrul de conexiuni permise din mediul nostru de test

Respins:

Fig. 5 Hubble UI doar cu filtrul de conexiuni respinse din mediul nostru de test

Dacă, de asemenea, facem click pe o linie, putem vedea mai multe informații despre Sursă, Destinație, IP Sursă, IP Destinație, Protocol, L7 Info etc.:

Fig. 6 Hubble UI - Multiple informații adiționale aferente unei conexiuni selectate

Concluzie

eBPF este o tehnologie revoluționară, care a transformat modul în care înțelegem și monitorizăm sistemele noastre. Prin capacitatea sa de a rula programe personalizate în mod dinamic în interiorul kernel-ului, eBPF oferă o vizibilitate fără precedent asupra comportamentului sistemului și a performanței acestuia, fără a compromite stabilitatea sau securitatea.

Cu eBPF, putem colecta și analiza metrice detaliate, precum și urmări evenimentele din kernel, monitoriza și analiza traficul de rețea și implementa soluții avansate de securitate. Într-o lume tehnologică în continuă dezvoltare, eBPF reprezintă un instrument esențial pentru a asigura funcționarea optimă și performanța sistemelor noastre.