Graylog: Įvadas

Įvadas į Graylog – vieningą, galingą platformą žurnalų (log) valdymui ir analitikai

👋 Sveiki atvykę į Stackhero dokumentaciją

Stackhero siūlo pilnai valdomą Graylog cloud sprendimą, sukurtą greičiui ir paprastumui. Galite:

  • Pasikliauti neribotu, dedikuotu SMTP el. pašto serveriu, kuris įtrauktas į jūsų paslaugą.
  • Taikyti atnaujinimus be pastangų vienu paspaudimu, nereikalaujant rankinio įsikišimo.
  • Naudoti individualų domeno vardą, apsaugotą HTTPS (pavyzdžiui, https://logs.jusu-imone.com), suteikiant komandai saugų ir tiesioginį priėjimą.
  • Patirti aukštą veikimo spartą ir saugumą naudojant privačią, dedikuotą infrastruktūrą be bendrų resursų ar triukšmingų kaimynų.

Susitelkite į savo duomenis, o ne į įrankius: pradėti naudotis Stackhero Graylog cloud hosting sprendimu galite vos per kelias minutes.

Graylog yra atvirojo kodo žurnalų valdymo platforma, kuri centralizuoja žurnalų surinkimą, saugojimą, paiešką ir analizę visai jūsų infrastruktūrai. Vietoj to, kad jungtumėtės prie atskirų serverių ir rankiniu būdu tikrintumėte žurnalus, galite visus žurnalus siųsti į Graylog, kuris juos indeksuoja realiuoju laiku. Kiekvienas žurnalo įrašas tampa iškart ieškomas, net tarp milijardų įvykių, o rezultatai pateikiami per milisekundes.

Graylog suteikia tris pagrindines galimybes. Jis renka žurnalų duomenis beveik iš bet kokio šaltinio: serverių, aplikacijų, konteinerių, tinklo įrenginių ar cloud paslaugų, naudodamas plačiai pripažintus protokolus, tokius kaip Syslog, GELF, Beats, raw TCP/UDP ir HTTP. Tuomet jis indeksuoja šiuos duomenis naudodamas integruotą OpenSearch variklį, todėl kiekvienas laukas tampa iškart užklausiamas. Galiausiai, jis analizuoja jūsų duomenis per žiniatinklio sąsają su pilno teksto paieška, pritaikomais dashboard'ais, įspėjimais (alerting) ir realaus laiko apdorojimo pipeline'ais, kurie gali praturtinti, filtruoti ir nukreipti įvykius vos jiems atėjus.

Graylog 2010 metais sukūrė Lennart Koopmann Hamburge, Vokietijoje, iš pradžių kaip asmeninį įrankį centralizuotam žurnalų valdymui. 2012 m. projektas tapo atvirojo kodo ir buvo pavadintas GELF (Graylog Extended Log Format), greitai išpopuliarėjo DevOps ir infrastruktūros bendruomenėse. Vėliau buvo įkurta Graylog, Inc., siekiant kurti komercinius pasiūlymus aplink atvirojo kodo branduolį.

Šiuo metu įmonės būstinė yra Hiustone, Teksase, su biurais Londone ir Hamburge. Ji pritraukė reikšmingų investicijų ir aptarnauja tūkstančius organizacijų visame pasaulyje – nuo startuolių iki didelių įmonių ir valstybinių agentūrų.

Inžinerijos ir operacijų komandos naudoja Graylog įvairiems scenarijams. Dažniausias – problemų sprendimas produkcijoje: kai kyla nesklandumų, komandos gali ieškoti tarp kelių dešimčių paslaugų žurnalų vienu metu, užuot rankiniu būdu tikrinus kiekvieną serverį. Tai žymiai pagreitina ir supaprastina trikčių šalinimą.

Graylog taip pat naudojamas infrastruktūros stebėsenai. Galite apibrėžti įspėjimo sąlygas, kurios suveikia padidėjus klaidų lygiui, paslaugoms tapus nepasiekiamoms ar aptikus neįprastus žurnalų šablonus. Saugumo komandos pasikliauja Graylog auditui ir atitikties užtikrinimui, stebėdamos autentifikacijos įvykius, prieigos modelius ir anomalijas, o žurnalus saugo tiek, kiek reikalauja tokie standartai kaip GDPR, ISO 27001, SOC 2 ir HIPAA. Platformų komandos naudoja Graylog įvykių koreliacijai tarp įvairių sistemų: žiniatinklio serverių, duomenų bazių, load balancer'ių ar Kubernetes pod'ų, viską sujungiant į vieną, ieškomą laiko juostą.

Graylog veikia kaip centrinis mazgas tarp jūsų infrastruktūros ir komandos. Žurnalų siuntėjai, tokie kaip Filebeat, Fluentd, rsyslog ar natyvios GELF kliento bibliotekos, surenka žurnalų duomenis iš jūsų sistemų ir persiunčia juos į Graylog įvesties taškus. Graylog kiekvieną gaunamą žinutę apdoroja per konfigūruojamus pipeline'us, kurie gali išskaidyti laukus, transformuoti duomenis, praturtinti įvykius (pvz., geo-IP paieškomis) ir nukreipti žinutes į konkrečius srautus (streams).

Apdorotos žinutės yra indeksuojamos OpenSearch (kartu su Graylog), kuris užtikrina paieškos funkcionalumą. MongoDB (taip pat komplekte) saugo Graylog konfigūraciją: srautus, dashboard'us, vartotojus, įspėjimus ir pipeline apibrėžimus. Jūsų komanda dirba per Graylog žiniatinklio sąsają, vykdo ad hoc paieškas, kuria dashboard'us, nustato įspėjimus ir tiria incidentus. Tai sukuria vieningą žurnalų duomenų vaizdą, su paieška, trunkančia mažiau nei sekundę net dideliu mastu.

Graylog siūlomas dviejose versijose. Graylog Open – bendruomenės leidimas: nemokamas naudoti, įskaitant produkcijoje, su pagrindinėmis žurnalų valdymo funkcijomis, tokiomis kaip surinkimas, indeksavimas, paieška, dashboard'ai, srautai, pipeline'ai ir bazinis įspėjimas. Šaltinio kodas prieinamas GitHub. Graylog Operations ir Graylog Security – komerciniai leidimai, siūlantys pažangias funkcijas, tokias kaip anomalijų aptikimas, atitikties ataskaitos, išplėstinė koreliacija ir įmonių palaikymas.

Svarbus licencijavimo aspektas: 2023–2024 m. Graylog pagrindinė licencija buvo pakeista iš Apache 2.0 į Server Side Public License (SSPL). Daugumai naudotojų – įmonėms, kurios Graylog naudoja viduje – šis pokytis neturi praktinės įtakos. Galite ir toliau nemokamai naudoti Graylog Open. SSPL daugiausia aktuali tiems, kurie nori siūlyti Graylog kaip hostinamą paslaugą trečiosioms šalims. Jei jums reikalinga Apache 2.0 licencija, paskutinė versija su ja buvo Graylog 5.0. Nuo 5.1 ir vėlesnės versijos naudoja SSPL. Daugiau informacijos rasite oficialioje SSPL licencijos dokumentacijoje.

Graylog idealiai tinka, kai reikia centralizuoti žurnalus iš kelių serverių, paslaugų ar aplikacijų į vieną ieškomą sąsają. Jei jūsų komanda daug laiko praleidžia jungdamasi prie serverių, kad išspręstų produkcijos problemas, arba jei neturite realaus laiko matomumo į savo infrastruktūrą, Graylog šias problemas sprendžia tiesiogiai.

Tai puikus pasirinkimas, kai reikia realaus laiko įspėjimų apie žurnalų šablonus: klaidų šuolius, nesėkmingą autentifikaciją ar paslaugų sutrikimus, arba kai svarbi žurnalų saugojimo trukmė atitikties ir audito tikslais. Komandos, ieškančios dedikuotos žurnalų valdymo sąsajos be poreikio jungti kelis įrankius, ras Graylog ypač efektyvų.

Graylog yra specializuotas žurnalų valdymui. Jei jūsų pagrindinis poreikis – saugoti ir užklausti laiko eilučių (time-series) metrikas (pvz., CPU naudojimą, užklausų vėlavimą ar atminties suvartojimą), tam labiau tiks laiko eilučių duomenų bazė, tokia kaip InfluxDB ar Prometheus. Graylog skirtas žurnalų įvykiams, o ne didelio dažnio skaitiniams matavimams.

Graylog turi keletą pranašumų prieš savos žurnalų valdymo infrastruktūros kūrimą:

  1. Viskas viename sprendimas: OpenSearch ir MongoDB yra komplekte ir iš anksto sukonfigūruoti. Jums nereikia atskirai diegti, integruoti ar prižiūrėti atskirų paslaugų.
  2. Greita, intuityvi paieška: Pilno teksto paieška tarp milijardų įvykių per milisekundes, naudojant lengvai perprantamą Graylog Query Language (GQL).
  3. Realaus laiko srautai ir pipeline'ai: Nukreipkite ir transformuokite žurnalų duomenis vos jiems atėjus. Galite filtruoti triukšmą, praturtinti duomenis ir nukreipti specifinius įvykius į konkrečius srautus be individualaus programavimo.
  4. Integruotas įspėjimas: Įspėjimo sąlygos ir pranešimai el. paštu, Slack, PagerDuty ir kitais kanalais yra įdiegti: nereikia atskiros įspėjimų sistemos.
  5. Gimtieji dashboard'ai: Kurkite interaktyvius dashboard'us tiesiai Graylog žiniatinklio sąsajoje, nereikia papildomų vizualizacijos įrankių, tokių kaip Grafana ar Kibana.
  6. Daugiaprotokolinė žurnalų ingestija: Priimkite žurnalus per Syslog, GELF, Beats, raw TCP/UDP, HTTP ir kt. Graylog veikia su beveik bet kuriuo jūsų aplinkoje jau naudojamu žurnalų siuntėju.

Graylog cloud reiškia valdomą Graylog diegimą, kurį teikia cloud paslaugų tiekėjas, užuot diegus jį savo infrastruktūroje (on-premises). Savarankiškas Graylog diegimas reiškia trijų paslaugų – Graylog, OpenSearch ir MongoDB – veikimą ir nuolatinį jų atnaujinimą, atsarginių kopijų darymą bei saugumą, kas gali būti reikšminga operacinė našta.

Naudodami Stackhero, gaunate dedikuotą Graylog instanciją, paruoštą per kelias minutes. OpenSearch ir MongoDB įtraukti ir automatiškai sukonfigūruoti. Jūsų instancija veikia izoliuotoje infrastruktūroje, todėl jūsų žurnalų duomenys išlieka privatūs. Visos jungtys šifruojamos TLS 1.3, atsarginės kopijos daromos kas 24 valandas ir saugomos iki 3 mėnesių, o atnaujinimai – vienu paspaudimu. Galite diegti serverius JAV arba Europoje, o valandinė kainodara leidžia mokėti tik už tai, ką naudojate.

Jei Graylog atitinka jūsų projekto poreikius, galite išbandyti valdomą instanciją, kuri iš anksto sukonfigūruota ir paruošta naudoti vos keliais paspaudimais. Nemokamą demonstracinę instanciją galite paleisti per maždaug 2 minutes ir išbandyti Graylog be jokio diegimo rūpesčio. Pereiti prie produkcijai paruoštos instancijos taip pat paprasta.

Daugiau apie Graylog cloud ir pradėkite nemokamą instanciją.