Palvelimien lokien keräys ja analysointi

Palvelimien lokien keräys ja analysointi on olennainen osa palvelimien hallintaa ja tietoturvan ylläpitoa. Tämä prosessi sisältää seuraavat vaiheet:

1. Lokien keräys: Tietojen tallentaminen palvelimen toiminnasta, kuten käyttöjärjestelmän tapahtumista, sovelluslokit, käyttäjätoiminnot ja virheilmoitukset.
2. Keskitetyistä lokinhallinta: Lokkien tallentaminen ja hallinta keskitetyssä lokinhallintajärjestelmässä, joka helpottaa analysointia ja raportointia.
3. Analysointi: Lokien systemaattinen tarkastelu ja analysointi epäilyttävän toiminnan havaitsemiseksi, kuten poikkeavat käyttäjäkäytännöt tai palvelinten suorituskykyongelmat.
4. Automaattinen valvonta ja hälytykset: Automaattiset järjestelmät, jotka havaitsevat ja ilmoittavat poikkeuksellisista tapahtumista reaaliaikaisesti.
5. Raportointi ja toimenpiteet: Analyysien tulosten raportoiminen ja tarvittavien toimenpiteiden suorittaminen mahdollisten uhkien tai ongelmien korjaamiseksi.

Lokien keräys ja analysointi on tärkeä prosessi, joka auttaa ylläpitämään palvelimien suorituskykyä ja varmistamaan tietoturvan.

Palvelimien lokien keräämiseen ja analysointiin on saatavilla useita työkaluja, jotka eroavat toisistaan ominaisuuksiltaan, skaalautuvuudeltaan ja käyttötarkoituksiltaan. Tässä yksityiskohtaisempi katsaus tärkeimpiin työkaluihin sekä niiden eroihin.

1. Lokien keräystyökalut

Syslog (Linux/Unix)

• Käyttötarkoitus: Perinteinen lokien keräystapa Linux- ja Unix-järjestelmissä.
• Miten toimii: Tallentaa järjestelmän lokitiedot /var/log/syslog-hakemistoon.
• Ero: Yksinkertainen tapa kerätä lokeja, mutta ei sisällä monimutkaista analytiikkaa tai automaattista hälytystä.

Windows Event Viewer (Windows)

• Käyttötarkoitus: Windows-palvelimen lokitietojen hallinta.
• Miten toimii: Näyttää lokitiedot graafisessa käyttöliittymässä ja mahdollistaa suodattamisen tiettyjen tapahtumien perusteella.
• Ero: Integroitu Windowsiin, mutta ei tarjoa automaattista analytiikkaa tai keskitettyä hallintaa.

Auditd (Linux)

• Käyttötarkoitus: Erityisesti tietoturvalokien keräämiseen Linuxissa.
• Miten toimii: Seuraa käyttäjätoimintaa ja kriittisiä järjestelmätapahtumia.
• Ero: Soveltuu tarkempiin tietoturvatarkastuksiin, mutta vaatii erillistä analysointityökalua.

2. Keskitetyssä hallinnassa käytettävät työkalut

Graylog

• Käyttötarkoitus: Keskitetty lokinhallinta, suodatus, tallennus ja visuaalinen analyysi.
• Miten toimii: Kerää lokit eri lähteistä, normalisoi ne ja tarjoaa käyttäjäystävällisen käyttöliittymän analysointiin.
• Ero: Tarjoaa reaaliaikaisen seurannan ja varoitukset, mutta vaatii palvelimen resursseja.

Logstash (Elasticsearch-pohjainen)

• Käyttötarkoitus: Lokkien kerääminen, muuntaminen ja siirtäminen analysointia varten.
• Miten toimii: Suodattaa ja rikastaa lokitiedot ennen niiden tallennusta Elasticsearchiin.
• Ero: Erinomainen suurten datamäärien käsittelyssä, mutta vaatii Elasticsearchin taustalle.

Splunk

• Käyttötarkoitus: Laaja-alainen analyysi, hälytykset ja visuaaliset raportit yritysverkoille.
• Miten toimii: Kerää lokit eri lähteistä ja tarjoaa kattavan hakutoiminnon sekä reaaliaikaiset hälytykset.
• Ero: Tehokas, mutta kallis verrattuna avoimen lähdekoodin vaihtoehtoihin.

ELK (Elasticsearch, Logstash, Kibana)

• Käyttötarkoitus: Täydellinen lokien analysointijärjestelmä.
• Miten toimii: Logstash kerää lokit, Elasticsearch tallentaa ja Kibana visualisoi.
• Ero: Skaalautuva ratkaisu suurille organisaatioille, mutta vaatii konfigurointia ja hallintaa.

3. Lokien analysointi ja hälytykset

Prometheus

• Käyttötarkoitus: Tietokantojen, palvelinten ja sovellusten suorituskyvyn seuranta.
• Miten toimii: Kerää tietoa palvelimista ja tarjoaa automaattiset varoitukset ja trendianalyysin.
• Ero: Keskittyy enemmän suorituskyvyn analysointiin kuin tietoturvalokien tarkasteluun.

Grafana

• Käyttötarkoitus: Reaaliaikainen visualisointi kerätyistä lokitiedoista.
• Miten toimii: Yhdistyy Prometheukseen, ELK:hen ja muihin lokinhallintajärjestelmiin.
• Ero: Erinomainen graafiseen analyysiin, mutta vaatii taustalla datankeruuratkaisun.

OSSEC

• Käyttötarkoitus: Tietoturvapoikkeamien tunnistaminen ja hälytykset.
• Miten toimii: Skannaa lokitiedot ja tunnistaa haitallisia tai epäilyttäviä tapahtumia.
• Ero: Keskitytty tietoturvaan ja hälytyksiin, mutta ei sisällä visuaalista analyysiympäristöä.

Lokitustyökalujen vertailua

Työkalu	Käyttötarkoitus	Keskittyy eniten	Helppokäyttöisyys	Skaalautuvuus
Syslog	Lokien keräys (Linux)	Peruslokitus	Helppo	Rajallinen
Windows Event Viewer	Lokien tarkastelu (Windows)	Käyttöjärjestelmän seuranta	Helppo	Rajallinen
Graylog	Keskitetty lokien hallinta	Monipuolinen analyysi	Kohtalainen	Hyvä
Logstash	Lokien muuntaminen ja suodatus	Suodatus ja rikastus	Vaatii asetuksia	Hyvä
Splunk	Yritystason lokien analyysi	Täydellinen tietoturva	Vaatii perehtymistä	Erinomainen
ELK-stack	Lokkien visualisointi ja analyysi	Kattava data-analyysi	Kohtalainen	Erinomainen
Loki	Nopea ja joustava lokien keräys	Loki-analyysi ilman raskasta indeksointia	Helppo	Erinomainen
Prometheus	Suorituskyvyn seuranta	Trendianalyysi	Kohtalainen	Erinomainen
Grafana	Lokitietojen visualisointi	Graafinen analyysi	Helppo	Erinomainen
OSSEC	Tietoturvapoikkeamien seuranta	Hälytykset	Kohtalainen	Hyvä

Loki: Keskitetyssä hallinnassa käytettävä työkalu

• Käyttötarkoitus: Loki on suunniteltu helpottamaan lokien keräystä, varastointia ja analysointia ilman raskasta indeksointia.
• Miten toimii: Se kerää lokit suoraan sovelluksista, verkkolaitteista ja palvelimista. Loki käyttää LogQL-kyselykieltä, joka muistuttaa Prometheuksen PromQL-kieltä.
• Ero: Loki on tehokas, skaalautuva ja kevyempi kuin perinteiset lokijärjestelmät. Se keskittyy logien varastointiin ja analysointiin ilman raskasta indeksointia, mikä tekee siitä nopeamman ja kevyemmän verrattuna esimerkiksi ELK-stackiin.

Prometheus ja Grafana: Loki-työkalun integrointi

Prometheus ja Grafana ovat laajasti käytettyjä työkaluja, jotka auttavat valvomaan ja visualisoimaan järjestelmän suorituskykyä ja lokitietoja. Grafana mahdollistaa Prometheuksen keräämän datan näyttämisen visuaalisessa muodossa, kun taas Loki toimii tehokkaana lokien hallintaratkaisuna.

1. Prometheus: Suorituskyvyn valvonta

Prometheus on aikasarja-tietokanta, joka kerää ja tallentaa mittausdataa palvelinten, sovellusten ja verkon tilasta. Se mahdollistaa reaaliaikaisen seurannan ja automaattiset hälytykset.

A. Prometheus:n keskeiset ominaisuudet

• Pull-malli: Prometheus hakee datan itse kohteista HTTP:n kautta.
• Exportterit: Käyttää exporter-komponentteja datan keräämiseen eri palveluista (esim. Node Exporter Linux-palvelimen suorituskyvylle).
• Alertmanager: Hoitaa hälytykset ja reagoi poikkeamiin.
• PromQL: Oma kyselykieli, jolla voi tarkastella ja analysoida kerättyä dataa.

B. Prometheus:n käyttöönotto Dockerissa

Voit ajaa Prometheuksen Dockerin avulla helposti:

bash

docker run -d --name=prometheus -p 9090:9090 prom/prometheus

Prometheus käyttää prometheus.yml-konfiguraatiotiedostoa datan hakemiseen kohteista.

2. Grafana: Visualisointi

Grafana on dashboard-työkalu, joka yhdistyy Prometheukseen ja tarjoaa kaavioita, graafeja ja hälytyksiä.

A. Grafana:n keskeiset ominaisuudet

• Reaaliaikainen data: Näyttää Prometheuksen keräämää tietoa selkeässä muodossa.
• Monipuoliset paneelit: Mahdollisuus muokata näkymiä valvonnan tarpeiden mukaan.
• Hälytykset: Ilmoittaa, jos datassa havaitaan poikkeamia.
• Tietolähteet: Yhdistettävissä useisiin datalähteisiin, kuten Prometheus, Loki, Elasticsearch ja InfluxDB.

B. Grafana:n käyttöönotto Dockerissa

bash

docker run -d --name=grafana -p 3000:3000 grafana/grafana

Kun Grafana on käynnissä, voit kirjautua sisään selaimella osoitteessa http://localhost:3000.

3. Loki: Lokien hallinta

Loki on keskitetyssä hallinnassa toimiva lokien keräystyökalu, joka muistuttaa Prometheusta, mutta on suunniteltu erityisesti lokidatan hallintaan.

A. Loki:n keskeiset ominaisuudet

• Matalan kustannuksen lokivarasto: Tallentaa lokit tehokkaasti ilman raskasta indeksointia.
• Helppo integraatio: Toimii hyvin Grafanan ja Prometheuksen kanssa.
• Query-muotoilu: Käyttää LogQL-kyselykieltä.

B. Loki:n käyttöönotto Dockerissa

bash

docker run -d --name=loki -p 3100:3100 grafana/loki

Loki toimii lokitiedon säilönä ja tukee esimerkiksi Docker-lokitusta, jolloin konttien lokidataa voidaan hallita tehokkaasti.

4. Loki:n yhdistäminen Prometheus ja Grafana kanssa

1. Lisää Loki tietolähteenä Grafanaan:
   • Kirjaudu Grafanaan (http://localhost:3000).
   • Mene Configuration -> Data sources.
   • Valitse Loki ja lisää osoitteeksi http://localhost:3100.
2. Määritä LogQL-kyselyitä Grafanan paneeleissa:
   • Luo uusi paneeli.
   • Käytä kyselyä kuten:{container_name="my_container"} |= "error"
   • Tämä hakee kaikki lokimerkinnät, joissa esiintyy sana “error”.
3. Käytä Prometheus ja Loki yhdessä:
   • Prometheus kerää metritiedot.
   • Loki säilöö lokitiedot.
   • Grafana visualisoi molempien datat.

5. Docker-lokitus Loki:lla

Dockerin lokit voidaan ohjata Loki:lle käyttäen Promtail-agenttia.

1. Asenna Promtailbashdocker run -d --name=promtail -p 9080:9080 grafana/promtail
2. Määritä Docker-lokit ohjautumaan Loki:lle Muokkaa promtail-config.yml-tiedostoa:yamlserver: http_listen_port: 9080 positions: filename: /tmp/positions.yaml clients: - url: http://localhost:3100/loki/api/v1/push scrape_configs: - job_name: docker pipeline_stages: static_configs: - targets: - localhost labels: job: "docker_logs"

Kun Promtail on käynnissä, se kerää Dockerin konttien lokit ja lähettää ne Lokiin analysoitavaksi Grafanassa.

Yhteenveto

• Prometheus → Kerää mittausdataa (CPU, muisti jne.).
• Grafana → Visualisoi mittausdatan ja lokidatan.
• Loki → Tallentaa ja hallinnoi lokitietoja ilman raskasta indeksointia.
• Docker-lokit → Lähetetään Lokiin käyttäen Promtailia.

Näiden työkalujen yhdistäminen mahdollistaa täydellisen valvontajärjestelmän, joka kattaa sekä suorituskyvyn mittarit että lokien analysoinnin.