Iedereen die wel eens een logbestand heeft ingezien zal het herkennen en erkennen: ze zijn niet heel eenvoudig te doorgronden en sexy zijn ze al zeker niet. Men zegt vaak ‘meten is weten’, maar er wordt een belangrijke tussenstap overgeslagen: als je niet weet hoe je de gegevens moet interpreteren, dan weet je nog steeds niet zo veel. Het inzichtelijk maken, het eenvoudig interpreteerbaar maken van de meetgegevens, daar draait het om. En dat kan tegenwoordig op een heel mooie, visuele manier.
Een logbestand bestaat over het algemeen uit een lijst regels met op elke regel een datum- en tijdidentifier en daarachter data over bepaalde events. Nu zijn die entries op zich prima te lezen en te begrijpen, maar denk aan een Apache-webserver die vele duizenden requests per minuut te verwerken krijgt: dan is het overzicht al snel kwijt. De kunst is om de data op te hakken in zoveel mogelijk ‘keys’ of velden. Welke applicatie stuurde welk request, wanneer, hoe lang duurde het voor het request verwerkt werd, wat was de grootte van de data, waar kwam het request vandaan, vanaf welk IP-adres, enzovoort.
Hoewel er diverse suites zijn om logfiles inzichtelijker te maken en (big) data te analyseren, ben ik zelf erg gecharmeerd van ELK Stack. ELK staat voor Elasticsearch, Logstash, Kibana, een set van open source tools waarmee je data in realtime kunt doorzoeken, analyseren en visualiseren. Waar de data vandaan komt of wat voor formaat het is maakt niet uit en het kan worden uitgerold as a service in de cloud of on premise. ELK Stack is enorm schaalbaar en het wordt onder andere gebruikt door Linkedin en Netflix, om maar een paar grote jongens te noemen met big, big, BIG data. En ook om de Panama Papers te doorzoeken en te analyseren is ELK Stack gebruikt.
But what exactly can you do with the various tools? Elasticsearch is a search and analytics engine that lets you filter and search data quickly. Smart queries can be built without having to program. Logstash ensures that all available data is connected and can be processed centrally, and Kibana helps to format and visualise everything nicely. It does so using dashboards, charts, diagrams and other visual aids.
Maar wat kun je precies met de verschillende tools? Elasticsearch is een search- and analytics engine, waarmee je data slim en snel kunt filteren en doorzoeken: zonder dat je hoeft te programmeren, kun je slimme queries opbouwen. Logstash zorgt ervoor dat alle beschikbare data gecentraliseerd kan worden verwerkt en met elkaar verbonden wordt en met Kibana kleed je alles mooi aan en wordt alles prachtig gevisualiseerd in dashboards met grafieken, diagrammen en andere visuals.
ELK Stack wordt steeds verder uitgebreid. Een belangrijke tool om nog te noemen is Beats. Met Beats kun je eenvoudig koppelingen maken met verschillende toepassingen. Waar je vroeger alleen de beschikking had over simpele logbestanden, hebben we inmiddels steeds meer informatie beschikbaar die we kunnen monitoren, zoals netwerkverkeer en system metrics (disk, cpu, geheugen etc). En hoe meer data er beschikbaar komt, hoe groter de kans dat je het overzicht verliest. En dan wordt het een chaos. Het scheppen van orde in de chaos is best lastig, maar dankzij Beats wordt dat allemaal een stuk gemakkelijker en kun je van generieke logbestanden alles een stuk specifieker maken.
ELK Stack is - kortom - een prachtige toolset waarmee we bij Sentia alles perfect in de gaten kunnen houden. ‘Alleen meten is niet weten’, het gaat er ook om dat je wat doet met wat je meet. Door data met de verschillende tools uit de ELK Stack te doorzoeken, filteren, analyseren en te visualiseren in overzichtelijke dashboards ‘weet je het pas echt’! - Steven Bouwman, Continuity Engineer at Sentia
