aceasta este partea a patra a seriei “Hunting with Splunk: the Basics”.
folosind metadate și tstats pentru a stabili rapid conștientizarea situației
Deci vrei să vânezi, nu??? Ei bine, tânărul meu padwa, stai. După cum mi-a spus odată un Jedi Splunk, trebuie mai întâi să mergi încet pentru a merge repede. Ce vreau să spun prin asta? Ei bine, dacă vă grăbiți să vânați amenințări și începeți să aruncați SPL fără discriminare, riscați să creați lacune în ancheta dvs. Ce lacune ar putea fi acestea? Așa cum a spus odată un înțelept, cunoaște-ți rețeaua. De fapt—în acest caz—cunoașteți rețeaua și gazdele. Pentru a vâna eficient, înțelegerea datelor pe care le aveți și nu le aveți pentru gazdele dvs. este esențială. Fără aceste cunoștințe, riscați să faceți presupuneri care duc la decizii proaste în timp ce vânați amenințări.
astăzi, am de gând să împărtășesc cu voi metodologia mea în jurul valorii de colectare a informațiilor inițiale și modul în care folosesc metadatele și comenzile tstats pentru a înțelege datele disponibile pentru mine atunci când încep vânătoare amenințare.
să începem prin a ne uita la metadate. Comanda metadate este o comandă generatoare, ceea ce înseamnă că este prima comandă dintr-o căutare. Pentru cei care nu sunt pe deplin la viteză pe Splunk, există anumite câmpuri care sunt scrise la momentul indexului. Aceste câmpuri sunt _time, sursă (unde a apărut evenimentul; ar putea fi o cale de fișier sau o valoare de protocol/port), tip sursă (tip de date mașină) și gazdă (nume gazdă sau IP care a generat un eveniment). Aceste câmpuri de metadate (vezi ce am făcut acolo ?) pot fi căutate și returnate cu valori care includ prima dată, ultima dată și conta pentru o anumită valoare.
iată câteva exemple.
managerul meu m-a însărcinat să încep vânătoarea pe baza unor indicatori adunați recent. Primul meu gând este să văd că am seturi de date disponibile care se referă la timpul în care vânez. Aceasta este o căutare rapidă pe care am putea rula pentru a enumera sourcetypes în Splunk pentru ultimele șapte zile.
după cum puteți vedea, în ultimele șapte zile am avut 5.162 de evenimente FireEye. Făcând o mică conversie a timpului de epocă, stabilesc că datele au lovit prima dată indexatorul Meu pe 12 Mai 2017 la 2:31:00 GMT și ultima dată când a fost văzut pe indexatorul meu a fost 20 Mai 2017 22:01:12 GMT. Pe baza intervalului de timp al căutării mele—a fost de la 13 Mai 22:00 GMT până la 20 Mai 22:38: 15 GMT—am un nivel ridicat de încredere că datele mele FireEye sunt destul de actuale, dar dacă investigația mea se întoarce înainte de 12 mai, nu am Date FireEye cu care să lucrez, ceea ce ar putea avea impact asupra modului în care abordez această activitate sau îmi pot scădea încrederea în a determina când a fost văzut ceva pentru prima dată în rețeaua mea.
acum, că știu ce tipuri de date am în Splunk, să vedem ce gazde trimit date—am date curente pentru toate gazdele mele? Poate vreau să izoleze pe gazdele care scriu la un anumit index. În acest caz, vreau să văd toate gazdele care au date în indexul ‘os’, deoarece știu că datele din acel index vor fi importante pentru mine în vânătoarea mea.
comanda metadate nu are o mulțime de opțiuni pentru aceasta, dar puteți restrânge căutarea la indici specifici, colegi de căutare sau grupuri de servere și chiar tipuri de surse (așa cum am făcut mai sus). Odată ce aveți un set de rezultate, vă puteți flexa mușchii SPL pe rezultate pentru a obține informații suplimentare. Poate doriți să îmbunătățiți conștientizarea situației înainte de vânătoare și să verificați dacă există gazde specifice care nu au trimis date către Splunk în ultimele 24 de ore.
în această căutare, am folosit comanda metadate pentru a obține o listă de gazde. Folosind comenzile eval, search și fieldformat, am reușit să filtrez până la gazdele care nu s-au conectat mai mult de 24 de ore, să schimb valorile timpului în ceva mai ușor de vizualizat decât ceea ce am arătat în primul exemplu și apoi să sortez și să ies într-o vizualizare de tabel care poate fi consumată rapid.
câteva gânduri finale despre metadate. Este nevoie ca capacitatea get_metadata să fie asociată cu un rol pe care utilizatorul îl are înainte de a putea fi utilizat. (Fapt amuzant: știați că sub capotă, executați de fapt comanda de metadate atunci când faceți clic pe butonul rezumat date de pe pagina principală de căutare?)
și acum pentru ceva complet diferit… (nu, nu chiar).
o altă comandă puternică, dar mai puțin cunoscută în Splunk este tstats. Comanda tstats—pe lângă faptul că poate sări clădiri înalte într—o singură legătură (ok, poate nu) – poate produce rezultate de căutare la viteză orbitoare. La fel ca metadatele, tstats este o comandă generatoare și funcționează pe câmpuri indexate (gazdă, sursă, sourcetype și _time), precum și modele de date. Îmi plac modelele de date la fel de mult ca următorul tip, dar nu există suficient spațiu pentru a vorbi despre ele în această postare, așa că hai să le salvăm pentru altă dată.
între timp, vreau să—mi îmbunătățesc conștiința situațională deja stabilită și să răspund la o întrebare fundamentală atunci când încep o vânătoare-la ce informații am acces și am puncte oarbe? Poate că vreau să obțin rapid o vizualizare în evenimentele mele DNS.
pot genera rapid un număr total de evenimente pentru ultimele șapte zile în care sourcetype este stream:dns și datele se află în indexul principal. În această căutare, datele sunt defalcate de _time și gazdă în intervale de 1 oră. La fel ca metadatele—odată ce îmi execut căutarea inițială—pot folosi SPL pentru a formata datele după cum consider de cuviință, în acest caz folosind comanda xyseries și apoi aplicați o diagramă de zonă pentru a genera un grafic de evenimente provenind de la gazda unde colectez DNS. Este important să rețineți că utilizarea tstats în acest mod nu este optimă pentru mai mult de o mână de gazde. Dacă sunteți în căutarea unei ieșiri tabulare și a numărului, nu vă faceți griji—acest lucru poate fi extrem de eficient. Încercarea de a Grafica prea multe gazde poate deveni foarte ocupată, ceea ce face dificil pentru un analist să consume rapid.
cu acest avertisment blând, să construim o căutare pentru a identifica rapid gazdele care înregistrează mai multe sau mai puține date decât s-ar putea aștepta în mod normal. Plasarea limitelor datelor-chiar și atunci când provin de la un număr mare de gazde—se poate face cu ușurință.
pentru această căutare, mă uit la gazde logare la index ‘ os ‘ și vreau să mă uit înapoi în ultimele șapte zile în sculptură timp în intervale de 3 ore pentru a găsi numărul median de evenimente de gazdă. Mediana este doar o opțiune statistică pe care o pot folosi; percentila și media sunt, de asemenea, disponibile, astfel încât să utilizați ceea ce simțiți că este potrivit. Apoi m-am uitat înapoi în ultimele 3 ore pentru aceleași informații. Pentru a determina diferența procentuală dintre mediana și numărul curent, am împărțit pentru a obține o valoare procentuală și filtrată pentru rezultate +/-5%. Sortarea și redenumirea câmpurilor facilitează consumul, deoarece acum am valorile aberante, precum și producerea unui grafic care arată mediana și volumele de evenimente curente cartografiate împreună cu diferența procentuală.