su0304

SPLUNK  기초 BOOT 캠프에 간적이 있다. 전체적으로 sql을 쓰던 개발자 보다는 분석과 시각화에 중점을 두는 사람이 들으면 좋겠다 라는 생각이 든 캠프였다. 캠프에서 배운걸 정리 해보면서 정의를 내봐야 겠다.

1. spelunk  동굴을 탐험하다.

창업주가 기존의 IT가 문제점이 봉착 했을 때는 문제점을 찾아가는게 어렵고 마치 동굴을 탐험하는거 같다 하여 SPLUNK 라고 지었다고 한다. 

회사의 출발은 로그 분석해서 장애를 빠르게 복구 하는 시스템이다.

2. SPLUNK는 기존의 프로젝트들을 얼마나 유연하게 했는가 ?

기존의 프로젝트는 실시간으로 수정할수없고 하나의 수정을 하려 한다면 스키마도 바꿔야 하고 DB의 ETL도 건드려야 하고 등등등 ! 모두가 알지 않나 ? 사용자가 원해 바꾸려고하면 다 뒤집어 엎는 우리의 시스템

그럼 SPLUNK는 어떻게 간략화 해주나?

SPLUNK는 여러 프로그램이 하나로 합쳐 진게 아니라 하나의 싱글 솔루션이다 

Forwarder ! 데이터를 수집해야 하는곳에 SPLUNK를 설치하고 간단한 설정만 해주면 데이터를 막 던져 준다규~

어댑터 따위 ㅋ ETL따위 ㅋ 스키마 따위  ㅋ nono  그냥 Forwarder가 주는 데이터만 받아서 쓴다. 

자체적 파일 포맷으로 데이터를 저장하고 데이터베이스는 쓰이지 않는다. 

쿼리 대신에 서치를 쓴다. 

만약 새로운 데이터를 사용자가 원한다면 그저 Foward에서 추가하여 다시 splunk로 보내줘서 서치(쿼리)만 해주면 된다. 

이제 SPLUNK TOOL 을 쓰면서 페이스북 로그를 사용해봐야 겠다!

회사의 프로젝트 때문에 시작하게 된 SPLUNK ! 일단 기본 개념부터 공부해야 겠다.  일단 BIG DATA 부터  ! 

1. 뭔데 BIG DATA?!

이번에 사장님과 룰루랄라 갔던 세미나에서 빅데이터를 짤막하게 설명해주셨다. 

빅데이터 말이 많아졌지만 요새 빅데이터의 개념은 어떻게 정의가 되고 있는가 ?  빅데이터가 하나의 용어 였다면 이제 소셜 + 스마트 합친 거라고 나 할까 ? 

소셜이나 구글의 모든 자료들 그리고 사람들은 이제 pc뿐 아니라 스마튼폰으로 수시로 로그를 남긴다.  

그모든게 다 빅데이터가 아닐까? 이제는 하나의 용어가 아니라 그냥 BIG DATA 다!

2. BIG DATA는 어떻게 쓸건데?

이미 구글은 인공위성,자체 솔루션을 통해서 데이터를 수집하고 있고 사람의 조종에 의해서 움직이는 로봇이 아닌 빅데이터의 분석으로 마치 생각하여 스스로 움직이는 듯한 무인분석 로봇을 만들고 있다고 한다.

사람이 없어도 스스로 사람을 돕는 영화와 같은 로봇도 나오게 되지 않을까?

3. 3V ?

BIG DATA를 가리키는 3가지가 있다. 

하나, VOLUME  데이터의 양이다 무수하게 많은 데이터! 우리나라에서는 TB까지 데이터가 쌓일 것으로 기대하고 있다고 한다.

둘,  VELOCITY 배치X, 실시간! 빅데이터는 빠른 속도가 장점이다.

셋,  VARIETY  sql이 정형화 되어있다면 빅데이터는 비정형화가 기본이고 거기서 정형화를 또 만드라어 낼수 있다.

4. BIG DATA 100% 신뢰 할 수 있다?

아니다. 신뢰도를 높여줄뿐이지 100%는 아니라고 한다 어떻게 가공하고 분석하냐에 따라서 BIG DATA의 신뢰도는 높여 진다.

5. 신뢰할수 있는 데이터를 어떻게 가공하지?

오픈 소스인 하둡과 nosql을 많이 쓰고 있지만 난 이번에 SPLUNK 를 회사에서 쓰기로 했기 때문에 SPLUNK를 로 데이터를 요리조리 쪼물딱 해볼 것이다 ! 

6. BIG DATA는 어디서 얻지 ?

보통은 라우터나 백본 L4에 정보가 들어 오고 나가 하는 네트워크 로그들을 저장해 둔다면 그것도 해킹을 예측하고 방어하는데에 아주 좋은 자료가 될수 있고 시스템로그가 많이 쓰인다고 한다. 

네이버나 다음과 같이 대형 포털 사이트에 하루에 접속자는 몇만명 그들의 사이트의 이동경로를 본다면 기호라던지 많은 자료가 쌓이게 된다.

좋은 예로 다음 사이트에 들어가면 본인들의 빅데이터 활용을 어떻게 했는지 깔끔하게 구성 되어 있다.