su0304

GIS?

이완수 박사

데이터 상관분석 

Interoperability 쉽게 데이터를 가져다 쓰고 융합 

crisis mapping -google

z커뮤니티 -> 소통 -> 지도 -> 만들기 

mappler apps

Nashville gis 

http://www.imsocio.org/home/

http://www.mappler.net/nashville/

http://www.semap.net/

시멘틱 웹

URI  (Uniform Resource Identifier)

Linked dAta에서 URI는 웹 상에서 사물을 식별하기 위한 식별활용 된다.

문서나 데이터를 하나 하나 식별 하기 위해서 URI 를 부여 한다.

URI는 어떻게 만들어야 하나 ?

단순성 , 안정성 , 관리의 용이성

ex.coolurls

XML

웹에서 사람과 기계 가독성이 있는 형태로 데이터의 구조를 표현 하기 위한 텍스트 형태의 포맷 

데이터 구조 정의 기술 <- 목적

html은 사람들이 보는 컨텐츠가 기준

누구든 동일 하게 데이터를 해석 할수 있는 방법 이 필요 

--> RDF (Resource Description Framework)

웹에서 존재하는 자원에 대한 정보를 개념적으로 기술 하거나 모델링 하기 위한 방법을 제공 

주어 동시 목적어

subject predicate object

동그라미 ->uri

네모 -> 값 

그림 -> RDF/XML....

RDFS(RDF 스키마)

구조 만들기

클래서 정의 , 속성과 관련 제약 조건에 대한 정의

계층 구조에 대한 정의

owl (Web Ontology Language)

데이터 구조 정의 온톨로지를 만들기 위한 지식 표현 언어

Knowlage base 

사람은 죽는다 -> 지식 . 

.. ㅋㅋ 잘 안쓰는구나..

제약 조건을 만드는 거야

SPARQL( SPARQL Protocol and RDF Query Language)

RDF는 그 구조 자체가 RDB와 다르기 때문에 다른 형태의 질의 언어 필요 

sql과 구성 비슷 , RDF는 그래프 구조이다.

RDF dataset

 개념 도출 및 용어 정의

영화하면 뭐생각 남? 영화관 등등

클래스 정의

디비와 다름 상하위 구조를 가지고 있음 

file-new-2번쨰

base url -> 기본 사이트주소 

owl:Thing -> 최상의 class (Object)

-> mouse right  -> neww class

나란여자 

리눅스 왓?머에여? 씹어먹는거에염?~~ 캬캬캬캬캬캬캬캬

syslog 니가 뭔데 ?ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

하아. 그래도 해봐야지

forward만 믿을 수 없자낭?!

대략대략 syslog 알아 봤는데 걍 시스템 로그 모아주구

UDP 통신 하더라? 포트는 514! 어예 ~ 

기본으로 되있는거니까 신경 노노노 

그렇다면 우리 서버 쪽에서 UDP 포트를 또 열어 줘야겟져 ~?

C:\Windows\System32\Drivers\etc\srvices 에 보면

있어영 ㅋ

이렇게 ㅋㅋ 

이번엔 데이터 입력에서 UDP 설정 

위에서 확인한 syslog의 포트를 열어주세요 

syslog라고 선택도 해주고 

이번엔 클라이언트서버에서 syslog.conf 를 설정해줘야 해용

만약 내 리눅스 서버에 syslog가 없다... 설치하세요.. ㅠㅠ ㅋㅋ

맨아랫줄이 이렇게 넣어 줍니다. syslog는 보통 var /log/ 아래 다 쌓임

이번엔 포트까지 써줄 필요는 없고 서버 IP만 씁니다. 

검색에서 데이터 요약을 보면 ~ 캬 ~ 이렇게 클라이언트 서버의 주소가 나오네용 

삽질의 끝판왕 SplunkForward 설치 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

하아. 한숨 ㅋㅋㅋㅋ

고우고우 

난 우리 회사 서버에있는 ㅋㅋ 톰켓 로그를 보내보기로 했당.

dpkg -i 패키지이름 

./splunk start or splunk start 

Y!!!!!! 

./splunk add monitor 패스(경로) 

이렇게 하면 경로안에 있는 로그들을 수집해서 쏴줍니다.

./splunk add forward-server IP:PORT 

서버측의 IP와 port를 적어주세욤 ~ 그래야 쏴주겠쬬 ~ 

서버에 아주 잘들어와 있네 옿옿옿옿ㅇ홍홍홍호옿ㅇ 

난 정말 학교다닐때도 네트워크를 너무나 싫어했다.

개념으로 달달달 외워서 시험만 보면 리셋했다고나 할까?

하지만 SPLUNK를 위해서 간단한 네트워크 기본 개념은 알고 있어야 했다.

다하고 나니 별거 아닌 TCP 통신 !!!! ㅠㅠㅠㅠ

이해를 해보겠다.!!

TCP는 양방향 통신이다.

지겨워 ㅋㅋ 학교다닐때 너무 열심히 외웠음 하지만 이번에 이 의미를 제대로 깨우쳤다.

server가 port를 열어주면 9997 갖고 오는애들은 다 받아주며 내포트!!!이거얌~~ 하면서 같이 들어오는 애들한텐 ACK를 보내주기도하고 안보내주기도 하고 그건 설정에 따라 다르다.

여튼 간다! 

그리하여 ㅋㅋ 

PORT를 그럼 SPLUNK에서 어떻게 열어야 하지?

전 윈도우에 깔았응꼐 netstat -an  하면 내가 설정한 포트까 나와욤

끗 ㅋㅋㅋㅋ

이제 내 리눅스 서버에 돌아다니는 데이터를 몽땅 수집해 보기 위해서 Splunk 를 리눅스에 설치 해보기루했다.

rpm,tar은 .... 왜인지 자꾸 오류가 나서 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ 

외쿡인블로그를 참고하여 deb 파일로 설치를 고고 했따 >_<

1.Splunk 를 다운로드 받슴돠 

2.서버에다가 파일 옮겨놓고 설치한돠 

dpkg -i 패키지이름 

그럼 아래처럼 쭈주주죽 깔림 ~ complete가 되고 나면 최상위 디렉토리에서 opt라는 폴더에 들어가보면 splunk가 잘 깔려 있똬 ㅋㅋ  

3.License 동의를 해야 하므로 Splunk start를 명령어로 쳐준다.

/opt/splunk/bin/splunk start 

물어보면 y 누르고 아래처럼 

4.Done!

설치 다하고 나면 URL이 나온다 잘 적어 두기~

성공은 했는데 뭔가 찜찜 원래 splunk가 데이터를 통째로 받으니까

그리고 참고 했던 블로그와 좀 다른 방식으로 했다.

왜 그 사람이 하란데로 하면 안되지 ?!!!

그래서 나는 나의 방식대로 했다.

ㅠㅠㅠㅠㅠ 페이스북 api에 대해서 더 심도 있게 파보면 데이터 활용을 잘 할 수 있을 거 같다.

일단 설치해야 하는 앱이 있다. 고고 

난 data input 방식을 rest를 쓸거기 때문엥 

REST API Modular Input 을 검색 해서 설치 한다 ~

데이터 입력을 누르고

데이터 추가를 해준다

원래는 이렇게 하라고 했는데  

난 안되서 방법을 조금 바꿧다. 

https://graph.facebook.com/me/friends?access_token=? <<-본인토큰 

난 그냥 url 전체를 뿌려줬다.

위에 나눠서 하는게 왜 안되는지 아직 파일 못함 ㅠ ㅠ

source="rest://aa"

를 검색 해주면 아래처럼 페이스북에서 주는 json 형식의 데이터가 들어온다 ! 야호~

FACEBOOK 은 developers.facebook.com 에서 OPEN API 를 제공해준다.

이걸 사용하려면 앱과 토큰이 있어야 하는데 간략하게 설명 고고 ! 

1. FACEBOOK APP 만들기!

새 앱만들기 클릭 

Display Name은 필수로 적으시고 Namespace는 굳이 안적어도 잘 만들어짐

Splunk 라는 이름의 앱이 생깁니다 XD

2. FACEBOOK 토큰을 만들자 !

도구 -> 그래프 탐색기를 클릭 

아래와 같은 화면이 나오면 만들어준 앱이름을 선택한다.

그리고 디버그를 클릭하고 Get APP Token 을 클릭한다.

https://graph.facebook.com/oauth/access_token?client_id=APP_ID
&client_secret=APP_SECRET
&grant_type=fb_exchange_token
&fb_exchange_token=EXISTING_ACCESS_TOKEN

APP_SECRET = 앱 시크릿 코드 

완성된 url을 브라우저에 띄우면 아래와 같이 나온다 그럼 성공 ! 이제 SPLUNK 에 데이터를 쏘아줄 Forward는 완성 되었다.!

토큰도 완벽하게 받아왔땨규~

SPLUNK  기초 BOOT 캠프에 간적이 있다. 전체적으로 sql을 쓰던 개발자 보다는 분석과 시각화에 중점을 두는 사람이 들으면 좋겠다 라는 생각이 든 캠프였다. 캠프에서 배운걸 정리 해보면서 정의를 내봐야 겠다.

1. spelunk  동굴을 탐험하다.

창업주가 기존의 IT가 문제점이 봉착 했을 때는 문제점을 찾아가는게 어렵고 마치 동굴을 탐험하는거 같다 하여 SPLUNK 라고 지었다고 한다. 

회사의 출발은 로그 분석해서 장애를 빠르게 복구 하는 시스템이다.

2. SPLUNK는 기존의 프로젝트들을 얼마나 유연하게 했는가 ?

기존의 프로젝트는 실시간으로 수정할수없고 하나의 수정을 하려 한다면 스키마도 바꿔야 하고 DB의 ETL도 건드려야 하고 등등등 ! 모두가 알지 않나 ? 사용자가 원해 바꾸려고하면 다 뒤집어 엎는 우리의 시스템

그럼 SPLUNK는 어떻게 간략화 해주나?

SPLUNK는 여러 프로그램이 하나로 합쳐 진게 아니라 하나의 싱글 솔루션이다 

Forwarder ! 데이터를 수집해야 하는곳에 SPLUNK를 설치하고 간단한 설정만 해주면 데이터를 막 던져 준다규~

어댑터 따위 ㅋ ETL따위 ㅋ 스키마 따위  ㅋ nono  그냥 Forwarder가 주는 데이터만 받아서 쓴다. 

자체적 파일 포맷으로 데이터를 저장하고 데이터베이스는 쓰이지 않는다. 

쿼리 대신에 서치를 쓴다. 

만약 새로운 데이터를 사용자가 원한다면 그저 Foward에서 추가하여 다시 splunk로 보내줘서 서치(쿼리)만 해주면 된다. 

이제 SPLUNK TOOL 을 쓰면서 페이스북 로그를 사용해봐야 겠다!

회사의 프로젝트 때문에 시작하게 된 SPLUNK ! 일단 기본 개념부터 공부해야 겠다.  일단 BIG DATA 부터  ! 

1. 뭔데 BIG DATA?!

이번에 사장님과 룰루랄라 갔던 세미나에서 빅데이터를 짤막하게 설명해주셨다. 

빅데이터 말이 많아졌지만 요새 빅데이터의 개념은 어떻게 정의가 되고 있는가 ?  빅데이터가 하나의 용어 였다면 이제 소셜 + 스마트 합친 거라고 나 할까 ? 

소셜이나 구글의 모든 자료들 그리고 사람들은 이제 pc뿐 아니라 스마튼폰으로 수시로 로그를 남긴다.  

그모든게 다 빅데이터가 아닐까? 이제는 하나의 용어가 아니라 그냥 BIG DATA 다!

2. BIG DATA는 어떻게 쓸건데?

이미 구글은 인공위성,자체 솔루션을 통해서 데이터를 수집하고 있고 사람의 조종에 의해서 움직이는 로봇이 아닌 빅데이터의 분석으로 마치 생각하여 스스로 움직이는 듯한 무인분석 로봇을 만들고 있다고 한다.

사람이 없어도 스스로 사람을 돕는 영화와 같은 로봇도 나오게 되지 않을까?

3. 3V ?

BIG DATA를 가리키는 3가지가 있다. 

하나, VOLUME  데이터의 양이다 무수하게 많은 데이터! 우리나라에서는 TB까지 데이터가 쌓일 것으로 기대하고 있다고 한다.

둘,  VELOCITY 배치X, 실시간! 빅데이터는 빠른 속도가 장점이다.

셋,  VARIETY  sql이 정형화 되어있다면 빅데이터는 비정형화가 기본이고 거기서 정형화를 또 만드라어 낼수 있다.

4. BIG DATA 100% 신뢰 할 수 있다?

아니다. 신뢰도를 높여줄뿐이지 100%는 아니라고 한다 어떻게 가공하고 분석하냐에 따라서 BIG DATA의 신뢰도는 높여 진다.

5. 신뢰할수 있는 데이터를 어떻게 가공하지?

오픈 소스인 하둡과 nosql을 많이 쓰고 있지만 난 이번에 SPLUNK 를 회사에서 쓰기로 했기 때문에 SPLUNK를 로 데이터를 요리조리 쪼물딱 해볼 것이다 ! 

6. BIG DATA는 어디서 얻지 ?

보통은 라우터나 백본 L4에 정보가 들어 오고 나가 하는 네트워크 로그들을 저장해 둔다면 그것도 해킹을 예측하고 방어하는데에 아주 좋은 자료가 될수 있고 시스템로그가 많이 쓰인다고 한다. 

네이버나 다음과 같이 대형 포털 사이트에 하루에 접속자는 몇만명 그들의 사이트의 이동경로를 본다면 기호라던지 많은 자료가 쌓이게 된다.

좋은 예로 다음 사이트에 들어가면 본인들의 빅데이터 활용을 어떻게 했는지 깔끔하게 구성 되어 있다.