4. 빅데이터 플랫폼

1. 빅데이터 플랫폼 개념

- 과정 : 수집 --> 저장 --> 처리 --> 분석 --> 시각화

- 구성요소 : 수집, 저장, 분석, 활용 

- 데이터 수집 : 원천 데이터의 정형/반정형/비정형 데이터 수집 ex) 크롤러, EAI(기업에서 운영하는 서로 다른 어필 및 시스템을 통합하는 솔루션), ETL

- 데이터 저장 : 원천 데이터의 정형/반정형/비정형 데이터 저장 ex) RDBMS,NOSQL

- 데이터 분석 : 텍스트 부석, 머신러닝, 통계, 데이터 마이닝 

- 데이터 활용 : 데이터 가시화 및 BI, OPEN API 연계 ex) 히스토그램, 인포그래픽

 

2. 빅데이터 플랫폼 데이터 형식

- HTML,XML,JSON,CSV

 

- HTML : HyperText Markup Language, 웹페이지를 만들 때 사용하는 문서 형식, 텍스트, 태그, 스크립트로 구성

- XML : Extensible markup language, 다목적 마크업 언어 

- JSON : javascript objection notation, <키-값>, 텍스트를 활용하는 개방형 표준 포맷

- CSV : comma separated values, 쉼표로 구분하는 텍스트 데이터 및 파일

 

3. 빅데이터 플랫폼 구축 소프트웨어

- R, 스쿱, Hbase, 우지, 플럼 

- R : 데이터 분석 언어, 통계 프로그래밍인 S언어를 기반으로 만들어진 오픈 소스 프로그래밍 언어, 시각화 기능이 많음

- 스쿱 : 정형 데이터 수집, SQL to Hadoop 의 줄임말, 관계형 데이터베이스 시스템(RDBMS)에서 하둡 파일 시스템(HDFS)으로 데이터 수집, 하둡 파일 시스템에서 관계형 데이터베이스로 다시 보내는 시스템 

- Hbase :  분산 데이터베이스, 컬럼 기반 저장소로 HDFS와 인터페이스 제공

- 우지 : 워크플로우 관리, 하둡 작업을 관리하는 워크플로우 및 고디네이터 시스템 

- 플럼 : 데이터 수집, 이벤트와 에이전트를 활용하여 많은 양의 로그 데이터를 효율적으로 수집