[2023 빅데이터 활용 시나리오 기획 전문가 과정] 사전교육(1)

[2023 빅데이터 활용 시나리오 기획 전문가 과정] 사전교육(1)

 

 <1장 데이터 가치의 재발견>

1. Nest : Google이 인수한 온도조절장치가 IOT기기로?

2. 리멤버 : 네이버-라인플러스가 인수한 명함앱

 - 명함만 연결하는게 아니라 명함끼리의 노드를 연결하는 방향성을 가진 엣지가 기술의 핵심.

3. Netatmo : 가정의 기상청과 같은 제품. (ex. 주방 내 미세먼지, 요리 하며 발생하는 발암물질)

 - 가정마다 설치되어 있기에 조밀조밀한 클러스터 정보로 정확한 기상 예측이 가능한 활용가치

 => Product와 Data를 같이 활용할 수 있는 기업만이 살아남는 세상이 도래했다. 하나의 서비스.

4. IoT의 정의 = 전자기기에 내장되어 사람과 사물, 사물과 사물간의 데이터를 주고 받는 기술

 - 1년에 30%씩 데이터가 증가하고 있음. Data -> information -> Knowledge -> Wisdom

 

<2장 빅데이터와 4차 산업혁명>

1. Smart Factory

 1) 다른 제조사의 장비가 동일한 공정을 대체할 수 있을 정도의 표준화

 2) 실시간 장비 대체가 가능한 Hot-stwap, 실시간 업무 변경 가능한 Plug&Produce

 

2. 4차산업혁명

 1) 3차 산업혁명 : Hardware에 Software를 설치하는 방식 => Data

 2) 4차 산업혁명 : Data => Software에 Hardware를 Plug-in하는 방식으로의 전환

 

<3장 빅데이터의 이해>

1. Terminology(전문용어) : Zookeeper, Spark, Hadoop, R/SAS/SPSS, Word Cloud, Kafka, 연관분석, 타조, 형태소분석, Esper, NoSQL 등의 용어

 

2. 정의 : 대량의 데이터 분석을 통해, 일반적으로는 볼 수 없었던 새로운 사실, 패턴, 법칙을 발견하여 새로운 비즈니스 가치를 창출하는 기법. (전체분석에서 사실을 도출)

3. 다양한(Variety) 형태의 대용량(Volume) 데이터를 빠르게(Velocity) 실시간으로 분석하여 가치(Value)를 창출. 3V 기반의 insight와 Foresight를 통한 가치창출

 - MapReduce 분산병렬처리(Apache Hadoop) + OSS 분석도구(R, 파이썬) + Text 분석기법

 

4. 분석도구

5. 비정형분석 : Text 등의 방대한 비정형 데이터를 빠른 속도(Near Real Time)로 분석

 - SNS, 인터넷 데이터 => 책 읽기 비교 : 컴퓨터(2400만장/day) vs 인간(500장/day)

 

6. Data Cleaning