티스토리 뷰

IT

[IT] 빅데이터 분석

J3SUNG 2019. 11. 1. 00:22

정형 데이터 마이닝
대용량의 데이터로부터 자동 또는 반자동적인 방법을 통하여 의미있는 패턴, 규칙, 관계를 찾아내는 것

정형 데이터 분석기법
1. 연관관계 분석
2. 의사결정나무
3. .앙상블
4. 인공신경망
5. 사례기반추론

연관관계 분석
데이터의 빈도 수와 동시 발생 확률을 이용하여 한 항목들의 그룹과 다른 항목들의
그룹 사이에 강한
 연관성이 있음을 밝혀주는 기술

의사결정나무
목표 변수에 대한 의사결정규칙 들을 나무 구조로 그래프화 하여 분류와 예측을 수행하는 기법
활용 분야 = 고객분류, 기업의 부도 예측, 주가 예측, 경제 전망 등

앙상블
주어진 자료로부터 여러 개의 예측모형들을 만든 후 이를 조합하여
하나의 최종 예측모형을 만드는 방법

인공신경망
데이터 안의 독특한 패턴이나 구조를 인지하는데 필요한 모델을 구축하는 기법

 

사례기반추론
과거에 있었던 사례들의 결과를 바탕으로 새로운 사례의 결과를 예측하는 기법
과거에 발생한 문제는 미래에 다시 비슷한 형태의 문제로 발생할 가능성이 높음
새로운 문제를 해결할 수 있는 정답이 과거의 문제를 해결했던 정답과 유사할 것이라는 가정

과거의 사례기반으로부터 새로운 사례와 가장 유사한 사례 검색하여 해결책 제안
=>
제안된 해결책은 적절히 수정된 후에 주어진 문제를 풀기 위해 재사용
=>
추후 다른 문제 해결에도 도움이 될 수 있도록 새로운 사례로 저장


비정형 데이터 마이닝
아주 많은 양을 가지고 있으면서, 구조와 형태가 다르고 정형화 되지 않는 데이터
(영상,음성,,이미지,비표준 텍스트 등)를 분석

비정형 데이터 분석 기법
1. 텍스트  마이닝
2. 오피니언 마이닝
3. 웹 마이닝
4. 소셜 네트워크 마이닝

텍스트 마이닝
자연어로 구성된 비정형 데이터에서 패턴/관계를 추출하여 의미 있는 정보를 추출,
가공하는 것을 목적으로 하는 기술

오피니언 마이닝
웹사이트와 소셜미디어에 나타난 여론과 의견을 분석해 유용한 정보로 재가공 하는 기술

웹 마이닝
데이터 마이닝 기술의 응용분야, 인터넷을 통해 웹 서비스를 이용하면서 웹에서 패턴을 발견하는 기술

 

 

빅데이터 개요 
https://j3sung.tistory.com/441
빅데이터 수집 
https://j3sung.tistory.com/442
빅데이터 저장 
https://j3sung.tistory.com/443
빅데이터 처리 
https://j3sung.tistory.com/444
빅데이터 분석 
https://j3sung.tistory.com/445
빅데이터 표현 
https://j3sung.tistory.com/446

 

빅데이터.pptx
3.12MB

 

728x90

'IT' 카테고리의 다른 글

[IT] 인공지능  (0) 2019.11.12
[IT] 빅데이터 표현  (0) 2019.11.01
[IT] 빅데이터 처리  (0) 2019.10.31
[IT] 빅데이터 저장  (0) 2019.10.31
[IT] 빅데이터 수집  (1) 2019.10.31
댓글
댓글쓰기 폼
공지사항