끄적끄적 코딩
[IT] 빅데이터 처리
IT 2019. 10. 31. 23:56

빅데이터 처리 빅데이터에서 유용한 정보 및 숨어 있는 지식을 찾아내기 위한 데이터 가공 및 분석 과정 지원하는 기술 처리 기술을 위한 필요 요소 1.대규모 데이터 처리를 위한 확장성 2.데이터 생성 및 처리속도를 해결하기 위한 처리 시간 단축 및 실시간 처리 지원 3.비정형 데이터 처리 지원 등 데이터 전처리 기술 수집한 데이터를 저장소에 적재하기 위한 작업 ex) 데이터 필터링, 데이터 변환, 데이터 정제 데이터 필터링 - 오류 발견, 보정, 삭제 및 중복성 확인 등의 과정을 통해 데이터 품질을 향상 시키는 기술 데이터 변환 - 데이터 유형 변환 등 데이터 분석이 용이한 형태로 변환하는 기술 데이터 정제 - 이상치를 식별 또는 제거하고, 잡음 섞인 데이터를 교정하여 데이터의 불일치성을 교정하는 기술 -..

article thumbnail
[IT] 빅데이터 저장
IT 2019. 10. 31. 23:51

빅데이터 저장 운영자가 수집 처리된 데이터를 분석에 활용할 수 있도록 적합한 방식으로 저장 보관하는 작업 데이터 저장처리 절차 데이터 전/후 처리 => 데이터 정리 => 데이터 보안 관리 => 데이터 수집 관리 RDB - 관계형 데이터를 저장하거나, 수정하고 관리할 수 있게 해주는 데이터베이스 - SQL 문장을 통하여 데이터베이스의 생성, 수정 및 검색 등 서비스를 제공 - 도구 = Oracle, mysql, mssql, MPP DB NoSQL - Not-Only SQL의 약자이며, 비관계형 데이터 저장소 - 테이블 스키마(Table Schema)가 고정되지 않고, 테이블 간 조인(Join) - 연산을 지원하지 않으며, 수평적 확장(Horizontal Scalability)이 용이 - 도구 = Mongo..

[IT] 빅데이터 수집
IT 2019. 10. 31. 23:45

빅데이터 수집기술 다양한 유형의 데이터를 수집하는 것 빅데이터 수집 실행 절차 수집대상 데이터 선정 => 수집 세부계획 수립 => 데이터 수집 실행 데이터 선정 고려사항 - 수집 가능성 - 보안성 - 정확성 - 비용 정형 데이터의 데이터 종류는 RDB, 스프레드시트 등 수집 기술로는 ETL, FTP, Open API 등 반정형 데이터 데이터 종류는 HTML, XML, JSON, 웹문서, 웹로그, 센서 데이터 등 수집 기술로는 크롤링, RSS, Open API, FTP 비정형 데이터의 데이터 종류는 소셜 데이터, 문서, 이미지, 오디오, 비디오 등 수집 기술로는 크롤링, RSS, Open API, Streaming, FTP 종류 설명 크롤링 - 외부 데이터의 HTTP 수집방법 - SNS, 뉴스, 웹 정보 ..

article thumbnail
[IT] 빅데이터 개요
IT 2019. 10. 31. 23:44

빅데이터는 4차 산업혁명을 주도하는 기술 중 하나로 큰 데이터의 집합을 의미하며 실생활에 가깝게 사용되고 있는 기술입니다. 정의 간단하게는 엄청나게 큰 데이터를 의미하며 자세하게는 3V라는 빅데이터의 공통적 속성이 지켜져야합니다 3V는 속도, 크기, 다양성을 의미합니다. 속도 : 데이터가 생성되고, 저장되며, 시가화 되는 과정이 매우 빠름 크기 : 데이터의 물리적인 크기가 매우 큼 다양성 : 데이터의 형태 유무와, 연산가능 여부에 따라 나누어지는 데이터들이 매우 다양 최근에는 정확성, 가변성, 가치, 시각화 등의 속성이 추가됨 데이터의 분류 정형 : 데이터의 형태에 따라서 고정된 필드에 저장된 데이터를 의미 비정형 : 고정된 필드에 저장되어 있지 않은 데이터로서 텍스트 분석이 가능한 데이터 반정형 : 고..

[IT] 엣지 컴퓨팅
IT 2019. 10. 31. 22:19

엣지 컴퓨팅 데이터를 저장 및 처리하고 분석하는 기능을 엣지 또는 엣지 근처로 가져오는 컴퓨팅 방식 클라우드 컴퓨팅과는 대조적 구름을 뜻하는 클라우드보다 아래, 사용자와 가까운 안개 포그라는 단어로도 쓰임 엣지 컴퓨팅은 이러한 포그 컴퓨팅에 포함되며 클라우드렛으로도 불립니다. 엣지 컴퓨팅이 일어난는 가장자리, 주변부 데이터를 직접 생산하는 단말기나 단말기와 근접한 각종 기기들을 말함 가장 흔하게 접하는 엣지는 스마트폰 엣지 컴퓨팅은 클라우드 컴퓨팅의 한계를 해결하고자 탄생되었습니다. 클라우드 컴퓨팅의 한계 5G시대와 함께 급격하게 증가하는 트래픽으로 인해 서버 및 데이터센터에서 처리할 수 있는 한계를 넘어섬. 서버와 클라이언트가 송수신 과정에서 발생하는 데이터 지연현상, 개인정보 유출과 같은 보안 문제...

[IT] 클라우드 컴퓨팅
IT 2019. 10. 30. 21:43

클라우드 컴퓨팅은 4차 산업혁명을 주도하는 핵심 기술 중 하나입니다. 정의로는 IBM에서와 한국정보통신기술 협회에서의 정의가 있습니다. IBM 정의 웹 기반 응용 소프트웨어를 활용하여 대용량 DB를 인터넷 가상공간에 분산 처리하고, 이 데이터를 컴퓨터나 휴대전화, PDA 등 다양한 단말기에서 불러오거나 가공할 수 있게 하는 환경을 의미합니다. 한국정보통신기술협회에서의 정의 인터넷 기술을 활용하여 가상화 된 정보 기술 자원을 서비스로 제공하는 컴퓨팅, 사용자는 IT 자원을 필요한만큼 빌려서 사용하고, 서비스 부하에 따라서 실시간 확장성을 지원받으며, 사용한 만큼 비용을 지불하는 컴퓨팅을 의미합니다. 대표적으로는 네이버 N클라우드, 구글의 구글드라이브, 드롭박스 등이 있습니다. 클라우드 컴퓨팅의 이점 1. ..

[보안] 해킹 기초 (1)
보안 2019. 10. 30. 16:28

목록화 공격 대상의 정보를 하나도 모르는 상태 네트워크 해킹 시작전 준비단계 풋프린팅 발자국을 살펴보는방식 공격 대상의 정보를 모으는 방법 중 하나 해킹을 위한 사전 준비 작업 스캔 : 공격하려는 대상의 작동 여부 확인 - 핑 : 네트워크와 시스템이 정상적으로 작동하는지 확인하기 위한 간단한 유틸리티 - - ICMP-Echo Request - Echo Reply (대표적) - - TTL : 무한루프 막기 위함 스텔스 스캔 : 공격대상을 숨기는 스캔 TCP 단편화 : 방화벽을 뚫을 수 있는 방법 패킷을 나눠서 보내서 어디로 가는지 알 수 없게 가능 방화벽 : 침입자를 차단하는 1차 방어선, 접속에 대한 허용과 차단을 결정

[보안] 블록체인
보안 2019. 10. 30. 16:21

블록체인 관리 대상 데이터를 '블록'이라고 하는 소규모 데이터들이 P2P 방식을 기반으로 생성된 체인 형태의 연결고리 기반 분산 데이터 저장환경에 저장되어 누구라도 임의로 수정할 수 없고 누구나 변경의 결과를 열람할 수 있는 분산 컴퓨팅 기술 기반의 원장 관리 기술| 특징 1. 분산 2. 무결성(조작X) 기술 1. 공개키 2. 해시 BitCoin = 서명들이 체인으로 연결되어 있는 전자화폐 마이닝 = 10분간 전세계의 모든 트랜잭션을 블록으로 만듦 보안적 문제 1. wallet 관리 문제 2. 51%

검색 태그