본문 바로가기

빅데이터12

데이터 분석가가 되기위한 역량, 기술 데이터 분석가에게 필요한 기술 1. EDA 먼저 기본적으로 데이터 분석가에게 필요한 기술은 EDA를 알아야합니다. EDA란 탐색적 자료분석이라는 뜻으로 (Exploratory Data Analysis)의 줄임말 입니다. EDA는 6가지의 의사 결정 단계가 있는데 데이터 가지고오기 데이터 모양 확인하기 데이터 타입 확인하기 데이터 기초 분석 데이터 클린징 데이터 시각화 로 되어 있으며 이것을 통합해서 의사 결정을 할 수 있습니다. 2. 데이터에 대한 이해 먼저 데이터에 대한 이해가 필요하므로 RDBMS에서 사용하는 SQL에 대한 이해가 필요하고 Mongo DB와 같은 No SQL을 사용하는 데이터베이스를 위한 JSON에 대한 지식도 필요합니다. 이것은 EDA에서 2번(데이터 모양 확인하기)와 3번(데이터 .. 2020. 2. 6.
000. 과거의 컴퓨팅과 현재 클라우드 컴퓨팅 컴퓨팅 환경의 진행과정 메인 프레임(1970~1980년대) 이때의 IT 환경은 '메인 프레임'이라는 초대형 컴퓨터를 중앙에 배치한 중앙 집중처리 구조를 사용하였습니다. 클라이언트들은 그냥 입출력만 담당하였습니다. 클라이언트 서버(1990년대) 클라이언트/서버의 등장으로 기업의 IT시스템 인프라에 급격한 변화를 몰고 왔습니다. 이 시기 수많은 정보 시스템이 새로 구축되었으며, 이는 IT 시장이 오늘날과 같이 폭발적으로 커지는 기반이 되었습니다. 웹 기반 네트워크 컴퓨팅(2000년대) 웹 브라우저를 통한 애플리케이션 처리로 분산 환경이 다시 한 번 서버 중심 중앙 컴퓨팅 환경으로 발전하게 됩니다. 이때 아마존, 구글, 페이스북 등 ICT 기업들이 급성장하게 되었습니다. 클라우드 컴퓨팅(2010년대) 현재는 .. 2019. 10. 12.
SKT·대구시·대구경찰, 유동인구 빅데이터 활용 안전사회 조성한다 먼저 데이터 분석을 활용하면 어떤 일에서 잘 활용할 수 있을까 생각했는데 대구경찰이 유동인구 빅데이터를 활용하여 범죄가 발생하면 빠른 대처를 할 수 있게 도움을 줄 수 있구나 라고 생각했습니다. 순찰 노선 개선 통해 출동시간 단축 ∙∙∙ 범죄현장 골든타임 확보 및 선제 대응 기대와 인력∙장비 효율적 배치로 순찰 비용 절감하고 국민의 체감 안전도 향상에 기여 특히, 백왕흠 대구시 스마트시티과장은 “이번 협업을 계기로 빅데이터 분석을 통해 대구광역시의 안전 사각지대를 줄이기 위해 지속적인 노력을 기울일 예정”이라고 밝혔혔으며, 유오재 대구지방경찰청 생활안전과장은 “빅데이터 분석을 적용해 인력과 장비를 보다 효율적으로 활용하고, 신고출동시간을 단축해 국민이 느끼는 체감 안전도를 높일 수 있을 것으로 기대한다”.. 2019. 5. 25.
KT넥스알, 차세대 클라우드 빅데이터 플랫폼 출시한다 확률과 통계 수업을 들으면서 빅데이터와 클라우드에 대한 이야기가 자주 나오는데 마침 이런 기사가 있어서 한번 읽어 보게 되었습니다. ‘지능형 데이터’ 폭증하는 5G 시대 다양한 영역의 기관·기업 의사결정 지원...AI 모델 구축 환경, 에지 컴퓨팅 등 3가지 주요 기능을 ‘콘스탄틴’에 도입 먼저 기사 초반에 빅데이터에 대한 설명을 소개하는 이야기가 나왔습니다. 오늘날 빅데이터 플랫폼은 제조 공장, 신용카드, 포털 사이트, SNS 등 다양한 데이터 소스에서 발생된 정보를 수집·저장하기 위해 필요한 IT 환경이다. 현재 많은 기업들이 빅데이터 플랫폼을 이용해 경영에 필요한 인사이트(Insight)를 도출하고 데이터에 기반한 비즈니스 혁신을 추구하고 있으나, 기존에 운영됐던 시스템(레거시 시스템)과 분리된 별.. 2019. 5. 21.
004. psych패키지, descr패키지 사용하기 앞에 나왔던 summary( ) 함수로는 최솟값, 1사분위수, 중앙값, 평균, 3사분위수, 최댓값까지 확인할 수 있지만 "psych" 패키지를 설치하고 로드한 후 describe( )함수를 이용하면 summary( )함수에서 이용한 것과 변수 개수, 관측치 수, 표준편차, 범위, 첨도, 왜도 까지 알 수 있습니다. 예를들면 summary 한 값은 아래 그림과 같습니다. 다음은 describe한 값입니다. 이것을 통해 summary로만 부족한 내용을 describe를 통해 보충해서 확인 할 수 있습니다. 다음은 "descr"패키지를 이용해 freq( ) 함수를 사용해서 빈도수를 확인시켜주는 함수를 만들겠습니다. 먼저 mpg데이터에 있는 자동차 브랜드의 빈도수를 파악하기 위해 다음과 같은 명령어를 사용했습니.. 2019. 4. 16.
인공지능 및 최근 기술 기사사이트 인공지능신문사이트 http://www.aitimes.kr/ 인공지능신문 인공지능 관련 뉴스와 정보 제공. 인공지능, AI, 딥러닝, 머신러닝, 기계학습, 강화학습, CNN, 뉴럴네트워크, Deep Learning. www.aitimes.kr 이런식으로 AI Tech, AI Industry에서 자신이 원하는 카테고리로 들어가서 최신에 나온 기술이나 다양한 행사소식을 들을 수 있습니다. 다음부터는 이곳에서 기사 자료를 찾아 재밌는 내용들을 포스팅 할 예정입니다. 2019. 4. 15.