데이터 과학) 2. 데이터 분석 개요

 

 

1. 데이터 분석 개요

사회가 발전하고 지식정보화 시대로 접어들면서 우리는 수많은 데이터를 접하게 되었다. 이러한 데이터는 조사를 통해서, 또는 실험을 통해서 얻게 되며 이를 이용하여 우리가 알고자 하는 미지의 현상을 구체적으로 파악하게 된다. 데이터를 통해서 어떠한 미지의 현상을 파악하고, 불확실한 사실에 대한 의사결정을 하기 위해서는 조사방법, 실험방법에서부터 데이터의 수집에 대한 방법이 과학적으로 이루어져야 하고, 또한 철저한 데이터 처리와 합리적인 분석방법이 이루어져야 한다.

 

데이터의 수집, 처리 및 분석 작업을 합리적으로 진행하기 위해서는 철저한 과학적인 방법이 요구되는데, 이러한 분야는 우리는 통계학이라고 한다. 기본적으로 데이터 분석이란 사회, 자연 및 인간 생활의 온갖 현상을 연구하기 위해서 얻는 불확실성이 내포된 자료에 대해서 정보를 효육적으로 얻는 방법, 얻어진 정보를 효육적으로 관리하는 방법, 얻어진 정보를 효율적으로 ㅗ간리하는 방법, 얻어진 정보를 체계적으로 보는 사고의 틀을 제시하여 불확실성하에서 의사결정을 합리적으로 제시하는 방법이라고 할 수 있다.

 

오늘날에 와서 데이터 분석방법들은 학문의 전 분야에서 문제 해결의 방법으로 사용되고 있다. 이는 데이터 분석방법들이 조사, 관측, 실험을 통하여 자료를 수집하고, 수집된 자료를 정리, 요약하여 새로운 정보를 얻고 얻어진 정보를 이용하여 통계적 추론의 과정을 통해 문제를 해결하는 객관적이고 합리적인 사고방식이기 때문이다. 일상생활에서 데이터 분석이 적용되는 사례들은 일기예보, 여론조사, 제품의 품질 향상을 위한 실험, 농작물에 대한 실험, 담배의 유해성 여부에 대한 분석 등에서 쉽게 접할 수 있다. 또한 우주선 발사에서의 시스템의 안전도 검사, 각종 광물자원의 매장량 추측, 희귀한 동식물으 ㅣ서식 정도에 대한 추정 등 수 많은 분야에서 사용되고 있다.

 

위와 같이 다양한 통계학의 역할에서 살펴볼 때 데이터 분석을 철저하게 하기 위해서는 주어진 문제를 정확히 파악하고, 필요한 자료를 수집, 분석하는 절차를 염두에 두어야 할 것 이다. 데이터 분석 절차는 일반적으로 다섯 단계로 나눌 수 있다. 이와 같은 절차가 꼭 순서대로 시행되는 것은 아니고, 각 단계에서 필요에 따라 그 이전 단계나 다음 단계로 갈 수도 있다. 각각의 단계에 대하여 구체적으로 살펴보자.

 

1) 문제 정의

일반적으로 연구의 시작은 대개 간단하고 모호한 질문으로부터 시작된다. 이것을 자세하고 정확한 질문으로 구체화시켜 연구의 목적으로 하는 것이 문제의 정의이다. 이것을 자세하고 정확한 질문으로 구체화시켜 연구의 목적으로 하는 것이 문제의 정의이다. 이 단계에서 연구대상이 되는 모집단이 어떠한 것이며, 무엇이 불확실한 상황이고, 어떠한 의사결정들이 내려질 수 있는지에 대한 자세한 검토가 이루어져야 한다.

 

2) 조사 실험의 계획

연구의 목적이 명확하게 정의되면 달성할 수 있는 조사, 실험을 계획하여야 한다. 구체적으로 연구대상이 되는 모집단을 모두 조사할 것인지 아니면 표본만을 조사할 것인지 결정한다. 만일 표본을 조사하려고 한다면 표본을 어떻게 선택하고, 표본의 크기는 어느 정도로 하며, 각 표본에서는 무슨 자료를 얻을 것인지 결정해야 한다.