컴퓨팅

2017년에 주목해야 할 빅데이터 10대 트렌드

발행일시 : 2017-01-10 00:00

빅데이터의 중요성과 사업이 급성장하고 있는 가운데 사물인터넷(IoT) 및 클라우드 환경에서 생성되는 모든 유형의 데이터에 대한 분석을 지원하는 시스템의 지속적 성장이 전망되고 있다. 이는 기업들의 머신러닝 및 스마트 시스템 도입이 증가되고 데이터에 대한 최종 사용자의 접근성을 높여주는 셀프 서비스 도구에 대한 요구가 높아지기 때문이다. 또한 비즈니스 사용자가 하둡상의 다양한 데이터 유형 및 형식을 처리할 수 있도록 데이터 준비에 소요되는 시간과 복잡성을 줄일 수 있는 셀프 서비스 도구가 부상할 것으로 보인다.

이렇게 빅데이터의 가파른 성장이 예상되는 가운데 태블로 소프트웨어(이하 태블로)는 2017년 빅데이터 분야의 주요 분석 및 솔루션 동향에 대해 예측한 ‘2017년 상위 10대 빅데이터 트렌드’ 보고서를 발표했다. 태블로 소프트웨어가 주목하는 10대 빅데이터 트렌드는 아래와 같다.

2017년에 주목해야 할 빅데이터 10대 트렌드

◆ 빠르고 접근성이 높아진 빅 데이터 활용을 위한 하둡 옵션 확장
기업에서는 하둡에서 더 빠르고 반복적으로 KPI 대시보드 및 탐색적 분석을 위해 더 빠른 속도의 SQL이 필요해졌다. 때문에 엑사솔(Exasol) 및 멤SQL(MemSQL) 같은 고속의 데이터베이스와 쿠두(Kudu) 같은 하둡 기반 저장소, 더 빨리 쿼리할 수 있는 기술도 필요해졌다. 이러한 쿼리 가속기는 하둡 상에서 SQL 및 OLAP와 함께 사용돼 기존 웨어하우스와 빅데이터의 경계를 모호하게 만들고 있다.

◆ 하둡 이상의 빅데이터 위한 분석 플랫폼 활성화
2017년에 복잡하고 이질적인 환경이 구축된 기업에서는 다양한 플랫폼상의 구조화된 데이터와 구조화되지 않은 데이터에서 분석이 요구될 것이다. 기업이 해답을 찾을 수 있는 데이터는 다양한 환경의 수많은 데이터 원본에 분산되어 있다. 이에 모든 데이터 형식을 지원하고 다양한 사용 사례를 확보하는 데 실패한 분석 플랫폼은 사라질 것이다.

◆ 더 빠른 해답 도출을 위한 데이터 레이크의 반복적이고 민첩한 사용 강화
데이터 레이크에 대한 데이터 공급을 중요하게 여겼던 지금까지와 달리, 내년엔 하둡에 대한 비즈니스 요구사항이 증대됨에 따라 데이터 레이크의 활용 양상이 점차 달라질 것이다. 기업에선 데이터 레이크를 반복적이고 빠르게 사용해 더 빠른 데이터 분석 결과를 원할 것이다. 또한 데이터 레이크 투자 전의 비즈니스 성과도 신중히 고려할 것이다.

◆ 둡의 다양한 사례에 적용되는 참조 아키텍처 등장
하둡은 더 이상 데이터 사이언스를 위한 일괄 처리 플랫폼이 아닌 애드혹 분석 및 일상 워크로드에 대한 운영 보고에도 사용되고 있다. 이에 따라 사용 사례별 아키텍처 디자인을 통해 유연성을 제공하는 아키텍처가 부상할 것이다. 최신 참조 아키텍처는 사용자 특성, 질문, 양, 액세스 빈도, 데이터 속도 등 다양한 요소를 반영한 데이터 전략에 기반하며, 요구 변화에 따라 재구성되는 방식으로 셀프 서비스 데이터 준비 도구 및 최종 사용자 분석 플랫폼이 결합될 것이다.

◆ 데이터의 다양성이 가장 중요
시장조사업체 가트너의 최근 설문조사에 따르면, 빅데이터의 많은 양, 빠른 속도 및 고다양성 정보 자산의 3가지 속성 중 기업들의 빅데이터 투자에 가장 큰 영향을 미치는 요소는 다양성인 것으로 나타났다. 데이터의 형식은 스키마가 없는 JSON, 데이터베이스의 중첩 유형 및 비플랫 데이터까지 크게 증가하고 있으며, 이런 데이터들에 대한 연결을 제공하는 커넥터의 중요성이 커지고 있다.

2017년에 주목해야 할 빅데이터 10대 트렌드

◆ 파치 스파크 및 머신러닝이 빅데이터의 가치를 제고
글로벌 빅데이터 소프트웨어 기업 싱크소트(Syncsort)의 최근 설문조사 결과에 따르면, 설문에 참여한 데이터 설계자, IT 관리자 및 BI 분석가 중 약 70%가 이미 사용중인 맵리듀스(MapReduce)보다 아파치 스파크를 자사의 빅데이터 플랫폼으로 선호한다고 응답했다. 또한 머신러닝과 스마트 시스템이 증가함에 따라 이러한 데이터에 대한 최종 사용자의 접근성을 높여주는 셀프 서비스 소프트웨어에 이목이 집중될 것이다.

◆ IoT, 클라우드가 셀프 서비스 분석에 새로운 기회 창출
이질적인 시스템상에 저장되는 IoT 센서 데이터에 대한 수집 프로세스의 속도는 데이터 저장 및 관리 서비스 혁신으로 개선된 반면, 데이터에 대한 접근성 및 파악은 기업들에게 여전히 숙제로 남아있다. 이에 클라우드에 호스팅 된 광범위한 데이터 원본에 원활하게 연결 및 결합하는 분석 도구에 대한 요구가 증가하고 있으며, 기업들은 이런 도구를 사용해 모든 유형의 데이터를 탐색 및 분석하여 IoT 분야에서 숨겨진 투자 기회 발견할 수 있다.

◆ 데이터용 최종 사용자 데이터 준비 도구 활용의 지속
기업들은 다양한 데이터 유형과 형식 처리에 필요한 데이터 준비에 소요되는 시간과 복잡성을 줄여야 한다. 이에 대응한 민첩한 셀프 서비스 데이터 준비 도구는 하둡 데이터 원본을 준비할 수 있을 뿐 아니라 스냅샷 형태의 데이터로 더욱 빠르고 쉽게 탐색할 수 있게 한다. 알테릭스(Alteryx), 트리팍타(Trivacta), 팍사타(Paxata) 등 빅데이터용 최종 사용자 데이터 준비에 집중한 기업들은 많은 혁신을 달성했으며, 이러한 도구는 내년에도 이어질 전망이다.

◆ 둡이 엔터프라이즈 표준으로 자리매김
하둡은 엔터프라이즈 시스템 관련 보안 및 거버넌스 구성 요소에 대한 기업들의 투자가 늘어나면서 IT 환경의 핵심 부분으로 자리매김할 것이다. 아파치 센트리(Apache Sentry)는 하둡 클러스터에 대한 역할 기반 인증을 시행할 수 있는 시스템을 제공하며, 아파치 아틀라스(Apache Atlas)는 조직의 전체 데이터 환경에서 일관성 있게 데이터를 분류하도록 지원한다. 아파치 레인저(Apache Ranger)는 하둡에 대한 중앙 집중화된 보안 관리 기능을 제공한다. 이런 유형의 기능들은 기업들이 엔터프라이즈급 RDBMS 플랫폼에서 도입이 예상되며, 점차 핵심적인 빅데이터 기술이 되어 도입 장벽이 사라질 것이다.

◆ 가치있는 빅데이터를 찾는 셀프 서비스 분석의 확대
셀프 서비스 도구는 정리돼 있지 않은 빅데이터에서 분석 가치가 있는 관련 데이터를 탐색하고 이해할 수 있게 지원해 기업의 데이터 관리 및 처리 효율성을 높인다. 예를 들어, 아레이션(Alation) 및 워터라인(Waterline) 등의 기계학습 솔루션은 데이터 검색 작업을 자동화하며 쿼리 제안도 제공한다. 이를 통해 데이터의 사용자와 관리자가 모두 신뢰할 수 있는 데이터를 찾고 정확하게 쿼리하는 데 걸리는 시간을 줄여준다. 내년엔 셀프 서비스 탐색에 대한 기업들의 인식 및 요구가 증가하여 셀프 서비스 분석이 더욱 확대될 것이다.

이향선기자 hslee@nextdaily.co.kr
 

© 2017 nextdaily.co.kr 무단전재 및 재배포금지

서울시 금천구 가산디지털2로 123, 701호 ㅣ 대표전화 : 02-6925-6318
사업자등록번호 : 119-86-28010 ㅣ 정기간행물 등록번호 : 서울 아 01185

Copyright © Nextdaily. All Rights Reserved