빅데이터의 성장이 가파른 가운데 기업들이 머신러닝 및 스마트 시스템 도입을 서두르고 있고 데이터에 대한 최종 사용자의 접근성을 높여주는 서비스를 사업의 제 1순위로 삼고 있다. 이에 일부 전문가의 개발역량 강화 수단이었던 빅데이터가 기업 고객들이 경쟁적으로 새로운 프로젝트는 무엇이고 기술을 활용해 실질적으로 어떠한 이점을 얻을 수 있는지 학습하는 양상으로 시장이 진화했다.

맵알테크놀러지스(MapR Technologies 지사장 김점배)의 존 슈뢰더(John Schroeder) 창립자 겸 이사회 의장은 빅데이터에 대한 2017년의 6가지 주요 시장 동향 및 전망을 발표했다.그에 의하면 올해는 기술 계층에 대한 논의 보다는 데이터 계층에 대한 논의가 활발해질 것이며, 빅데이터 도입이 가속화되면서 데이터의 진정한 가치가 중요해졌다고 했다.

3V 시대에 부활에 성공한 인공지능(AI)
1960년대 레이 솔로모노프(Ray Solomonoff)는 AI의 수학적 이론의 기반을 다지고 귀납적 추론 및 예측을 위한 베이지안(Bayesian) 방법론을 소개했다. 1980년 퍼스트 내셔널 컨퍼런스(First National Conference)의 미국 인공 지능 학회(American Association for Artificial Intelligence, AAAI)가 스탠포드(Stanford)에서 개최돼 이 이론을 소프트웨어에 적용하는 것을 논의했다. AI는 다시 트렌드로 자리 잡았고 머신 인텔리전스(machine intelligence), 머신 러닝(machine learning), 인공신경망 네트워크(neural networks), 인지 컴퓨팅(cognitive computing)을 포괄하는 유행어가 됐다.

그러나 80년대에는 AI이론을 구현할 수 있는 컴퓨팅 환경이 마련되지 못했다. 그래서 실체를 느낄 수 없었던 AI는 점차 사람들의 기억 속에서 멀어져 갔다. 그런데 최근 AI가 급부상했다. 그 이유는 속도(Velocity), 다양성(Variety) 및 볼륨(Volume)을 일컫는 3V 때문이다. 전통적인 플랫폼에 비해 10~20배의 비용 효율성을 제공하고, 수평 확장되며, 최신 및 기존 프로세싱 모델을 겸비한 3V를 처리할 수 있는 플랫폼이 필요해진 것이다. 구글은 대규모의 데이터 셋을 잦은 빈도로 처리하는 단순한 알고리즘이 더 작은 셋을 사용하는 접근법에 비해 얼마나 간단한지를 설명한 바 있다. 맵알은 인간의 직관이 개입해 발생하는 오류 및 손실을 보완할 수 있는 AI를 대규모의 반복되는 업무에 적용해 높은 가치를 창출할 수 있을 것이라고 전망했다.

치열해지는 데이터 거버넌스와 경쟁우위간의 빅데이터 논쟁
올 해는 데이터 거버넌스(Data Governance)와 데이터 가치 간의 논쟁이 더욱 치열해질 것이다. 기업들은 고객 및 파트너에 대한 수많은 정보를 보유하고 있다. 기업들은 거버넌스 방식 또는 그렇지 않은 방식으로 데이터를 관리하게 될 것이다. 통제 방식은 데이터 품질 및 생성계보를 관리해 규제 기관이 출처 및 발생하는 모든 변형 데이터를 보고 및 추적할 수 있게 한다. 이러한 통제는 의무적이고 필수적이지만 때로는 높은 카디널리티(cardinality), 실시간성, 정형/비정형 혼합형 데이터의 특성을 활용한 맞춤형 오퍼링 서비스나, 360도 고객 서비스 등과같이 통제하지 않은 사례들이 더욱 효과적인 결과를 가져오기도 한다.

기업들 데이터 레이크 극복하려 안간힘
기업들은 “지어놓으면 수요가 뒤따른다(build it and they will come)”라는 데이터 레이크(Data Lake)에 대한 기존 접근 방식에서 벗어나 현업 주도적인 데이터 접근 방식으로 전환할 것이다. 오늘날 시장에서 분석 및 운영 기능은 고객 요청, 클레임 처리, 기기 인터페이스 등을 실시간으로 개별 차원에서 처리하는 도구로 활용되고 있다. 예를 들어 전자상거래 사이트 경우, 고객 맞춤 추천 및 가격을 실시간으로 확인할 수 있어야 한다. 의료 기관들은 분석과 운영 시스템을 결합해 보험 승인을 처리하고 부정 수급을 방지할 수 있다. 미디어 기업은 셋톱 박스를 통해 제공되는 맞춤 콘텐츠를 제안한다. 자동차 생산업체 및 렌탈 업체는 자동차와 운전자 간의 상호작용을 강화한다.

이를 위해 백오피스에서 데이터 분석 기능과 현업의 운영 기능을 아우르는 가치 발굴 과정이 필요하다. 기술적으로는 애널리틱스, 운영 프로세싱을 함께 운영할 수 있는 애자일 플랫폼이 요구된다. 올해 기업들은 “질문을 던지는” 접근방식을 넘어 장단기적 비즈니스 가치 창출을 위한 아키텍트 구축에 집중할 것이다.

기업 성패를 좌우할 데이터 민첩성
소프트웨어 개발 과정은 데브옵스로 더욱 지속적이고 민첩하게 진행되고 있다. 올 해는 처리 및 분석 모델은 더욱 진화해 기업들이 요구하는 수준의 데이터 민첩성을 제공하게 될 것이다. 데이터 맥락(context)을 이해하고 이에 대한 비즈니스 조치를 취할 수 있는 역량인 데이터 민첩성은 단순히 거대한 데이터 호수를 보유하는 것을 넘어 경쟁 우위를 확보할 수 있는 요소다.

애자일 프로세싱 모델의 등장은 데이터의 동일 데이터 인스턴스로 배치 애널리틱스(batch analytics), 쌍방향 분석, 글로벌 메시징, 그리고 데이터베이스 및 파일 기반 모델 지원을 가능하게 한다. 또한 애자일 분석 모델의 확장은 데이터의 단일 인스턴스가 더 광범위한 툴 셋을 지원할 수 있도록 한다. 기업들은 광범위한 처리 및 분석 모델을 지원할 애자일 개발과 애플리케이션 플랫폼을 확보할 수 있다.

블록체인 기반으로 고급화되는 금융 서비스 애플리케이션
블록체인(Block chain)은 데이터를 저장하고 트랜잭션(transaction)을 처리하는 방법을 변화시키는 글로벌 분산 원장(distributed ledger)을 제공한다. 블록체인은 전세계에 분산된 컴퓨터에서 구동되며, 누구나 체인(chain)을 조회할 수 있다. 트랜잭션은 블록 내에 저장되며, 각 블록은 이전의 블록과 연결된다. 데이터가 저장된 블록에는 타임스탬프(Timestamp)가 부여돼 변경할 수 없는 형태로 저장된다.

모든 블록체인이 조회되기 때문에 이론적으로 해커들의 블록체인 해킹이 불가능해졌다. 블록체인은 소비자 관점에서도 매우 효율성이 높은 방식이다. 예를 들어 고객은 SWIFT 거래를 위해 대기나 중앙 데이터센터 해킹을 염려할 필요가 없다. 기업에게 블록체인은 비용 절감 효과 및 경쟁 우위 확보를 위한 기회를 제공한다. 올 해는 금융 서비스 분야에서 더욱 광범위한 데이터 저장 및 트랜잭션 처리 방법에 대한 혁신적인 활용 사례가 나올 것으로 기대된다.

마이크로 서비스, 머신러닝 효과 극대화
올해 머신 러닝 및 마이크로 서비스의 통합을 위한 액티비티가 점점 증가하는 것을 볼 수 있다. 이전에 마이크로 서비스 도입은 비교적 가벼운 서비스 영역에서 집중적으로 이뤄졌으며, 이를 머신 러닝과 통합하는 것은 패스트 데이터(fast data) 통합으로 스트리밍 데이터의 좁은 대역폭에 적용되는 수준으로 제한됐다. 2017년에는 빅데이터를 활용한 상태기반 애플리케이션으로 확장되고, 머신 러닝과의 통합도 대량의 기록 데이터를 활용하는 방향으로 사용돼 신규 스트리밍 데이터의 맥락을 더욱 잘 이해할 수 있는 방식으로 전환될 것이다.

맵알테크놀러지스의 존 슈뢰더 의장은 “데이터의 신뢰성, 가능성 및 안전성을 어떻게 확신할 수 있을까? 어떻게 애플리케이션에 데이터 신뢰성을 보장하는 동시에 적정 수준의 스케일 및 속도를 제공할 수 있을까? 맵알은 기업들의 이러한 이슈를 해결하는 것은 물론, 컨버지드 데이터 플랫폼으로 비즈니스 운영 프로세스에 분석적 인사이트를 실시간으로 적용할 수 있도록 적극 지원하고 있다”고 전했다.

이향선기자 hslee@nextdaily.co.kr