[대한민국 빅데이터③] “빅데이터, 분석만큼 인프라 관리도 중요”

실시간
뉴스

클라우드 솔루션

[대한민국 빅데이터③] “빅데이터, 분석만큼 인프라 관리도 중요”

디지털데일리 발행일 2013-06-04 10:43:42

심재석 기자

URL복사

빅데이터는 현재 IT업계의 최대 화두다. 2~3년 전 빅데이터의 중요성이 대두된 이후 기업들은 빅데이터를 어떻게 활용할 것인지에 대한 고민을 안고 있다.

그러나 아직 국내에서 빅데이터 활용은 초기 단계다. 움직임이 빠른 기업들은 빅데이터를 부분적으로 도입해 효과를 본 사례가 일부 나타나기도 했지만 아직 대부분의 기업들은 빅데이터가 무엇인지 학습을 하고 있는 단계다.

디지털데일리는 창간8주년 기획 ‘대한민국 빅데이터 어디로 가야할까’를 통해 빅데이터 활용 전략에 대한 전문가들의 조언과 도입 사례, 주목할만한 빅데이터 솔루션 등을 소개할 계획이다.

이번 3부에서는 최근 각광을 받고 있는 빅데이터 솔루션으로, 빅데이터 플랫폼, SQL 처리 엔진, 빅데이터 관리 도구 등을 살펴본다. <편집자>

3부 기사 순서

① 오픈소스vs상용DW 업계, 빅데이터 플랫폼 전쟁

② “어려운 맵리듀스 대신 표준 SQL로 빅데이터 처리”

③ “빅데이터, 분석만큼 인프라 관리도 중요”

[디지털데일리 심재석기자] 전 세계적으로 빅데이터 표준으로 자리잡은 하둡은 PC 수준의 저가 하드웨어를 병렬로 연결해 엔터프라이즈 수준의 데이터 저장소로 만드는 기술이다.

오라클 등 기존 DB의 경우에도 병렬처리가 가능했지만, 확장할 수 있는 노드의 개수가 한정적이었다. 반면 하둡은 수십, 수백대를 넘어 수만대의 노드를 연결해 거대한 데이터 클러스터를 만들 수도 있다.

하지만 이런 클러스터를 구성할 때는 관리의 어려움이 따른다. 특히 오라클처럼 안정성과 성능이 확인된 고가의 장비에 설치하는 것이 아니라 낮은 성능의 저가 장비에서 운용되는 하둡은 관리의 중요성이 더욱 부각된다.

상시적으로 하둡을 모니터링 하면서 성능저하 및 장애에 빠르게 대응하고, 효율적으로 운용할 수 있는 프로세스가 필수적이다.

시장의 이런 요구에 먼저 움직인 것은 역시 오픈소스 업계다.

빅데이터 업계의 ‘레드햇’이라 볼 수 있는 클라우데라의 경우 ‘클라우데라 매니저’라는 솔루션을 공급하고 있다. 회사 측에 따르면, 이는 웹상에서 하둡 환경에 대한 설정, 배포, 모니터링, 측정, 리포트 등 일련의 운영 및 관리를 통합적으로 할 수 있게 해주는 도구다.

클라우데라와 오픈소스 기반 빅데이터 양대산맥인 호튼웍스도 유사한 솔루션 ‘호튼웍스 매니지먼트 센터’를 제공한다.

국내 오픈소스 전문기업 그루터는 ‘클라우몬(Cloumon)’이라는 하둡 관리 솔루션을 보유하고 있다. 클라우몬은 하둡뿐 아니라 하둡에코시스템 전체에 대한 관리 기능을 제공하는 것이 특징이다. 하둡 노드에 대한 모니터링부터 맵리듀스 잡모니터링, 하이브 테이블 스키마 관리, 주키퍼 데몬 모니터링, 플럼 노드 모니터링, H베이스 데이터/스키마 관리, 우지(Oozie) 기반의 워크플로우 생성 및 실행 등의 기능을 제공한다.