AI시대의 빅데이터 사고방식 1편 빅데이터 시스템과 기술편

진짜 빅데이터 전문가가 쓴 AI 시대 문제작! 앞으로 5년간 이 책은 모든 경영전략의 필독서가 될 것이다.

구글, 아마존, 넷플릭스 같은 빅테크는 왜 데이터 과학에 투자하는가? AI 시대, 데이터를 다루는 방식이 곧 기업의 경쟁력이다. 데이터 사이언티스트를 넘어 전략적 혁신가가 된 구글 빅데이터 전문가, 김진철 작가가 전하는 AI 시대의 현재와 미래! 유럽입자물리학연구소(CERN) 사례부터 최신 트렌드로 배우는 빅데이터식 사고방식과 문제해결 프레임워크!

CIO Korea에서 4년간 연재되며 IT 업계 전문가들의 폭넓은 관심을 받았던 “How to Big Data” 시리즈가 이제 더 체계적이고 깊이 있는 내용으로, 총 2권에 걸쳐 출간된다. ‘신의 입자’라고 불리는 힉스 입자의 발견은 상대성 이론과 양자역학 이후 가장 의미 있는 과학적 성과 중 하나다. 이 힉스 입자를 발견한 곳이 바로 CERN(유럽입자물리학연구소)이다. 이후 CERN은 빅데이터의 허브로 다시 태어나며 현대 과학에서 가장 영향력 있는 기관이 되었다. 작가는 CERN의 성공이라는 단순한 사실이 아니라 “빅데이터식 사고방식”과 “무수한 데이터에서 패턴 찾기”라는 문제 해결 프레임을 우리에게 소개한다.

특히 이번에 출간되는 “1편: 빅데이터 시스템과 기술편”에서는 방대한 데이터를 감당하고 분석해 내는 시스템적 기반과 기술 프레임워크에 집중한다. 클라우드 컴퓨팅, 데이터 처리 아키텍처, 기계 학습 인프라 등 기업이 데이터 중심 조직으로 거듭나기 위해 반드시 갖춰야 할 기술적 뼈대를 구축하는 방법을 상세히 다룬다. 이어지는 “2편: 빅데이터 비즈니스 조직 및 미래 전략편”에서는 이러한 기술적 토대 위에 실제 데이터 과학 조직을 어떻게 구성하고 리드할 것인지, 그리고 과학적 의사결정을 통해 비즈니스를 혁신하는 구체적인 미래 전략을 다룰 예정이다.

데이터 매니지먼트가 기업 혁신의 필수 요소로 자리 잡은 지금, 1편은 그 탄탄한 기술적 기초를 다져주며 앞으로 오랫동안 기술 경영자와 기업 전략가들에게 성공으로 나아가기 위한 현실적인 해법을 제시하는 필독서가 될 것이다.

지은이 : 김진철

한국과학기술원(KAIST)에서 물리학 학사를, 포항공과대학교에서 인공신경망 및 플라즈마 연구로 석·박사 학위를 받았다. 졸업 후 유럽입자물리학연구소(CERN)에서 LHC 빅데이터 인프라 및 데이터 분석 기술 연구에 참여했다. 이후 한국과학기술정보연구원(KISTI), 포항공과대학교, 삼성 SDS, SK텔레콤 기업연구소를 거치며 대규모 기계 학습과 클라우드 컴퓨팅, 지능형 빅데이터 분석 시스템을 깊이 있게 연구해 왔다.

현재는 구글의 인공지능 분야 솔루션 리드로 재직 중이다. 기업들이 고급 AI 및 양자 인공지능을 비즈니스에 성공적으로 도입하고 활용할 수 있도록 돕는 전문 컨설턴트로 활약하고 있다.

머리말

추천사

감사의 글

1장 빅데이터 비즈니스의 주요 요소

빅데이터 비즈니스의 주요 요소 - 데이터, 인프라, 조직 및 시스템, 사람

빅데이터 - 실재인가, 허상인가?

CERN: 빅데이터의 조상

빅데이터 비즈니스의 네 가지 관점: 데이터, 인프라, 조직 및 시스템, 사람

빅데이터 활용의 근본적인 질문: 해결하려는 문제가 무엇인가?

CERN이 LHC를 건설한 이유

기술이 먼저인가, 비즈니스 모델이 먼저인가?: 빅데이터 비즈니스의 딜레마

2장 빅데이터 비즈니스 모델의 핵심 - 데이터 수집

빅데이터 수집 과정과 비즈니스 모델의 차별화

빅데이터 원천으로서의 LHC 가속기

빅데이터 비즈니스의 핵심: 빅데이터 수집 과정의 차별화

빅데이터 비즈니스 모델 프레임워크: 자전거 모델

CERN과 LHC 실험 프로그램의 비즈니스 모델

빅데이터 비즈니스 모델을 어떻게 만들 것인가?: 빅데이터 비즈니스의 ‘자전거 모델’

빅데이터 측정과 수집의 원리

LHC 검출기 및 가속기 데이터의 수집과 측정

빅데이터 비즈니스의 데이터 수집과 측정: 수집 과정과 비즈니스 모델과의 관계

빅데이터 저장과 표현을 위한 데이터 형식의 중요성

LHC 실험 데이터 가공 과정과 데이터 형식

빅데이터 수집 과정에서 데이터 형식의 중요성

3장 빅데이터와 AI 기술

빅데이터 비즈니스에서 AI 기술의 역할과 중요성

LHC 실험 데이터의 복잡성과 인공지능 기술

빅데이터 비즈니스에서 인공지능 기술이 필요한 이유: 자동화

인간 능력 증강 도구로서의 인공지능

CERN이 인공지능 기술을 소환한 이유: 2015년 LHC 데이터 과학 워크숍

빅데이터 비즈니스 시스템과 인공지능 기술의 콜라보: 자동화를 통한 인간 정보 처리 능력의 증강

딥러닝에 숨겨진 지식 - 인공지능 모델의 해석 가능성

LHC 빅데이터에서의 딥러닝과 인공지능 기술의 새로운 요구사항: 해석 가능성

빅데이터 분석에서 해석 가능한 인공지능 모델의 중요성

뉴로모픽 엔지니어링과 인공지능 가속기 반도체

LHC 실험과 뉴로모픽 엔지니어링

빅데이터 비즈니스에서의 새로운 컴퓨터 아키텍처의 중요성

4장 빅데이터와 클라우드 컴퓨팅 기술

클라우드 기술의 시작

클라우드 컴퓨팅의 서막: CERN은 왜 클라우드 컴퓨팅이 필요했나?

빅데이터 기술에서 가장 중요한 것: 자원 이종성(heterogeneity) 극복과 확장성(scalability)

빅데이터 자원 계층 문제

LHC 빅데이터와 LHC 컴퓨팅 그리드(LCG)의 계층 구조

빅데이터 인프라 구축에서의 자원 계층 문제: 빅데이터 기술의 시작과 끝

네트워크 인프라의 중요성

LHG Computing Grid를 위한 네트워크 인프라

빅데이터 인프라에서 네트워크 인프라의 중요성: 자원 계층 문제 해결 및 확장성 확보

고성능 컴퓨팅과 FPGA

CMS Level-1 트리거(Trigger)와 FGPA, GPU 기술

빅데이터 인프라, 고성능 컴퓨팅, 재구성 가능 컴퓨팅(Reconfigurable Computing): 스트림 처리의 중요성

분산 컴퓨팅 소프트웨어 스택 및 미들웨어의 중요성

CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어

빅데이터 인프라를 완성하는 기술: 빅데이터 미들웨어와 분산 컴퓨팅 소프트웨어

모니터링과 운영 인텔리전스

CMS 온라인 데이터 수집 시스템의 모니터링 문제

빅데이터 시스템 운영의 복잡성을 어떻게 해결할 것인가?: 운영 지능화(Operation Intelligence)

5장 빅데이터 주요 기술의 요건

빅데이터와 병렬 처리

LCG 데이터 병렬 처리 프레임워크: 프루프(PROOF)

빅데이터 문제 해결의 기본적인 도구: 병렬 처리 프레임워크

빅데이터 분석 플랫폼의 요건

LHC 실험의 공식 데이터 분석 플랫폼: 루트(ROOT)

빅데이터 문제 해결 과정을 묶어주는 끈: 데이터 분석 플랫폼

대용량 확장형 스토리지

LHC 실험의 데이터 그리드 요구 사항

LHC 실험의 대용량 데이터 스토리지 기술: LCG SE, SRM, CASTOR, dCache, DPM, StoRM

LHC 컴퓨팅 그리드의 이종 데이터 저장 장치 통합 표준: SRM

빅데이터를 담는 그릇: 대용량 확장형 스토리지

빅데이터 가시화 및 큐레이션

LHC 실험 데이터 분석에서의 데이터 가시화: 이벤트 및 모니터링 데이터

빅데이터: 가시화와 큐레이션의 중요성

워크플로우 엔진과 관리 도구

LHC 컴퓨팅 그리드의 워크플로우 관리 기술

빅데이터 시스템에서 워크플로우 관리 기술의 중요성

작가 인터뷰