[NSIS 2024] 한국IBM “AI모델도 해킹…새로운 보안 공격 대응 필요”

실시간
뉴스

소프트웨어

[NSIS 2024] 한국IBM “AI모델도 해킹…새로운 보안 공격 대응 필요”

디지털데일리 발행일 2024-05-28 14:15:43

이안나 기자

URL복사

[디지털데일리 이안나기자] 인공지능(AI) 시대 보안 담당자들 고민이 깊어지고 있다. AI를 위한 보안과 보안을 위한 AI, 성격이 다른 두 가지를 모두 살펴봐야 하는 과제를 떠안았기 때문이다. 단 한국IBM은 이 두 가지가 서로 대척점에 있는 것이 아닌, 원칙을 활용해 함께 보호할 수 있다는 점을 강조했다.

나병준 한국IBM 보안사업부 실장은 디지털데일리가 주최한 ‘제1회 차세대 보안혁신 서밋(NSIS 2024)’ 에서 IBM이 생성형 AI 소프트웨어 플랫폼 ‘왓슨x’를 활용한 AI 보안 전략을 소개했다.

IBM은 지난해 거대언어모델(LLM)에 기반한 AI 기반모델 제품군 그래니트 시리즈를 공개한 바 있다. 이들 중 코딩에 활용할 수 있는 AI 모델을 누구나 활용할 수 있도록 오픈소스로 공유했다. 또한 왓슨x는 AI 기술을 제공하면서 안전한 AI를 위해 서비스형소프트웨어(SaaS)뿐 아니라 온프레미스 기반 구축형으로도 제공하고 있다.

나 실장은 “한국은 특히 제조업이 강한 편인데, 여러 비즈니스 환경을 놓고 볼 때 IBM은 기업에 유연하게 적용할 수 있는 모델들을 가지고 있다”고 전했다.

생성형AI 등장 후 기업들은 인사·재무 등 영역에 이를 적용해 업무 효율성을 높인다. 한편 AI 기술을 해커들도 활용을 하는 문제가 떠올랐다. 각 기업 보안 담당자들은 기업이 안전한 AI를 사용해 비즈니스를 확대할 수 있도록 도움을 주면서, 동시에 AI 기술을 이용해 해커 공격을 막아야 하는 상황에 처하게 된 것이다.

IBM은 보안운영센터(SOC)와 해킹운영센터(HOC)를 운영하면서 해커가 어떻게 기업을 공격하는지를 연구한다. 그들의 공격 방법을 알아야 효과적으로 방어할 수 있어서다. 지난해 IBM이 발표한 데이터 유출 관련 보고서에 따르면 보안 AI와 자동화를 광범위하게 사용했을 때 기업은 그렇지 않은 기업들에 비해 평균 108일 정도 빠르게 대응할 수 있었다.

나 실장은 “해킹 시작점은 항상 공격 난이도는 낮고 잠재적 영향은 큰 쪽을 대상으로 삼는다”며 “데이터 포이즈닝(데이터셋 조작해 AI 모델 행동 제어), 공급망 공격, 프롬프트 인젝션(악의적 프롬프트 입력)‘ 등이 AI를 썼을 때 나타나는 공격들”이라고 설명했다. AI 시대 새로운 공격 유형을 보안 담당자들이 알고 대비해야 하는 상황이 된 것이다.

AI 설계자 입장에선 특정 질문을 던지면 그에 맞는 답이 나오도록 설계를 해놓긴 하지만, AI에서 어떻게 답을 하는지 메커니즘은 완전히 규명되지 않은 상태다. 즉 AI 설계자들이 예측하지 못한 답변도 나올 수 있다는 의미인데, 해커들은 이점을 노리고 공격한다. 가령 해커가 AI 모델에 악의적 프롬프트를 입력해 기업에서 노출하지 말아야 할 정보를 얻어갈 위험도 있다.

IBM이 AI를 활용할 때 강조하는 요소는 열린 환경에서 다양한 사용사례를 쌓고 보안 담당자들이 더 정확하게 정보를 얻도록 정확성을 높이는 것이다. 여러 사용사례와 정확성을 높여 궁극적으로 해킹 등에 대한 대응을 빠르게 완료시키는 것이 IBM AI의 목적이다.

IBM은 크게 ▲식별 ▲접근 ▲위협탐지 면에서 AI를 활용한다. 최근 온라인 서비스를 겨냥한 크리덴셜 스터핑 공격은 유출된 계정 정보를 여러 시스템·사이트에 무작위로 대입하는 공격이다. 실제 사용자들이 쓰고 있는 아이디와 비밀번호를 어떻게 지켜야 할지가 중요한 요인이 됐다. 이에 대한 대응으로 IBM은 로그인 위치나 IP는 물론, 평소 사용자가 키를 누르는 속도나 패턴을 분석한다. 사용자가 맞다고 인식 되면 로그인 시키고, 평소 행위와 다르다면 패스워드나 IP가 일치하더라도 지문인식을 추가로 요구한다.

기업들 데이터 보안에 있어 가장 큰 문제는 하이브리드·멀티 클라우드로 흩어지다 보니 중요 데이터 위치를 잘 모른다는 점이다. 온프레밋에 있다고 생각한 중요한 데이터들이 클라우드 API를 통해 접근 가능한 상황이었던 문제가 발생할 가능성도 있다. IBM은 어떤 데이터가 어디에 위치해있는지 정확하개 식별하고 분류해 잉 대한 발견까지 접근할 수 있도록 해준다. 특정 데이터 식별을 명확히 하고 보안 조치를 수행, 추적 할 수 있다.

나 실장은 “요즘 보완 관제·운영 인력 부족 문제가 심각하다”며 “보안 운영 측면에선 반복적으로 수행하는 작업들이 주로 분석과 탐지인데, 이런 부분들을 사용자가 처음부터 모두 다 하는 게 아닌, AI를 사용해 분석된 결과로부터 액션을 취할 수 있도록 한다”고 설명했다.

사이버보안에 대한 데이터로는 평상시 사용자들이 인증하는 습관 데이터, 데이터베이스(DB) 접근 행위, 기업 데이터들이 있다. 이제 보안 담당자들은 데이터 자체를 보호하는 방식에서 나아가 AI 모델 자체를 보호해야 하고, 이 모델이 제대로 잘 사용하는지까지 살펴보면서 인프라 보안을 강화해야 한다.

나 실장은 “AI 편향성 등에 대해서도 보안 입장에서 거버넌스를 어떻게 구축할 것인지 제시할 수 있어야 한다”며 “기업 입장에선 AI를 서비스하거나 내부에서 활용할 때 잘못된 데이터로 답변을 주는지 모니터링해야 하는데, 이것 역시 보안과 연관이 있을 수 있다는 것”이라고 덧붙였다.