[딜라이트닷넷] 인공지능으로 강화된 스크래핑, 창과 방패 대결은?

실시간
뉴스

금융IT

[딜라이트닷넷] 인공지능으로 강화된 스크래핑, 창과 방패 대결은?

디지털데일리 발행일 2018-01-05 09:32:22

이상일

URL복사

현재 서비스되고 있는 금융권 핀테크 기반 서비스 중 상당 부분이 ‘스크래핑’ 기술에 의존하고 있다.

스크래핑은 웹사이트에서 제공하는 정보를 추출해 타 기관에 제공하는 기술이다. 고객이 준비해야 했던 공공기관 및 기업의 각종 증빙서류 및 신분확인 서류를 자동으로 수집할 수 있는 기술로 시중은행의 인터넷뱅킹, 홈택스나 민원24 같은 공공기관 웹사이트, 그 외 다수의 문서를 스크랩할 수 있다.

스크래핑 덕에 고객은 서비스에 필요한 서류를 일일이 떼지 않게 됐다. 특정 서비스를 제공하는 업체가 서비스 제공을 위한 필수 서류들을 스크래핑을 통해 일괄적으로 당겨 오게 되면서 복잡한 대출 업무 등의 프로세스 절차 간소화가 이뤄졌다.

하지만 스크래핑에도 제한이 있었다. 일례로 정보를 조회하려는 자가 사람인지 로봇인지 가려내기 위해 ‘캡차(Captchas)’가 사용되는 경우다. 캡차는 사용자가 사람인지 기계인지 구분해주는 도구로 초기에는 스팸이나 봇을 막기 위해 사용됐다. 특정 사이트에 로그인 할 때 흐릿하거나 크기가 다른 텍스트를 제시하고 이를 사람이 판독해 입력하게 하는 방식으로 기계적인 접근을 차단시켰다.

이러한 캡차는 사용자의 동의에 의해 가입된 정보를 바탕으로 기계적 방식으로 관련 서류를 가져오는 스크래핑 기술을 무력화시키는 가장 큰 걸림돌이다. 한 핀테크 스타트업 관계자는 “모 공기관이 캡차를 사용해 해당 기관에서 제공하는 서류만 스크래핑하지 못해 어려운 점이 있다”고 토로하기도 했다.

하지만 인공지능의 발전과 함께 이러한 캡차도 무너지고 있다고 한다. 최근 만난 한 IT업체 관계자는 “인공지능으로 캡차를 판독하는 것이 가능해지면서 과거 정보를 가져오지 못하던 사이트에서도 정보를 가져오는 것이 가능하게 됐다”고 전했다.

외신을 통해 캡차가 인공지능 기술에 의해 파훼됐다는 얘기는 들었지만 국내에서 이미 인공지능을 활용해 캡차를 무력화했다는 얘기는 처음 들어 솔깃했다. 인공지능을 활용한 캡차 우회에 많은 시간과 인력이 투입된 것도 아니었다. 해당 기업은 글로벌 클라우드 업체에서 제공하는 인공지능 기술을 응용해 캡차를 무력화시켰다고 한다. 개발도 해당 기술에 관심이 있었던 개발자 1명이 사실상 모든 것을 담당했다고 한다.

한동안 스크래핑을 이용한 서비스 업체들이 골머리를 앓았던 캡차라는 장벽이 인공지능이 활용되면서 뚫린 것이다. 물론 자신들의 정보를 아무 저항없이(?) 가져가려는 시도에 대해 업체들도 대책 마련에 나섰다. 이미 인공지능에 대응하기 위한 3D캡차 등 다양한 방식이 다시 시도되고 있다고 한다.

하지만 인공지능이라는 새로운 무기(?)를 장착한 핀테크 관련 업체들의 캡차 무력화 조치는 꾸준히 이어질 전망이다. 많은 정보를 가져 올 수록 서비스 품질이 개선된다는 점에서 핀테크 업체들은 인공지능을 적극 활용해 서비스를 혁신시킬 것으로 보인다.

[이상일 기자 블로그=IT객잔]