네이버, 46만 SME 상품 추천 비결…“AiTEMS 고도화”

실시간
뉴스

인터넷

네이버, 46만 SME 상품 추천 비결…“AiTEMS 고도화”

디지털데일리 발행일 2022-05-03 18:38:21

이안나

URL복사

[디지털데일리 이안나 기자] 이커머스 업계에서 ‘개인화 추천 시스템’이 필수 기능으로 떠오른 가운데, 네이버 역시 여러 중소상공인(SME) 상품을 사용자들에게 추천하기 위해 관련 기술을 고도화하고 있다. 특히 구매이력 등 추천을 위한 사용자 데이터가 부족한 상황에서도 해당 상품 부가정보로 추천 상품 다양성을 넓히고 있다.

네이버는 3일 진행된 ‘검색 콜로키움 2022’에서 인공지능(AI) 기반 상품 추천 기술 ‘에이아이템즈(AiTEMS)’가 다양한 중소상공인(SME) 상품 추천을 높일 수 있도록 고도화하는 연구 과정을 소개했다.

에이아이템즈 플러스팀 김동현 테크리더와 김충기 개발자는 사용자와 상품 간 이력이 적은 경우에도 다양한 상품 추천이 가능한 새로운 방법론에 대해 발표했다. 여기서 ‘이력’이란 구매이력을 비롯해 장바구니, 찜 등 상품과 사용자 간의 인터랙션을 의미한다.

발표에 따르면 일반적인 개인화 추천 시스템은 상품 이력을 활용해 추천을 제공한다. 즉 이력이 얼마나 많고 적은지에 따라 추천 성능이 좌우된다. 어느 정도 이력이 쌓인 상품들만 계속해서 추천하기 때문에 일부 상품에 이력이 집중되는 추천 쏠림 현상도 발생하기 쉽다.

김충기 개발자는 “이런 현상이 지속되면 새로 등록된 상품이 다양하고, 좋은 상품이 많아도 기존 상품만 추천하고 새로 등록된 상품은 추천하지 못하게 된다”고 말했다. 이력이 없는 상품(Cold-item)을 사용자들에게 추천하는 방안을 찾아야 하는 필요성이 생긴 셈이다.

이같은 문제를 해결하기 위한 여러 논문도 이미 발표돼있다. 논문에 등장한 기본적인 해결 방식은 ▲이미 존재하는 충분한 이력에서 임베딩을 생성하고, ▲상품을 나타내는 여러 부가정보들로부터 또 다른 임베딩을 만든다. 그리고 두 가지 임베딩이 같은 값을 가지도록 최적화한다. 이에 따라 이력 없는 상품도 해당 상품이 가진 부가정보로 추천이 가능하다.

여기서 임베딩이란 자연어를 컴퓨터가 이해하고 효율적으로 처리할 수 있도록 자연어를 숫자로 변환하는 과정을 뜻한다.

하지만 네이버가 대중적으로 알려진 해결 방법을 적용하기엔 불가능했다. 논문에서 언급된 데이터 크기는 수만 유저와 수십만 아이템을 대상으로 했지만, 실제 네이버쇼핑은 수천만 유저에 달하고 상품 데이터베이스(DB) 역시 10억개에 이른다는 차이 때문이다. 규모에서 큰 차이가 나다 보니 이력 기반으로 사용자·상품 임베딩을 구하는 것이 불가능했다는 설명이다.

김동현 테크리더는 “대규모 데이터에 대해 서비스할 수 있고, 이력이 없는 상품 간 관계를 잘 파악할 수 있는 연관상품 추천 모델을 새롭게 개발했다”고 전했다.

김 리더에 따르면 이 모델은 ‘BERT 문장 수반 관계 태스크(BERT Entailment Task)’를 활용했다. 이는 자연어 처리 모델 BERT가 전 문장과 후 문장 관계를 이해하는 방식과 유사하다. 상품에 관련된 중요한 정보인 상품명, 브랜드, 모델명, 상품 속성 등 여러 정보를 모델에 입력해 기준 상품과 잘 어울리는 상품들을 연관상품으로 추천한다.

가령 ‘방수 스포츠 마스크’ 연관상품을 추천했을 때 기존 모델은 단순 스포츠 마스크들만 추천했지만 새 모델을 적용한 후엔 방수 기능을 가진 스포츠 마스크를 상위에 추천하도록 개선됐다.

네이버는 사용자에게도 이력이 적은 상품을 더 잘 추천해주기 위해 사용자 부가 정보(Side information)를 확대하는 방법을 시도했다. 사용자들이 네이버에서 쇼핑할 때 뿐 아니라 궁금하거나 관심있는 것을 검색한다는 ‘포털’ 장점을 적극 활용했다. 검색을 통한 사용자 행동 특성을 활용해 해당 사용자를 나타내는 임베딩을 생성할 수 있었다.

사용자 행동을 특성을 임베딩하여 모델에 활용한 결과, 사용자 성별과 연령 데이터만 활용한 기존 모델 대비 약 6~8% 성능이 향상된 것으로 나타났다.

김 리더는 “이력이 적은 SME와 사용자의 취향에 맞는 다양한 상품 추천이 강화될 수 있도록 여러 방법을 검토하고 AiTEMS를 고도화하고 있다”며 “방대한 사이즈 데이터에 대해 확장성 있는(scalable)모델을 만드는 것이 개발자로서 뜻깊은 일”이라고 전했다.