데이터

데이터 개요

• 오늘의집 사이트에서의 인테리어 소개글에 포함된 아이템들을 해당 오늘의집 유저가 선호하는 아이템으로 간주하고 수집
• 수집한 데이터를 통해 데이터셋을 구성 (ERD를 참고해주세요.)

데이터 수집 방법 및 업데이트

데이터 수집 파이프라인

• 데이터 수집 소요시간을 단축하기 위해 데이터 수집 파이프라인 설계
• 데이터 수집 자동화를 위한 데이터 업데이트 코드 작성

크롤링 가능 여부

• 크롤링 가능 여부를 robots.txt를 통해 확인

데이터의 특성

Extremely High Sparsity

• 수집된 데이터의 경우 가능한 모든 상호 작용 중에서 관측치의 비율이 99.96%로 매우 spare한 데이터
• 위 이미지는 전체 아이템 중 10%에 해당하는 아이템들에 대해 99.96%의 sparsity를 시각화한 이미지

Extremely Long Tail Problem

• 수집된 데이터는 0.41%의 소수 아이템들이 다른 아이템들과 비교해서 상대적으로 많은 interaction을 차지하고 있음.
• 아이템별로 interaction의 불균형이 존재하기 때문에, 모델 학습 시 소수의 인기 아이템에 편향되서 개인화 추천이 어려운 문제가 발생할 수 있음.

데이터의 전처리

ERD