Research Area
Sequential Recommendation
Key points
Modeling long-term and short-term user interest
Model ideas
MF + Hierarchical gating module+ Item-item product module (BPR objective function)
- Based on user preference, capturing the informative item features
- 기존 모델들이 single item importance에 집중하거나, group level로 한 번에 정보를 모델링했다면, 이 논문에서는 각 아이템에서 어떤 feature들이 중요도를 가지는지 고려했다.
- Based on user preference, capturing the relevant item
- 이 부분에서 기존 모델들이 attention mechanism으로 해결하고 있지 않나 생각했는데, 그건 user preference를 고려해서 결정되는 것이 아니었다. 내가 기존에 공부해오던 session-based recommender system은 user에 대한 정보가 없기 때문에 그랬고, SASRec 모델 같은 경우에는 self-attention을 사용해서 user에 대한 정보를 attention을 계산할 때 사용하지 않았다.
- Capturing the relations between the item in the given session(|L|) and items that the user will interact in the near future.
- 보통 기존 논문들에서는 마지막 NN layer를 통해서 뽑은 feature를 item embedding dim과 맞춰서 dot product로 최종 score를 계산해왔다. 하지만 이 논문에서는 explicit하게 주어진 sequence 안에 있는 각각의 아이템과 candidate item 사이의 relation을 고려해서 summation한 것으로 item relation에 대한 정보를 주고 있다.
Datasets
MovieLens-20M / Amazon-Books / Amazon-CDs / Goodreads-Children / Goodreads-Comics
Data Preprocessing
일관된 설정을 위해서 rating이 4 이상이면 positive feedback, 4 미만이면 missing entry로 처리했다고 하는데 이 부분에서 좀 의문이 든다. 기존에 이 논문이 implicit feedback을 위한 모델이라고 설명했으면 데이터셋도 implicit feedback인 데이터(ex, click, view, play, purchase)를 사용하거나 rating이 주어진 경우 모두 positive feedback으로 처리했어야한다고 본다. Implicit feedback에서 missing entry에 대해 negative feedback이라고 확신할 수 없고, positive feedback에 대해서도 마찬가지로 실제 사용자가 선호한다고 확신할 수 없다. 그런 관점에서 봤을 때, negative feedback에 대해서 missing entry로 처리한 것은 이상한 부분이다.
Interesting points
-
Feature gating module이 instance gating module보다 성능에 더 큰 기여를 한다는 실험 결과가 흥미로웠다. 보통 기존의 논문들이 instance-level에서 attention을 계산하는데, 오히려 feature-level에서 importance가 성능에 더 큰 기여를 한다는 점은 기억할 만하다.
-
|L|과 |T|의 길이에 따른 성능 평가 부분을 보면, |L|이 고정 되어있을 때, |T|가 클수록 성능이 좋아진다는 것은 그럴 수 있을 것 같다고 생각했는데, |L|이 작은 경우 성능이 좋았다는 것은 흥미로운 결과다. 보통 Input sequence가 길면, 그 만큼 정보의 양이 많아지니까 다음 interaction을 예측하는데 도움을 줄거라고 생각했다. 그런데 실험 결과를 보면, |L|에 대한 후보 길이가 3,5,8이라고 하면, 3일때 성능이 좋았다. 이에 대해서 저자들은 다음 interaction을 예측하는데 irrelevant item이 많이 포함되어있으면 그럴 수 있을것 같다고 했다. 이에 대해서 내가 생각하기에는 제안한 모델이 irrelevant item을 골라낼 능력이 떨어져서 그런 것 같기도 하다.
Reference
Ma, Chen, Peng Kang, and Xue Liu. "Hierarchical Gating Networks for Sequential Recommendation." arXiv preprint arXiv:1906.09217 (2019). PAPER
Research Area
Sequential Recommendation
Key points
Modeling long-term and short-term user interest
Model ideas
MF + Hierarchical gating module+ Item-item product module (BPR objective function)
Datasets
MovieLens-20M / Amazon-Books / Amazon-CDs / Goodreads-Children / Goodreads-Comics
Data Preprocessing
일관된 설정을 위해서 rating이 4 이상이면 positive feedback, 4 미만이면 missing entry로 처리했다고 하는데 이 부분에서 좀 의문이 든다. 기존에 이 논문이 implicit feedback을 위한 모델이라고 설명했으면 데이터셋도 implicit feedback인 데이터(ex, click, view, play, purchase)를 사용하거나 rating이 주어진 경우 모두 positive feedback으로 처리했어야한다고 본다. Implicit feedback에서 missing entry에 대해 negative feedback이라고 확신할 수 없고, positive feedback에 대해서도 마찬가지로 실제 사용자가 선호한다고 확신할 수 없다. 그런 관점에서 봤을 때, negative feedback에 대해서 missing entry로 처리한 것은 이상한 부분이다.
Interesting points
Feature gating module이 instance gating module보다 성능에 더 큰 기여를 한다는 실험 결과가 흥미로웠다. 보통 기존의 논문들이 instance-level에서 attention을 계산하는데, 오히려 feature-level에서 importance가 성능에 더 큰 기여를 한다는 점은 기억할 만하다.
|L|과 |T|의 길이에 따른 성능 평가 부분을 보면, |L|이 고정 되어있을 때, |T|가 클수록 성능이 좋아진다는 것은 그럴 수 있을 것 같다고 생각했는데, |L|이 작은 경우 성능이 좋았다는 것은 흥미로운 결과다. 보통 Input sequence가 길면, 그 만큼 정보의 양이 많아지니까 다음 interaction을 예측하는데 도움을 줄거라고 생각했다. 그런데 실험 결과를 보면, |L|에 대한 후보 길이가 3,5,8이라고 하면, 3일때 성능이 좋았다. 이에 대해서 저자들은 다음 interaction을 예측하는데 irrelevant item이 많이 포함되어있으면 그럴 수 있을것 같다고 했다. 이에 대해서 내가 생각하기에는 제안한 모델이 irrelevant item을 골라낼 능력이 떨어져서 그런 것 같기도 하다.
Reference
Ma, Chen, Peng Kang, and Xue Liu. "Hierarchical Gating Networks for Sequential Recommendation." arXiv preprint arXiv:1906.09217 (2019).
PAPER