推奨システム

【ペーパーリーディングノート】ディープラーニングベースのレコメンダーシステム：調査と新しい展望



Paper Reading Notes Deep Learning Based Recommender System



この記事では、記事「ディープラーニングベースのレコメンダーシステム：調査と新しい視点」の主な内容の一部のみを抽出しています。本文中の詳細なアルゴリズムに関心のある読者は、元の本文の関連する参考文献を参照してください。この記事はACM2017に掲載されました。主な内容は以下のとおりです。

1.レコメンデーションシステムモデルは、主に3つのカテゴリに分類されます。協調フィルタリングに基づくモデル、コンテンツベースのモデル、およびハイブリッドモデルです。レコメンデーションシステムによって完了するタスクは、rarting、ranking、classificationの3つのカテゴリに分類することもできます。



2.システムの推奨に使用されるディープラーニング関連のテクノロジーには次のものがあります。

多層パーセプトロン（MLP）、自動エンコーダー（AE）、CNN（格子型データの処理に優れている）、RNN（シーケンスデータの処理に優れている）、深い意味的類似性モデル（DSSM）、制限付きボルツマンマシン（RBM）、ニューラル自己回帰分布予測（NADE）、GAN（生成的対立ネットワーク）。



3.この記事は、ディープラーニングのみを使用するレコメンデーションシステムと、複数のテクノロジーを使用するレコメンデーションシステムに分かれています。ディープモデルのみに基づくレコメンデーションシステムでは、MLPはユーザーとプロジェクト間の非線形相互作用を簡単にモデル化できます。CNNはテキストや視覚情報などの異種データソースからローカルおよびグローバル表現を抽出できます。 RNNは、ユーザーの動的評価データとコンテンツ情報のシーケンスへの影響をモデル化でき、DSSMはユーザーとアイテム間のセマンティックマッチングを実行できます。

4. 2007年以降のレコメンデーションシステムに関する論文数から判断すると、AE、RNN、CNN、MLPに基づくレコメンデーションシステムが多く、最近ではRBMやDSSMに基づくモデルが広く研究されています。

最も使用されているデータセット：Movielens3とNetfix。使用されるその他のデータセットには、Amazon、Yelp、CiteUlikeが含まれます。



評価方法の観点から：スコア予測の評価には、二乗平均平方根誤差（RMSE）と平均誤差（MAE）がよく使用されます。正規化された累積割引ゲイン（NDCG）とAUC曲線は、ランク付けの再現率と適合率を評価するためによく使用されます。適合率、再現率、およびF1スコアは、分類結果を評価するためによく使用されます。

レコメンデーションシステムには多くの分野があります。この記事では、写真、音楽、スポット、ニュース、インタレストタグ、引用、引用などの分野のレコメンデーションシステムに焦点を当てています。

5.MLPベースのレコメンデーションシステム

（1）MLPのみに基づくレコメンデーションシステム


（2）従来のレコメンデーションシステムとMLPの統合システム

注意モデルを導入する協調フィルタリングを使用します。注意モデルは、アイテムレベルとコンポーネントレベルを含むMLPです。その中で、アイテムレベルは、ユーザーの特性を識別するために最も有用なアイテムを選択するために使用されます。コンポーネントレベルは、各ユーザーのマルチメディア補助情報から最も有益な機能をキャプチャするために使用されます。
6.自動エンコーダーに基づく

自動エンコーダベースのレコメンデーションシステムは通常、モデルの堅牢性を強化するためのトレーニングのために、ランダムノイズと正則化項をモデルに追加します。


7.CNNに基づく

CNNは主に特徴抽出に使用されます。

8.RNNに基づく

RNNは、動的機能とシーケンス機能の処理に優れています。

9.DSSMに基づく

深い意味的類似性モデルは、情報検索の分野で広く使用されています。さまざまなアイテムを共通の低次元空間にマッピングし、コサイン関数を使用してそれらの類似性を計算します。基本的なDSSMはMLPで構成されており、畳み込み層とプーリング層を簡単に追加して、より複雑な機能を実現することもできます。

10.制限付きボルツマンマシンに基づく

11.NADEとGAN

12.混合モデル、同時に複数のモデルを推奨に使用


13.今後の研究の方向性：

（1）ユーザーの意図をより深く理解し、ソーシャルメディアや現実世界からユーザーの足跡を抽出して調査する現在のところ調査はほとんどなく、これらの副次的な情報を最大限に活用することで、より正確なレコメンデーションシステムを実現できます。

（2）レコメンデーションシステムにおける機能工学に関する研究はまだほとんどありません。現在、機能は主に手動で選択されており、ディープニューラルネットワークはより有望な機能エンジニアリングツールです。

（3）時間的ダイナミクス。ユーザーインタラクションを長期間追跡することはできませんが、短期間のユーザーインタラクションを追跡することはできます。セッションモデリングにおけるRNNの利点は、この作業を行うことができます。さらに、ディープシーケンスモデリングは、システム進化の時間動的モデリングに大きな可能性を秘めています。

（4）転移学習の使用などのクロスドメイン推奨システムは、あるフィールドで学習された推奨モデルの進化を別の推奨フィールドに適用します。現在、この方法に関する研究はほとんどありません。

（5）マルチタスク学習

（6）注意メカニズム。これは、ネットワークが入力情報をよりよく記憶するのに役立ちます。より少ない情報で情報をフィルタリングすることにより、最も価値のある情報を保持し、モデルの解釈性を向上させます。

（7）測定可能性。レコメンデーションシステムをより効率的にするために、次の問題を調査する必要があります。継続的なユーザー選択データやオプションデータなどのストリーミングデータのインクリメンタル学習方法モデルの成長に伴い、高次元センサーやマルチメディアデータを効率的に計算する方法パラメータ、モデルの複雑さと測定可能性のバランスをとる方法。