短いテキストの感情分析のための深い畳み込みニューラルネットワーク
Deep Convolutional Neural Networks
コード： https://github.com/asahi417/DocumentClassification
https://github.com/asahi417/DocumentClassification/blob/master/sequence_modeling/model/cnn_char.py
概要
短いテキストの感情分析
課題：限られたテキスト情報
本論文では、文字レベルから文レベルまで分析されるDCNN（ディープ畳み込みニューラルネットワーク）を提案します。
コーパスは、スタンフォードセンチメントツリーバンク（SSTb）、映画レビュー、スタンフォードツイッターセンチメントコーパス（STS）、ツイッター情報の2つの異なる領域にあります。
1はじめに
出現：[ˈÆdˌvent]n来る
三日月：[ˈクレズ（ə）nt]n三日月、三日月
2ニューラルネットワークアーキテクチャ
ネットワーク入力：文中の一連の単語、一連のレイヤーを介して情報を抽出し、ネットワークは文字レベルから文レベルまで情報を抽出します。
2.1初期表現レベル
2.1.1単語レベルの埋め込み
2.1.2文字レベルの埋め込み
形や形に関する情報を取得するには、単語のすべての文字と選択する情報を考慮することが重要です。
たとえば、Twitterデータの感情分析では、重要な情報が##の部分、「＃SoSad」、「＃ILikeIt」、または「ly」で終わる副詞（「beautifully」、「perfectly」、「」など）に表示されます。ひどく ''、私たちはdos Santos and Zadrozny、2014と同じ方法を使用します。これは、畳み込み法に基づいています。具体的には、畳み込み単語の文字レベルの機能を使用し、それらをmax-poolingと組み合わせて文字を取得します-単語のレベルベースの単語埋め込み。
2.2文レベルの表現とスコアリング
2.3ネットワークトレーニング
3関連作業
感情分析に関するネットワーク構造
循環ネットワーク
Socher et al。、2011：感情分布を予測するための再帰的オートエンコーダに基づく半教師ありアプローチ。このメソッドは、さまざまなフレーズのベクトル空間表現を学習し、文の再帰的特徴を調査します。
Socher et al。、2012：セマンティックコンポジションのマトリックスベクトル再帰ニューラルネットワークモデルには、フレーズやセンテンスのコンポジションベクトル表現を学習する機能があります。これらのベクトルは、隣接する単語やフレーズの意味をキャプチャする、基になる文構造をキャプチャします。
Socher et al。、2013b：再帰型ニューラルテンソルネットワーク（RNTN）アーキテクチャは、単語ベクトルを使用してフレーズと解析ツリーを表し、高ノードのベクトルを計算します。
私たちの仕事は、再帰ではなく順伝播ネットワークを使用しています。
NLPの使命における畳み込みネットワーク
Collobert et al。、2011：過度のタスク固有の機能エンジニアリングを回避することを目的として、セマンティックロールラベリングタスクに畳み込みネットワークを使用する
Collobert、2011年：構文解析に同様のネットワークアーキテクチャを使用
CharSCNNはこれらのネットワークに関連付けられており、畳み込み層の層を使用して文の特徴を抽出します。これらのネットワークは、文字レベルの特徴抽出に畳み込み層の複数の層を使用するという点で異なります。
ニューラルネットワーク構造で単語内を使用し、
Luong et al。、2013：再帰型ニューラルネットワーク（RNN）を使用して、単語の形態学的構造を明示的にモデル化し、形態学的に認識された埋め込みを学習します
Lazaridou et al。、2013：もともと句の意味を学習するために設計された構成的分布意味モデルを使用して、基本単位が形態素である複雑な単語の表現を導出します。
Chrupala、2013年：文字のシーケンスの連続ベクトル表現を学習し、それらを条件付き確率場分類器の機能として使用して、文字レベルのテキストセグメンテーションおよびラベル付けタスクを解決する単純なリカレントネットワーク（SRN）を提案します。
4実験のセットアップと結果
4.1感情分析データセット
（Stanford Sentiment Treebank（SSTb）
スタンフォードTwitterセンチメントコーパス（STS）：テストセットはGoらによって手動で注釈が付けられました
4.2単語レベルの埋め込みの教師なし学習
単語レベルの埋め込みは、CharSCNN構造にとって非常に重要です。それらは、感情分析にとって特に重要な構文的および意味的情報をキャプチャすることです。これらの作業は、次の結果で達成できます。
Collobert et al。、2011 Luong et al。、2013 Zheng et al。、2013 Socher et al。、2013a：
Mikolov et al。、2013：単語のベクトル表現を計算するための連続的な単語のバッグとスキップグラムアーキテクチャを実装します
4.3モデルのセットアップ
4.4SSTbコーパスの結果
4.5STSコーパスの結果
