面白いデータを探して

適当に書く。間違えていたら教えてください。

Network Embeddingの主要な手法について2

Network Embeddingの主要な手法についてのメモ.
今回はGraRep, struc2vec, SiNE.
1はこちら.
netres-bigdata.hatenablog.com

GraRep

LINEではfirst-orderとsecond-orderに関して最適化を行なうが,k-orderに関しても最適化を使用という論文*1.
最適化に際して,skip-gramを行列式変形と解釈しなおし,それに関して最適化を行なう.
(GraRepについてはあまり理解できていないので,指摘・意見などがあればコメントなどいただけると幸いです.)

struc2vec

各ノードがネットワーク内で果たす役割に対応したベクトル表現を得る手法[1704.03165] struc2vec: Learning Node Representations from Structural Identity
ネットワークからコンテキストを作り,階層的ソフトマックスで最適化を行なう.
実験では飛行機の運行ネットワーク内で活発な飛行場とそうでない飛行場を4段階に分け,それらを分類することができるかで行っているが,ソーシャルネットワークとかで考えるとインフルエンサーを見つけると言ったタスクに近くなるのだろうか.

SiNE

正負重み付きグラフ(signed network)のエンベッディング手法*2.
通常の重み付きグラフではエッジの重みは正の値であるが,正負重み付きグラフではエッジの重みに負の値を許す.このようにすることで,友好関係と敵対関係,賛成と反対と言った正負の関係をモデル化することができる.
SiNEでは正の重みのエッジを持つノード対は負の重みのエッジを持つノード対より近くにあるという知見に基づき,ニューラルネットワークの出力に対してマージン最大化をlossとして学習を行なう.
実験ではエッジの正負の予測を行い,当時のSOTAを達成(現在は更新されているようだ.)

*1:Cao, Shaosheng, Wei Lu, and Qiongkai Xu. "Grarep: Learning graph representations with global structural information." Proceedings of the 24th ACM international on conference on information and knowledge management. ACM, 2015.

*2:Wang, Suhang, et al. "Signed network embedding in social media." Proceedings of the 2017 SIAM international conference on data mining. Society for Industrial and Applied Mathematics, 2017.