已有模型的缺点
特征之间的交互是灵活显性的,而无结构的特征组合无法很好地进行提取。
Fi-GNN的创新点
具体做法
Embedding Layer
E = [ e 1 , e 2 , e 3 , … , e m ] , e i ∈ R d , E ∈ R m × d E=[e_1, e_2, e_3, …, e_m],e_i \in \mathbb{R}^d,E \in \mathbb{R}^{m×d} E=[e1,e2,e3,…,em],ei∈Rd,E∈Rm×d
Multi-head Self-attention Layer 捕捉成对特征的复杂依赖
构建Feature Graph
加权的全连接图,其中边的权重则反映了不同特征交互的重要性。
Feature Interaction Graph Neural Network
在每个交互步(interaction step)中,每个节点聚合邻居节点的状态信息,然后根据其聚合信息和历史信息通过GRU和残差连接更新其节点状态。
状态聚合(在交互步骤t,每个节点将汇总来自邻居的状态信息)
转换函数和邻接矩阵决定节点的交互作用。
a. 转换函数
b. 邻接矩阵
状态更新