• 1. 异质图
• 2. 处理为同质图
• 3. 知识图谱嵌入
• 4. 传统图学习方法
• • 4.1 meta-path系
  • 4.2 subgraph系
  • 4.3 其他
• 5. GNN + Bi-level aggregation scheme
• 6. GNN + 自监督学习
• 7. 其他
• 8. 其他参考资料

1. 异质图

节点或者边的种类>1即可。
如果节点种类为1，边种类>1，叫multiplex graph。

2. 处理为同质图

直接将节点类型和边类型编码到节点属性中

缺点：不符合GNN内蕴的smoothness假设 1 ，节点/边类型是离散数值，往往与节点特征不共享结构。

3. 知识图谱嵌入

1. TransE: Translating Embeddings for Modeling Multi-relational Data
2. DistMult
3. ComplEx
4. RotatE
   (2019 ICLR) RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space

这部分我之前写过相关的博文： cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings_诸神缄默不语的博客-CSDN博客

RotatE的官方项目，但是集成了各种嵌入模型： DeepGraphLearning/KnowledgeGraphEmbedding

其他集成性参考资料： 【知识图谱】知识图谱嵌入模型简介

4. 传统图学习方法

4.1 meta-path系

random walk / PageRank
skip-gram

PathSim: Meta Path-Based Top-K Similarity Search in Heterogeneous Information Networks

Meta-Path-Based Ranking with Pseudo Relevance Feedback on Heterogeneous Graph for Citation Recommendation

metapath2vec: Scalable Representation Learning for Heterogeneous Networks ：基于metapaths的随机游走+heterogenous skip-gram

HERec: Heterogeneous Information Network Embedding for Recommendation ：根据metapath邻居将异质图转换为同质图，用类似DeepWalk的方法学习表征

HIN2Vec: Explore Meta-paths in Heterogeneous Information Networks for Representation Learning ：捕获并区别metapaths的信息
多任务学习目标（同时学习节点和metapath的表征）

4.2 subgraph系

将每种关系下的图视作一个子图，然后联合学习这些子图：

Embedding of Embedding (EOE): Joint Embedding for Coupled Heterogeneous Networks

PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks ：将LINE扩展到异质图上

AspEm: Embedding Learning by Aspects in Heterogeneous Information Networks

4.3 其他

1. 嵌入到不同的空间中，或relation embedding：
   1. HEER: (2018 KDD) Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks ：考虑异质图中类型不同导致的语义不兼容问题 ²
      改进PTE，通过边表征考虑种类相似性
   2. (2018 KDD) PME: Projected Metric Embedding on Heterogeneous Networks for Link Prediction ³
      度量学习
   3. (2020 ICLR) Composition-based Multi-Relational Graph Convolutional Networks ：差不多意思就是在同质图GNN上加个关系嵌入。我记得同质图GNN那边也有加上边嵌入的，但是我没关注过这块儿的研究
2. BHIN2vec: Balancing the Type of Relation in Heterogeneous Information Network ：随机游走+skip gram+多任务，解决HIN中不同种类边数不平衡的问题
3. HAKE: (2020 AAAI) Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
   将实体映射到极坐标系中，建模知识图谱中的语义层次结构
   径向坐标旨在建模不同层次的实体，半径较小的实体预计处于更高的层次；角度坐标旨在区分处于同一层次的实体，这些实体预计具有大致相同的半径但不同的角度。 ⁴

5. GNN + Bi-level aggregation scheme

首先聚合同一类/组中的邻居，然后对其进行聚合（求平均或用注意力机制加权求和）。

RGCN: Modeling Relational Data with Graph Convolutional Networks ：每种边一个图卷积层

(2019 NeurIPS) GTN: Graph Transformer Networks ：自动学习metapaths（通过图transformer层生成所有可能的联系，在新图上运行图神经网络）

(2019 WWW) HAN: Heterogeneous Graph Attention Network ：attentively聚合metapath-based neighborhoods学到的特征

(2019 KDD) HetGNN: Heterogeneous Graph Neural Network ：用RWR抽样异质邻居，按节点类型分类，然后聚合

(2020 WWW) MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding ：首先对节点特征进行转换，然后聚合metapath内部信息，然后聚合各metapath的信息

GATNE: Representation Learning for Attributed Multiplex Heterogeneous Network ⁵

(2020 WWW) HGT: Heterogeneous Graph Transformer ：对每个边建模异质attention，隐式学习metapath

缺点：可能会忽略节点信息（尤其在关系种类不平衡时，大类的节点个体信息可能会被忽略 (downweight)）

6. GNN + 自监督学习

1. 综述
   Self-supervised on Graphs: Contrastive, Generative, or Predictive
2. 研究工作
   1. (2019) HDGI: Heterogeneous Deep Graph Infomax
   2. (2020 AAAI) DMGI: Unsupervised Attributed Multiplex Network Embedding ：对齐每个视图（通过metapaths生成）上的原始网络和corrupted网络
   3. (2021 KDD) HeCo: Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning ：基于metapaths和network分别构建视图
   4. (2022 SDM) STENCIL: Structure-Enhanced Heterogeneous Graph Contrastive Learning ：跨视图+对比学习+结构嵌入
      跨视图：保证视图之间一致性最大化→基于metapaths构建视图（metapath实例起终点构成的同质图）→最大化同一节点在不同视图上嵌入的相似性→将各视图的嵌入attentively聚合
      结构学习：认为节点嵌入点击不足以建模节点相似性，所以补充了PPR和Laplacian positional embedding

7. 其他

1. HIME: Heterogeneous graph embedding with single-level aggregation and infomax encoding
   对节点特征应用MLP（每一种节点用一个模型），直接进行聚合。损失函数鼓励邻居相近+信息最大化（以促进同质性）

考虑不同模态、不同transductive/inductive场景下的GNN场景
inductive链路预测：
DEAL Re9：读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information
LeSICiN Re6：读论文 LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification fro
这两篇本身做的任务都很niche，但是我认为这个研究topic本身是可以很general、是很有研究价值的（意思是我觉得前途无量，但是我不会做）

8. 其他参考资料

1. Heterogeneous Information Network Analysis and Applications
2. (2022 Transactions on Big Data) A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources

1. Revisiting Graph Neural Networks: All We Have is Low-Pass Filters ↩︎

2. 相关阅读笔记博文：
   【论文泛读】Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks_JinyuZ1996的博客-CSDN博客
   【论文解读 KDD 2018 | HEER】Easing Embedding Learning by Comprehensive Transcription of HIN_byn12345的博客-CSDN博客 ↩︎

3. 还没看，但是可资参考的阅读笔记博文： 【论文解读 KDD 2018 | PME】PME: Projected Metric Embedding on Heterogeneous Networks for Link Prediction_pme 算法_byn12345的博客-CSDN博客 ↩︎

4. 还没看，但是可资参考的阅读笔记博文： 可建模语义分层的KG embedding for relation/link completion_秃然变强了的博客-CSDN博客
   AAAI 2020 开源论文 | 可建模语义分层的知识图谱补全方法 ↩︎

5. 相关阅读笔记博文：
   GATNE代码部分讲解_酸辣螺丝粉的博客-CSDN博客 ↩︎

CompGCN （ICLR 2020） Composition-based Multi-Relational Graph Convolutional Networks CompGCN论文汇报ppt可通过关注公众号【AI机器学习与知识 图 谱】，回复关键词：CompGCN 来获得，供学习者使用！可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！ 一、基本概念： Representation learn ing in heterogeneous graphs aims to pursuea mean ing ful vector representation for each node so as to facilitate downstream applications such as link prediction, personalized recommendation, node classification, etc. 异构 图 表示学习的目的是为每个..