Chater 1. 서론 & Chater 2. 수학 및 그래프 기초

Introduction to Graph Neural Networks

에이콘출판주식회사
발행 2022년 4월 29일
지은이 즈위안 리우/지에 저우
옮긴이 정지수

 

이 카테고리는 '그래프 신경망 입문' 책 내용을 요약하고 추가로 내가 공부한 내용을 정리하는 공간이다.

번역본이고 얇은 책인 만큼 1월 안에 다 읽어보려고한다.

drug repurposing 주제로 GCN 모델을 사용하면서 좀더 체계적인 틀을 만들고 싶어서, 이 책을 선택하게되었다.

 

목표는 

1. GCN 동작 원리를 암기한다. 이미 여러 차례 이해한 바가 있으나 계속 휘발되어서, 암기로 목표로 잡았다.

2. GCN 코드를 이해할 수 있다. base model 을 실습하고 이해할 수 있는 back ground가 될 수 있었으면 한다.

3. GCN의 역사(여러 모델)와 응용 분야를 정리한다. DL를 공부하면서 ML, AL에 대해 공부하는 것과 같이 GCN 또한 배경에 대한 이해가 필요하다고 생각되는 바. 이를 정리할 기회가 되었으면 한다.

---

Chater 1. 서론

• 그래프란 객체(노드)의 집합과 그들의 관계(엣지)로 구성된 데이터를 일컫는다.
• 머신러닝에서 유일한 비유클리드 데이터 구조이다.
• application : 사회과학의 소셜 네트워크, 자연과학, 지식 그래프, 조합적 최적화 등
• tasks : 노드  분류, 링크 예측, 클러스터링

1.1 Motivation

1. CNN(1998)이 GNN의 계기가 되었다.

지역화된 공간 특징을 추출해 표현력을 높이는 CNN 방식은 그래프에서도 충분히 적용가능한 기술이었다. (1) 지역 연결, (2) 가중치 공유, (3) 다중 계층 사용. 단, 합성곱 필터와 풀링 작업을 비유클리드 영역으로 확장하기 어렵다는 문제가 있었다.

 

2. 네트워크 임베딩의 역사

1. Deep Walk(2024)
   • 첫 번째 그래프 임베딩 방법
   • Random walk 으로 그래프 데이터를 시퀀스 데이터로 바꾼 다음
   • Skip-gram model을 이용해 시퀀스 데이터를 학습한다.
2. LINE(2015)
3. Node2Vec(2016)

2&3 모델의 한계 : 인코딩시 파라미터 공유하지않는다. 

1&2&3 모델의 한계 : 새로운 그래프를 다룰 수 없어서 확장성이 부족하다.

 

1.2 관련 연구

1. Monti et al., 2017, CNN구조를 비유클리드 영역으로 확장하는 통합 네트워크 MoNet 제안
2. Bronstein et al., 2017, Geometric Deep Learning의 문제, 어려움, 해법, 응용, 미래 방향 등을 논의
3. Gilmer et al., 2017, MPNN 제안
4. Wang et al., 2018b, self-attention 방법을 통합한 NLNN 제안, Video 분야에서 SOTA
5. Lee et al., 2018b, graph attention model 서베이 논문
6. Battaglia et al., 2018, graph network framwork제안
7. Zhang et al., 2018f, GNN을 주로 다룬 포괄적인 서베이 논문
8. Wu et al., 2019c, GNN을 주로 다룬 포괄적인 서베이 논문, RecGNN, ConvGNN, GAE, STGNN 네 그룹으로 나눠 소개

*Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains, such as graphs and manifolds.

*MPNN(Message Passing Neural Network)은 GNN의 일반화된 프레임워크로, 그래프 구조에서 노드 간의 메시지 교환과 업데이트를 통해 정보를 통합한다.

*NLNN(Non-Local Neural Network)

 

1&2 모델은 합성곱을 그래프나 매니폴드로 확정에 집중

3&4 모델은 특정 영역(화학 구조, video)에 집중해 다른 모델들을 그들의 프레임워크로 확장하는 방법을 다룸

**8 논문은 추후 정리해봄직하다.

 

Chater 2. 수학 및 그래프 기초

- 주요한 개념 및 내가 헷갈려하는 공식 위주로 정리했다.

GNN입문_ch2요약.pdf

1.46MB

1. Eigen Decomposition
2. Singular Value Decomposition
3. Probability
4. Graph matrix 이론

 

Chater 3. 신경망 생략

---

현재 3장까지 읽어본바, ML 입문자에게는 불친절할 수 있겠다.

문장도 약간 번역체가 남아있어 살짝 주의깊게 읽어야하는 문장도 있으나, 다른 번역서에 비해 잘 번역된 것은 분명하다.

어느정도 ML혹은 GNN 백그라운드가 있는 독자에게는 정리하기 좋은 책인 것 같다.