(Archive)Trasnformer 이해하기

1. transforemr

https://www.blossominkyung.com/deeplearning/transfomer-positional-encoding

트랜스포머(Transformer) 파헤치기—1. Positional Encoding

2. BERT

https://happy-obok.tistory.com/23

BERT 개념 정리 (특징/구조/동작 방식/종류/장점/BERT 모델 설명)

 

* BERT 모델의 특징

- 양방향 학습 동시에 진행

- 가변적인 인풋 시퀀스 입력 받을 수 있음

• [CLS]: 문장 시작 토큰. 문장 분류나 문장 수준의 작업에서 사용.
• [SEP]: 문장 구분 토큰. 두 문장을 구분하거나 문장 끝을 표시.
• [PAD]: 패딩 토큰. 짧은 시퀀스를 채우기 위해 사용.
• [MASK]: 마스킹 토큰. 사전 학습(Masked Language Model) 중 마스킹된 위치를 표시
• [UNK]: 사전 학습 중 또는 추론 과정에서 모델의 단어 집합(vocabulary)에 포함되지 않은 단어나 기호 표시

 

promoter DB: EPDnew