scKGBERT: a knowledge-enhanced foundation model for single-cell transcriptomics
https://pubmed.ncbi.nlm.nih.gov/41286991/
2025, Genome Biology
scFoundation(2023) 모델 성능을 능가했다고하여 보게됨.
막연히 생각하고 있던 내 아이디어.. KG-LLM 기반 모델이 나와서 당혹스럽다.
단일 세포 전사체 분석은 세포 이질성의 정밀한 특성 분석을 가능하게 하지만, 발현 데이터에만 의존하는 기존의 사전 학습 모델들은 유전자 간의 연관성을 포착하지 못한다는 한계가 있다. 본 연구에서는 유전자와 세포의 표현(representation)을 공동으로 학습하기 위해 4,100만 개의 단일 세포 RNA-seq 프로파일과 890만 개의 단백질-단백질 상호작용(PPI) 데이터를 통합한 지식 향상형 파운데이션 모델(a knowledge-enhanced foundation model)인 scKGBERT를 제안한다. scKGBERT는 핵심 유전자를 강조하고 바이오마커 식별 능력을 높이기 위해 가우시안 어텐션(Gaussian attention)을 채택하였으며, 유전자 주석, 약물 반응 및 질병 예측 작업에서 탁월한 성능을 달성했다. scKGBERT는 생물학적 해석 가능성을 높이며, 정밀 의료 및 질병 메커니즘 규명을 위한 강력한 자원을 제공한다.