TxGemma: Efficient and Agentic LLMs for Therapeutics
https://arxiv.org/abs/2504.06196
2025, arxiv, 36 citation
Google DeepMind에서 개발한 medgemma의 진단 버전.
어떻게 활용했고 어떤 것에 관심이 있는지 확인하고자함.
치료제 개발은 막대한 비용과 높은 위험이 따르는 과정이며, 종종 높은 실패율로 어려움을 겪는다. 이를 해결하기위해 본 연구에서 치료 특성 예측뿐만 아니라 대화형 추론 및 설명 가능성을 갖춘 효율적인 범용 LLM 모델, TxGemma를 제안한다. 특정 작업에 국한된(task-specific) 기존 모델과 다르게, TxGemma는 다양한 소스의 정보들을 통합해 치료법 개발 파이프라인 전반에 걸쳐 폭넓게 활용될 수 있다. 이 제품군(suite)은 소분자, 단백질, 핵산, 질병 및 세포주에 대한 종합적인 데이터셋을 바탕으로 Gemma-2를 미세 조정(fine-tuning)한 2B, 9B, 27B 파라메터 모델로 구성된다. 66개 치료제 개발과제에서 TxGemma는 기존 SOTA 범용 모델대비 64개 과제에서 우수하거나 대등한 성능을 보였으며(45개에서 우위), SOTA specialist 모델과 비교해서는 50개 과제에서 대등 이상의 성과를 거두었다.(26개에서 우위). 임상시험 부작용 예측과 같은 하위 작업에 TxGemma를 미세 조정할 경우, 기본 LLM을 조정할 때보다 적은 학습 데이터가 필요하므로, 데이터가 제한적인 응용 분야에 적합하다.
이런 예측 능력을 넘어, TxGemma의 일반 LLM과 특화된 특성 예측 모델 사이의 간극을 메우는 대화형 모델을 제공한다.이를 통해 과학자들은 모델과 자연어로 상호작용하고 분자 구조에 기반한 예측의 기계적인 추론을 제공받으며, 과학적인 토론을 수행할 수 있다. 나아가 우리는 Gemini 2.5를 기반으로 추론, 행동, 워크플로우 관리 및 외부 도메인 지식 습득이 가능한 범용 치료제 에이전트 시스템인 Agentic-Tx를 소개한다. Agentic-Tx는 인류의 마지막 시험 벤치마크(화학 및 생물학)에서 이전의 선도 모델들을 능가하며, GPQA(화학)에서 o3-mini(높음) 대비 52.3%, o3-mini(높음) 대비 26.7%의 상대적 개선을 기록했다. ChemBench에서는 TxGemma가 o3-mini(높음) 대비 6.3%(ChemBench-선호도)와 2.4%(ChemBench-미니), 그리고 o1 대비 각각 17.7%와 5.6%의 개선을 보이며 뛰어난 성과를 보였다. TxGemma의 컬렉션은 오픈 모델로 출시되어 연구자들이 다양한 데이터셋에서 이를 적응하고 검증할 수 있게 되었으며, 이를 통해 더욱 도전적인 실제 응용이 가능해졌다.
