[태그:] Language-Specific Neurons
-
Language-specific Neurons Do Not Facilitate Cross-Lingual Transfer (The Sixth Workshop on Insights from Negative Results in NLP 2025)
이 논문은 다음 질문에 답하려는 연구입니다: “멀티링구얼 LLM 내부의 language-specific neuron(언어 특화 뉴런)을 조작하면 low-resource 언어의 cross-lingual 성능을 향상시킬 수 있는가?” 결론부터 말하면: 거의 효과가 없었다. 오히려 language neuron 조작이 task 성능을 망가뜨리는 경우가 많았으며,이는 뉴런이 단순히 “언어 정보만” 저장하는 것이 아니라task 정보까지 함께 담고 있기 때문이라고 분석합니다. 1. 핵심 배경 최근 multilingual LLM 연구에서는…
-
*** Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models (ACL 2024)
이 논문 **「Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models」 (ACL 2024)**은 대형 언어 모델(LLM)의 다국어 능력이 **특정한 언어 전용 뉴런(language-specific neurons)**에 의해 어떻게 형성되는지를 정량적으로 규명한 연구입니다 . 🧩 연구 배경 및 문제의식 대형 언어 모델(GPT-4, PaLM-2 등)은 주로 영어 데이터로 학습되었음에도 불구하고 여러 언어로 높은 수준의 이해 및 생성 능력을…