dojself04

[태그:] Language Confusion

  • Understanding and Mitigating Language Confusion in LLMs (EMNLP 2024)

    Understanding and Mitigating Language Confusion in LLMs (EMNLP 2024)

    https://www.dropbox.com/scl/fi/ncaknhnfh2bxvkr7b5fee/emnlp24_Solving_LLM_Language_Confusion.pdf?rlkey=lf7ggvlat5jzlo3j4ffsbrt7p&dl=0 1. 핵심 문제 정의: Language Confusion 논문에서 정의한 language confusion은 다음과 같다. “모델이 사용자가 원하는 언어 대신 다른 언어를 섞거나 전환하여 생성하는 오류”   중요한 점은: 논문은 confusion을 3가지 수준으로 구분한다. (1) Full-response confusion 전체 응답이 다른 언어로 생성됨. 예: 즉: (2) Line-level confusion 일부 줄은 target language,일부 줄은 다른 언어. 예: (3) Word-level…

  • * Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models (Findings of EMNLP 2025)

    * Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models (Findings of EMNLP 2025)

    https://www.dropbox.com/scl/fi/mctlhymhvdyayqn39o8uz/femnlp25_Surgical_Mitigation_of_LLM_Language_Confusion.pdf?rlkey=ll1e382d05a6z4rn4q5b686fo&dl=0 1. 문제 정의: Language Confusion 핵심 현상 유형 예시 (논문 Fig.1): 2. 핵심 개념: Confusion Point (CP) 정의 –> 매우 중요한 insight: 실험 결과 Table 2 (page 4) –> language confusion은 “local failure”임을 보여줌 3. Mechanistic Insight (핵심 기여) 3.1 Layer-wise 분석 (TunedLens 사용) 관찰 (page 5, Fig.2) 결론 language confusion =“latent → surface…