---

논문 핵심 요약

Who can we trust? LLM-as-a-jury for Comparative Assessment 

✔ 문제: 여러 LLM judge를 평균내면 성능이 최적이 아님

✔ 원인: 각 LLM의 신뢰도 / 일관성 / bias가 다름

✔ 해결: BT-σ (Bradley–Terry + judge reliability)

---

(1) 문제 설정: LLM-as-a-judge → LLM-as-a-jury

기존 방식

• 하나의 LLM → pairwise 비교
• 또는 여러 LLM → 단순 평균

하지만:

문제점

• LLM마다 성능 편차 큼
• bias 존재
  • self-preference bias
  • verbosity bias
• 논리적 inconsistency (비추이성) 발생

예:

A > B
B > C
C > A   ← cycle (비추이성)

–> 이로 인해 확률 기반 ranking이 깨짐 

---

(2) 핵심 관찰: LLM 판단은 “확률적으로 일관되지 않다”

논문이 강조하는 가장 중요한 insight:

Probability inconsistency

• LLM이 출력하는 pairwise probability $p_{ij}$가 하나의 latent ranking으로 설명 불가능

대표적인 문제

• Transitivity violation (cycle)
• Commutativity violation
• prompt sensitivity

결과:

• soft BT (확률 사용) → noise에 취약
• hard BT (binary만 사용) → 더 robust한 경우 존재

---

(3) 기본 모델: Bradley–Terry (BT)

Pairwise ranking 모델

$P(i \succ j)=\sigma(s_i – s_j)$

• s_i: item skill (quality)
• logistic로 확률 모델링

---

Hard vs Soft BT

(1) Hard BT

• $p_{ij} ∈ {0,1}$
• 비교 방향만 사용

(2) Soft BT

• $p_{ij} ∈ [0,1]$
• 확률까지 활용

–> 이상적이면 동일 결과

–> 실제 LLM에서는 다름 (inconsistency 때문)

---

(4) 기존 multi-judge aggregation의 한계

단순 평균

$\bar{p}_{ij} = \frac{1}{K} \sum_k p^{(k)}_{ij}$

문제:

• 모든 judge를 동일하게 취급
• noisy judge도 동일 weight

---

중요한 수식적 insight

논문에서:

multi-judge soft BT는 결국

“평균 확률을 사용하는 것과 동일”

즉,

judge별 reliability를 반영하지 못함

---

(5) 핵심 제안: 

BT-σ (Judge-aware BT)

아이디어

각 judge에 대해 discriminator (σₖ) 추가

모델

$P_k(i \succ j) = \sigma\left(\frac{s_i – s_j}{\sigma_k}\right)$

---

해석

σₖ	의미
작음	sharp, reliable judge
큼	noisy, unreliable judge

즉:

σₖ = judge의 “temperature”

→ reliability indicator

---

핵심 특징

✔ Unsupervised

• human label 필요 없음

✔ Joint learning

• item ranking s_i
• judge reliability σ_k

동시에 학습

---

(6) 직관적 이해

기존 방식

judge1: 좋은 판단
judge2: 엉망 판단

→ 평균하면 둘 다 동일 weight X

BT-σ

judge1 → 작은 σ → 높은 영향력
judge2 → 큰 σ → 낮은 영향력

–> 자동으로 weight 조정

---

(7) 실험 결과 (핵심)

데이터셋

• SummEval (summarization)
• Topical-Chat (dialogue)

평가 metric

• Spearman correlation (human ranking과 비교)

---

주요 결과

✔ BT-σ > soft BT > hard BT > 평균

• 항상 최고 성능
• human correlation 증가

---

중요한 패턴

(1) noise가 클 때

• hard BT 강함

(2) moderate noise

• soft BT 강함

(3) mixed + multi-judge

• BT-σ가 항상 best

---

(8) 핵심 분석 결과

σₖ는 실제 reliability를 잘 반영

(1) 성능과 correlation

• PCC ≈ 72% 

(2) cycle inconsistency와 correlation

• PCC ≈ 90% 

의미:

σₖ ≈ “judge의 논리적 일관성”

---

(9) 논문의 핵심 기여

1. 문제 진단

• LLM judge는 확률적으로 inconsistent

2. 방법론

• BT-σ: reliability-aware aggregation

3. 이론적 해석

• σₖ = unsupervised calibration

4. 실험적 검증

• 다양한 dataset에서 SOTA

---

(10) 연구적 의미 (중요)

이 논문은 단순 evaluation 논문이 아니라:

매우 중요한 방향 제시

기존

• LLM = evaluator

이 논문

• LLM = noisy annotator
• → crowdsourcing 문제로 재정의

---

✔ 결론 한 줄

LLM-as-a-jury에서 핵심은 “누가 더 믿을 수 있는 judge인가”이며,

BT-σ는 이를 unsupervised하게 해결하는 최초의 정식 probabilistic framework이다.

---

논문의 **방법론(Method)**은 비교적 명확한 수학적 구조를 갖고 있으며, 핵심은:

“pairwise 비교 데이터만으로 item ranking + judge reliability를 동시에 추정”

입니다. 아래에서 논문 흐름 그대로 정식화 → 문제점 → 제안 모델(BT-σ) 순으로 정리합니다.

---

1. 문제 설정: Pairwise Comparative Assessment

입력 데이터

• item 집합: $i, j \in \mathcal{I}$
• judge 집합: $k \in \{1,…,K\}$

각 judge는 다음을 출력:

$p^{(k)}_{ij} = P_k(i \succ j)$

즉, “i가 j보다 좋을 확률”

---

2. 기본 모델: Soft Bradley–Terry (Soft BT)

모델

$P(i \succ j)=\sigma(s_i – s_j)$

• s_i: item quality (latent skill)

---

Likelihood (soft version)

$\mathcal{L}(s) \propto \prod_{(i,j)} \sigma(s_i – s_j)^{p_{ij}} (1 – \sigma(s_i – s_j))^{1 – p_{ij}}$

핵심:

• LLM이 준 확률 $p_{ij}$를 soft supervision으로 사용 

---

Gradient condition (중요)

$\sum_{(i,j)} \big(p_{ij} – \sigma(s_i – s_j)\big) = 0$

의미:

모델이 LLM 확률을 최대한 맞추도록 학습

---

3. 핵심 문제: Probability Inconsistency

논문의 핵심 문제 정의:

LLM 확률은 BT 모델로 설명 불가능

이유

(1) Transitivity violation

$i \succ j,\quad j \succ k,\quad k \succ i$

(2) 비대칭성

$p_{ij} + p_{ji} \neq 1$

---

해결 (preprocessing)

$p’_{ij} = \frac{1}{2} (p_{ij} + (1 – p_{ji}))$

–> symmetrization (bias 제거) 

---

4. Multi-judge 문제: 왜 평균이 틀리는가?

기존 방식

$\bar{p}_{ij} = \frac{1}{K} \sum_k p^{(k)}_{ij}$

---

중요한 수식적 결과

multi-judge soft BT는:

$\sum_k (p^{(k)}_{ij} – \sigma(s_i – s_j)) = 0$

→ 결국:

$\sigma(s_i – s_j) = \frac{1}{K} \sum_k p^{(k)}_{ij}$

즉,

soft BT + multi-judge = 평균과 동일 

---

문제 요약

• 모든 judge를 동일하게 취급
• noisy judge도 동일 weight

---

5. 제안 방법: 

BT-σ (핵심)

핵심 아이디어

judge마다 “신뢰도 parameter”를 도입

---

모델 정의

$P_k(i \succ j)=\sigma\left(\frac{s_i – s_j}{\sigma_k}\right)$

---

해석

요소	의미
s_i	item quality
σ_k	judge reliability

---

직관

• 작은 σ_k: → sharp decision → reliable judge
• 큰 σ_k: → flat probability → noisy judge

---

Temperature scaling과의 관계

$\sigma_k \approx \text{temperature}$

하지만:

방법	특징
temperature scaling	supervised
BT-σ	unsupervised

---

6. Likelihood (joint learning)

전체 likelihood

$\mathcal{L}(s, \sigma) = \prod_k \prod_{(i,j)} \sigma\left(\frac{s_i – s_j}{\sigma_k}\right)^{p^{(k)}_{ij}} (1 – \cdot)^{1 – p^{(k)}_{ij}}$

---

학습

• jointly optimize:
  • item scores s_i
  • judge reliability σ_k

–> MLE optimization

---

7. 핵심 효과

✔ 자동 weighting

gradient 관점에서 보면:

$\frac{1}{\sigma_k}$

가 implicit weight 역할

---

결과

• reliable judge → 더 큰 영향
• noisy judge → 자동 downweight

---

8. 확장: BT-σ-asp

aspect별 reliability

$σ_{k,a}$

–> judge + evaluation aspect마다 별도 parameter

---

관찰

• 큰 성능 향상 없음
• → judge reliability는 비교적 global

---

9. Hard BT-σ (추가 variant)

아이디어

• 확률 버리고 binary만 사용
• 대신 σₖ로 reliability 반영

---

효과

• high noise 환경에서 robust

---

10. 전체 알고리즘 요약

Input

• pairwise probabilities $p^{(k)}_{ij}$

Step 1: Debiasing

• symmetrization

Step 2: Optimization

maximize L(s, σ)

Step 3: Output

• ranking: sort s_i
• judge reliability: σ_k

---

방법론 핵심 한 줄

BT-σ는 pairwise 비교를 생성한 LLM들을 “노이즈 있는 annotator”로 보고,

그 신뢰도를 함께 학습하는 probabilistic ranking 모델이다.

---

중요한 연구적 해석

이 방법은 사실상:

Crowdsourcing 모델의 LLM 버전

기존	이 논문
annotator reliability	LLM judge reliability
Dawid–Skene	BT-σ
label aggregation	pairwise ranking

---

BT-σ의 MLE optimization은 결국

item skill $s_i$ 와 judge-specific discriminator $\sigma_k$ 를

pairwise probability 데이터만으로 동시에 최대우도추정(MLE) 하는 문제

입니다. 논문 본문에서 모델은

$P_k(i \succ j)=\sigma\!\left(\frac{s_i-s_j}{\sigma_k}\right)$

로 정의됩니다. 여기서 작은 $\sigma_k$ 는 더 sharp하고 일관된 judge, 큰 $\sigma_k$ 는 noisy judge를 뜻합니다. 

---

1. 관측 데이터와 모델

judge k 가 item i,j 쌍에 대해 낸 soft preference를

$p_{ij}^{(k)} \in [0,1]$

라고 두면, BT-σ는 이 확률을 “관측된 soft target”으로 보고, 모델 확률

$q_{ij}^{(k)}=\sigma\!\left(\frac{s_i-s_j}{\sigma_k}\right)$

와 맞추도록 학습합니다. 논문은 soft BT likelihood를 judge-aware하게 확장해, 여러 judge와 여러 comparison에 대한 likelihood를 jointly maximize한다고 설명합니다. 

---

2. Likelihood

각 judge k, 각 pair (i,j) 에 대해 Bernoulli의 soft-label likelihood 형태를 쓰면:

$\mathcal{L}(s,\sigma) = \prod_{k=1}^K \prod_{(i,j)\in \mathcal C} [ q_{ij}^{(k)} ]^{p_{ij}^{(k)}} [ 1-q_{ij}^{(k)} ]^{1-p_{ij}^{(k)}}$

여기서

$q_{ij}^{(k)}=\sigma\!\left(\frac{s_i-s_j}{\sigma_k}\right)$.

즉, judge k 가 낸 soft preference $p_{ij}^{(k)}$ 를 모델 확률 $q_{ij}^{(k)}$ 가 잘 설명하도록 하는 구조입니다. 이 formulation이 바로 논문이 말하는 “item skills와 judge discriminators를 jointly 학습하는 likelihood”입니다. 

---

3. Log-likelihood

최적화는 보통 log를 취해 수행합니다:

$\ell(s,\sigma) = \log \mathcal{L}(s,\sigma)$

$= \sum_{k=1}^K \sum_{(i,j)\in \mathcal C} \left[ p_{ij}^{(k)} \log q_{ij}^{(k)} + (1-p_{ij}^{(k)}) \log (1-q_{ij}^{(k)}) \right].$

이 식은 사실상 soft binary cross-entropy의 합과 같습니다.

따라서 MLE는 다음 최적화 문제입니다:

$(\hat s, \hat \sigma) = \arg\max_{s,\sigma} \ell(s,\sigma).$

동치로, negative log-likelihood를 최소화해도 됩니다:

$\min_{s,\sigma} -\ell(s,\sigma).$

---

4. Gradient: $s_i$에 대한 미분

먼저

$z_{ij}^{(k)}=\frac{s_i-s_j}{\sigma_k},\qquad q_{ij}^{(k)}=\sigma(z_{ij}^{(k)})$

라고 두겠습니다.

log-likelihood의 한 항

$p\log q + (1-p)\log(1-q)$

를 z로 미분하면 잘 알려진 결과로

$\frac{\partial}{\partial z} \Big(p\log q+(1-p)\log(1-q)\Big) = p-q$

가 됩니다.

그리고

$\frac{\partial z_{ij}^{(k)}}{\partial s_i}=\frac{1}{\sigma_k},\qquad \frac{\partial z_{ij}^{(k)}}{\partial s_j}=-\frac{1}{\sigma_k}.$

따라서

$\frac{\partial \ell}{\partial s_i} = \sum_{k=1}^K \sum_{j:(i,j)\in\mathcal C} \frac{p_{ij}^{(k)}-q_{ij}^{(k)}}{\sigma_k} \;-\; \sum_{k=1}^K \sum_{j:(j,i)\in\mathcal C} \frac{p_{ji}^{(k)}-q_{ji}^{(k)}}{\sigma_k}.$

만약 모든 ordered pair를 일관되게 정리하면, 핵심 형태는

$\frac{\partial \ell}{\partial s_i} \propto \sum_{k,j} \frac{p_{ij}^{(k)}-q_{ij}^{(k)}}{\sigma_k}.$

해석

이 식이 중요합니다.

• $p_{ij}^{(k)}-q_{ij}^{(k)}$: judge k 의 관측 확률과 모델 확률의 오차
• $1/\sigma_k$: 그 judge의 영향력

즉,

작은 $\sigma_k$ 를 가진 judge는 gradient에 더 크게 기여하고,

큰 $\sigma_k$ 를 가진 judge는 자동으로 downweight됩니다.

이게 BT-σ가 단순 averaging과 다른 핵심입니다. 논문도 $\sigma_k$ 를 judge reliability를 나타내는 discriminator로 해석하며, 이를 통해 unreliable judge의 확률 신호를 약화시킨다고 설명합니다. 

---

5. Gradient: $\sigma_k$에 대한 미분

이제 judge reliability parameter를 보겠습니다.

$z_{ij}^{(k)}=\frac{s_i-s_j}{\sigma_k}$

이므로

$\frac{\partial z_{ij}^{(k)}}{\partial \sigma_k} = -\frac{s_i-s_j}{\sigma_k^2}.$

따라서

$\frac{\partial \ell}{\partial \sigma_k} = \sum_{(i,j)\in\mathcal C} (p_{ij}^{(k)}-q_{ij}^{(k)}) \left( -\frac{s_i-s_j}{\sigma_k^2} \right)$.

즉,

$\frac{\partial \ell}{\partial \sigma_k} = -\sum_{(i,j)\in\mathcal C} \frac{(p_{ij}^{(k)}-q_{ij}^{(k)})(s_i-s_j)}{\sigma_k^2}$.

해석

judge k 가 item 간 차이를 잘 반영하면, 작은 $\sigma_k$ 로도 데이터를 설명할 수 있습니다.

반대로 확률이 flat하거나 noisy하면 더 큰 $\sigma_k$ 가 선호됩니다.

즉 $\sigma_k$ 는:

• 단순한 temperature가 아니라
• judge별 “margin sensitivity” 또는 “discrimination strength”

를 나타냅니다. 논문도 이를 judge-specific temperature와 유사하지만, 인간 라벨 없이 pairwise comparisons만으로 학습된다는 점에서 unsupervised comparative calibration으로 해석합니다. 

---

6. Identifiability / 제약 조건

Bradley–Terry류 모델은 보통 shift invariance가 있습니다.

즉 모든 s_i 에 같은 상수를 더해도 s_i-s_j 는 변하지 않습니다:

$(s_i + c) – (s_j + c)=s_i-s_j$.

따라서 해를 유일하게 만들려면 보통 다음 중 하나를 둡니다.

$\sum_i s_i = 0$

또는

$s_1 = 0$.

또한 $\sigma_k > 0$ 이어야 하므로 실제 구현에서는 보통

$\sigma_k = \mathrm{softplus}(\alpha_k)+\epsilon$

또는

$\log \sigma_k$

를 파라미터화합니다.

논문 본문은 jointly maximize한다고 명시하지만, 구현 세부 파라미터화까지 길게 적지는 않습니다. 다만 실제 MLE optimization에서는 이런 positivity/identifiability 처리가 거의 필수입니다. 이 부분은 논문 수식을 구현 가능한 형태로 풀어쓴 해석입니다. 

---

7. 실제 optimization 절차

실제로는 closed-form 해가 없으므로 gradient-based optimization을 사용하면 됩니다.

목적함수

$\mathcal J(s,\sigma)= -\ell(s,\sigma)$

반복

1. 초기화
   • $s_i \leftarrow 0$
   • $\log \sigma_k \leftarrow 0$ 또는 $\sigma_k \leftarrow 1$
2. forward
   • $z_{ij}^{(k)}=(s_i-s_j)/\sigma_k$
   • $q_{ij}^{(k)}=\mathrm{sigmoid}(z_{ij}^{(k)})$
3. loss 계산
   • soft BCE 누적
4. backprop
   • $s_i, \sigma_k$ 업데이트
5. 수렴 후
   • ranking은 $s_i$ 정렬
   • judge reliability는 $1/\sigma_k$ 또는 $\sigma_k$ 로 해석

---

8. 왜 이것이 “MLE optimization”인가

핵심은 judge들의 pairwise 확률을 생성한 underlying latent process를 가정하고, 그 생성확률을 최대화하는 파라미터를 찾기 때문입니다.

즉:

• latent item quality: $s_i$
• latent judge noise/reliability: $\sigma_k$

를 두고,

$\max_{s,\sigma} P(\text{observed pairwise probabilities} \mid s,\sigma)$

를 수행하므로 전형적인 최대우도추정입니다.

---

9. 논문식 해석으로 다시 요약

논문 관점에서 BT-σ는 다음을 동시에 수행합니다.

item 측면

$s_i$

를 학습해서 global ranking을 구성

judge 측면

$\sigma_k$

를 학습해서 judge별 reliability를 추정

그 결과:

• reliable judge는 sharper margin
• unreliable judge는 flatter response

가 되어 aggregation 시 자동으로 반영됩니다. 이것이 논문이 BT-σ를 unsupervised calibration mechanism으로 해석하는 이유입니다. 

---