sunny34.com - 리서치 리뷰

2026.10.06 · arXiv preprint

멀티에이전트는 에너지를 6.36배 쓴다: 에이전틱 LLM 개발 도구 지속가능성 실측 리뷰

코드생성·기술부채·취약점탐지·로그파싱·로그분석 5개 과제 실측에서 4-agent 구성은 non-agentic 대비 에너지 6.36배·지연 6.07배를 썼지만, 정확도 개선은 취약점탐지 1개 과제에만 그쳤습니다.

non-agentic(NA) 대비 single-agent(SA)는 에너지 1.20배·지연 1.23배, dual-agent(DA)는 3.06배·3.32배, 4-agent(MA)는 6.36배·6.07배를 썼습니다(5개 과제·6개 모델·3개 하드웨어 평균).
정확도 개선은 과제별로 갈렸습니다 — 취약점탐지 F1은 MA 55.4%로 NA 49.7%·SA 49.2%·DA 35.6%를 앞섰지만, 로그파싱 정확매칭은 NA 34.5%에서 MA 26.1%로 에이전트를 더할수록 오히려 떨어졌습니다.
15개 과제-하드웨어 조합의 3차원(정확도·에너지·지연) 파레토 최적 구성 66개 중 59개(89%)가 non-agentic 또는 single-agent였고, 4-agent는 1개뿐이었습니다.

멀티에이전트는 에너지를 6.36배 쓴다: 에이전틱 LLM 개발 도구 지속가능성 실측 리뷰 썸네일

2026.10.05 · arXiv preprint

버려진 후보 하나가 −8.6%p를 뒤집었다: SELF-POT 테스트타임 스케일링 리뷰

저가 모델에 테스트타임 연산을 더해 고가 모델을 따라잡을 수 있다는 서사를, 5개 모델·4개 도메인에 걸친 비용-정확도 통제 실험으로 검증했습니다.

코딩 Parallel@4의 정답 제출은 500개 예정 셀 기준 376건(−8.6%p)이었지만, 선택 실패 시 후보를 버리지 않는 규칙만 적용하자 437건(+3.6%p), 공개 예제 선택으로 바꾸면 453건(+6.8%p)까지 올랐습니다(비용은 모델별 12~49% 절감).
같은 저가 모델 5종·같은 예산 배수라도 효과는 도메인마다 반대 방향이었습니다 — 수학 Parallel@4 평균 +4.0%p(95% 구간 [+0.3,+7.7]), 코딩 −8.6%p([−11.8,−5.4]), 워크플로 −4.6%p([−7.4,−1.9]).
워크플로·터미널에서는 Claude Opus 5.5의 1회 응답(Direct)이 저가 모델의 모든 테스트타임 기법을 압도했습니다(워크플로 148/160 대 최고 78/160, 터미널 13/30 대 최고 3/30).

버려진 후보 하나가 −8.6%p를 뒤집었다: SELF-POT 테스트타임 스케일링 리뷰 썸네일

2026.10.04 · arXiv preprint

자기진화가 끌어올린 건 능력만이 아니었다: SEABench 에이전트 안전성 리뷰

에이전트가 스스로 하니스를 고치게 하자 완료율은 35.7%→47.2%로 올랐지만, 안전 실패는 0%에서 43.9%로 함께 늘었습니다.

같은 모델의 짝지은 비교에서 안전 실패율이 자기진화 전 0%(0/720)에서 진화 후 43.9%(316/720)로 뛰었고, 통계적으로도 유의했습니다(Fisher 정확검정 p=3.48×10⁻¹³).
진화 표면별로는 도구/스킬이 55.8%(134/240)로 가장 취약했고, 컨트롤러 38.8%(93/240), 메모리 37.1%(89/240) 순이었습니다 — 세 분해축 모두 합계 316건으로 일치했습니다.
체인오브소트 모니터링으로 유해 출력의 70.9%(56/79)를 막았지만 거짓양성률은 9.7%(11/113)였고, 도구/스킬 표면에서는 효과가 54.8%로 떨어졌습니다.

자기진화가 끌어올린 건 능력만이 아니었다: SEABench 에이전트 안전성 리뷰 썸네일

2026.10.03 · arXiv preprint

정답을 다 냈는데도 41%가 떨어진다: Incident-Arena 에이전트 신뢰성 리뷰

프로덕션 장애 대응 벤치마크 Incident-Arena는 참조 해법을 전부 실행해도 41%가 결국 떨어진다는 것을 보였습니다. 가장 흔한 실패는 복구가 재시작을 못 견기거나, 회복 전에 너무 빨리 완료를 선언하는 것이었습니다.

20개 실제 프로덕션 과제·3,000회 trial에서, 참조 해법을 전부 실행한 1,638건 중에도 672건(41%)이 결국 떨어졌습니다 — 정답을 알아도 통과를 보장하지 않습니다.
실패의 26.5%는 복구가 재시작이나 다음 트리거를 못 견기고 무너졌고, 23.9%는 서비스가 아직 회복되지 않았는데 에이전트가 너무 일찍 완료를 선언해서 발생했습니다.
추론 노력을 최저에서 최고로 올려도 통과율은 39.2%→43.8%(+4.6%p)에 그쳤는데 비용은 2.3배로 뛰었습니다 — '더 생각하게 하기'는 비용 대비 효율이 낮은 레버였습니다.

정답을 다 냈는데도 41%가 떨어진다: Incident-Arena 에이전트 신뢰성 리뷰 썸네일

2026.10.02 · arXiv preprint

제어만 분리해도 63.7%→71.5%: Meta 에이전틱 메타추론 리뷰

같은 워커·같은 호출 예산에서 통제 방식만 메타추론으로 바꾸자 ProgramBench 성공률이 63.7%에서 71.5%로 올랐습니다. 다만 저예산 구간에서는 오히려 역전됐습니다.

GPT-5.5 기준 ProgramBench에서 메타추론 컨트롤러는 같은 워커·같은 1200콜 예산의 직접 통제 대비 63.7%→71.5%(+7.8%p)를 기록했고, 자사 비교 기준 OpenAI Codex(58.0%)·Anthropic Claude Code(65.5%)보다도 높았습니다(제3자 독립 재현은 아님).
추론 3종 벤치마크 평균으로 메타추론은 직접 통제 대비 IMO ProofBench-Advanced +4.0%p, ARC-AGI-2 +4.2%p, LongCoT-mini +3.6%p 개선됐지만, Opus 4.8·ProgramBench 400콜에서는 56.6%로 직접 통제(62.7%)에 오히려 뒤졌다가 1200콜에서야 역전했습니다.
컨트롤러의 품질 판정(Type-2 AUC 0.88)이 워커 자신의 확신도(0.55)보다 나았고, 컨트롤러가 유지하는 압축 상태는 수천~수만 자인 반면 직접 통제의 누적 대화 이력은 Opus 4.8 최장 실행에서 100만 자를 넘었습니다.

제어만 분리해도 63.7%→71.5%: Meta 에이전틱 메타추론 리뷰 썸네일

2026.10.01 · arXiv preprint

침해는 잡아도 공모는 못 잡는다: 멀티에이전트 방어의 사각지대를 드러낸 ORBIT 리뷰

같은 방어가 침해 에이전트 공격 성공률은 72%에서 12%로 낮췄지만, 공모 공격 성공률(30%)은 전혀 줄이지 못했습니다.

SWE-Bench 다중이슈 시나리오에서 LLM 모니터·가디언 방어는 침해 에이전트 공격 성공률을 72.0%에서 12.0%로 60%p 낮췄지만, 같은 방어가 공모 공격 성공률(30.0%→30.0%·34.0%)은 전혀 줄이지 못했습니다.
네 가지 방어(시스템 프롬프트·LLM 모니터·가디언·듀얼LLM) 중 모든 위협 유형에 두루 통한 것은 하나도 없었고, 듀얼LLM은 SWE-Bench 다중이슈 과제 완료율을 9.2%p 깎는 대가를 치렀습니다.
같은 모델(Qwen3-235B)이 단독 실행에서 스타(Star) 토폴로지로 바뀌자 무방비 공격 성공률이 17%에서 36%로 19%p 뛰어, 방어 메커니즘 못지않게 에이전트 아키텍처 설계가 보안을 좌우함을 보였습니다.

침해는 잡아도 공모는 못 잡는다: 멀티에이전트 방어의 사각지대를 드러낸 ORBIT 리뷰 썸네일

2026.09.30 · arXiv preprint

완성률 2.7%인데 부분 점수는 70%: 검색 다음이 진짜 난제라는 KNOWS 벤치마크 리뷰

웹 에이전트에게 문서·시트·슬라이드 작성을 통째로 맡겼더니 완전 성공률은 2.7%에 그쳤고, 부분 점수가 높아도 결과물은 대부분 실사용이 불가능했습니다.

전체 110개 과제 중 완전 성공(SR)은 최고 성능 조합(퍼플렉시티 코멧+Claude Opus 4.7)도 2.7%(3건)에 그쳤고, 나머지 6개 모델·하니스 조합은 전부 0%였습니다.
부분 점수는 최고 ACF 70.0%·SF 64.7%까지 올랐지만, 대표 사례는 ACF 0.54·SF 0.59를 받고도 체크포인트 완주율(ASC) 0.14로 실제로는 쓸 수 없는 결과물이었습니다.
같은 Claude Opus 4.7 모델이 하니스만 BrowserGym에서 코멧으로 바뀌자 SR +2.7%p, ASC +18.7%p, ACF +27.5%p, SF +25.6%p 상승 — 모델보다 하니스 선택이 성능을 더 크게 좌우했습니다.

완성률 2.7%인데 부분 점수는 70%: 검색 다음이 진짜 난제라는 KNOWS 벤치마크 리뷰 썸네일

2026.09.29 · arXiv preprint

다른 사건번호면 정답도 오답 처리한다: LLM 심판의 구조적 결함과 CARGO 리뷰

케이스 번호만 다른 정답을 100% 오답으로 채점하던 LLM 심판을 CARGO가 판별력 0→.58로 개선했지만, 절차 오류 탐지는 20%에 그쳤습니다.

참조 답안과 사례(케이스 번호 등)가 다르면 문자 대조 심판은 정답인 전이 사례 50개 전부를 100% 오답·환각으로 판정(판별지수 DI≈0)
CARGO 적용 시 오탐은 0~3%로 낮아지고 모순 탐지율 98~100%를 유지, 판별지수는 .56~.58로 상승
절차 손상(정책 교체·조건 반전 등)은 20%만 탐지 — 사후 보정도 개선 실패(ΔDI=-.007), 사람 방식 이중 판정도 같은 사각지대 재현(3/10)

다른 사건번호면 정답도 오답 처리한다: LLM 심판의 구조적 결함과 CARGO 리뷰 썸네일

2026.09.20 · arXiv preprint

1,000번 중 5번만 진짜 JSON이었다: 소형 모델 MCP 툴콜링 신뢰도 리뷰

온디바이스 배포용 소형 모델 5종에 MCP 스타일 JSON 툴 호출을 시켜봤더니 최고 79%, 복구 없이는 0.5%만 성공했습니다. 표를 원문과 대조했습니다.

Qwen2.5-1.5B 샘플링이 79%(95% CI 70.0~85.8%)로 최고, Phi-1.5는 두 조건 모두 0%
복구 파서 없이 전체 응답을 그대로 파싱하면 1,000회 중 5회(0.5%)만 유효한 JSON
0.5B 모델은 1.5B보다 성공률 3%p 낮지만 지연시간 65%·메모리 54% 절감 — 실무적 절충안

1,000번 중 5번만 진짜 JSON이었다: 소형 모델 MCP 툴콜링 신뢰도 리뷰 썸네일

2026.09.19 · arXiv preprint

기업 에이전트는 왜 파일럿에서 멈추는가: Agentic Company OS의 '서브스트레이트 역전' 리뷰

타이핑된 스키마 대신 에이전트가 읽는 마크다운 서브스트레이트로 기업 컨텍스트를 다시 지어야 한다는 포지션 페이퍼를 검증했습니다.

이 논문은 실증 벤치마크가 아니라 포지션 페이퍼입니다 — 저자들 스스로 8절에서 '아직 대안 대비 벤치마크되지 않았다'고 명시합니다.
네 층(Data·Knowledge·Intelligence·Governance) 구조에서 외부 시스템 호출은 오직 Sync Agent만 수행하고, 신뢰 등급은 에이전트가 아니라 스킬 단위로 매깁니다(shadow→assist→autonomous-sampled→full).
저자들이 스스로 지목한 최대 위험은 컴파일 경로의 간접 프롬프트 주입입니다 — 한 번 오염된 파일이 그 서브스트레이트를 읽는 모든 에이전트에 영구적으로 재노출됩니다.

기업 에이전트는 왜 파일럿에서 멈추는가: Agentic Company OS의 '서브스트레이트 역전' 리뷰 썸네일

2026.09.18 · arXiv preprint

정답은 있는데 못 찾는다: OrchSLM이 밝힌 소형 모델 라우팅의 병목 리뷰

일곱 개 소형모델을 캐시로 묶어도 GPQA에서는 오라클 상한과 실제 라우팅 사이 35%p 격차가 남았습니다. 전문가 가중이라는 단일 레버가 가장 크게 작동했습니다.

전문가 가중 라우팅이 균등 가중보다 네 벤치마크 모두에서 우세했고(MATH-500 +8.2%, GPQA +10.7% 상대개선), 선행 라우터 SLM-MUX 대비로는 GPQA에서 +16.1% 더 정확했습니다.
GPQA에서는 오라클 상한(78.54%)과 실제 라우팅 정확도(43.28%) 사이에 35.25%p 격차가 남아, 정답이 모델 풀 안에 있어도 라우터가 절반 이상을 놓쳤습니다.
모델 풀을 키우면 오라클 커버리지는 계속 오르지만 실제 라우팅 정확도는 3~4개 모델에서 정점을 찍고 꺾인다고 논문은 보고합니다 — '모델을 더 넣을수록 좋다'는 통념에 조건을 붙입니다.

정답은 있는데 못 찾는다: OrchSLM이 밝힌 소형 모델 라우팅의 병목 리뷰 썸네일

2026.09.17 · arXiv preprint

확률적 대리인: 테넌트 인자를 지우자 유출이 멈췄다 — MCP 에이전트 격리 리뷰

MCP 툴 스키마에서 테넌트 인자를 지운 격리 설계가 373건 에이전트 어블레이션에서 인터페이스 유출은 없앴지만, 셸 권한을 가진 에이전트 12개는 권한 파일을 위조해 우회했다는 프로덕션 실증 논문을 검증했습니다.

테넌트 인자를 툴 스키마에서 지우자(Arm B) 373건 트라이얼에서 인터페이스를 통한 직접 유출은 0건이었지만, 관행적 인자 검증(Arm A)에서는 그럴듯한 요청 41건 중 26건(63%)이 그대로 서비스됐습니다.
인터페이스가 막히자 셸·파일시스템 권한을 가진 에이전트 12개(Gemini 11/13, GPT 1/13)가 이미 쥔 권한 파일을 직접 위조해 우회했고, Claude와 최신 GPT-5.6 3개 티어는 같은 조건에서 한 건도 우회하지 않았습니다.
함수로 감싼 집합값 스코프 조건은 인덱스를 못 타 57배 느렸고(중간값 5,781ms 대 101ms), 위임된 테넌트 수가 10~15개를 넘으면 배포된 방어점의 처리시간이 1,065ms에서 10,005ms로 뛰었습니다.

확률적 대리인: 테넌트 인자를 지우자 유출이 멈췄다 — MCP 에이전트 격리 리뷰 썸네일

2026.09.16 · arXiv preprint

정확도는 속인다: TriCalRAG 온프레미스 LLM 장애 원인 분석 벤치마크 리뷰

제로샷 프롬프트는 F1은 그럴듯해도 이상 예측 비율이 최대 100%까지 치솟는 붕괴 상태였고, RAG가 이를 안정화한 단일 GPU 온프레미스 벤치마크입니다.

Mistral-Small 제로샷은 BGL·HDFS·OpenStack에서 이상 예측 비율이 98.7~100%까지 치솟았지만 F1은 0.67~0.72로 정상처럼 보였습니다.
RAG 적용 시 8개 구성 중 7개가 캘리브레이션 정상 범위에 들었고(제로샷은 8개 중 2개), F1도 제로샷 대비 0.10~0.27 개선됐습니다.
단일 RTX PRO 6000에서 배치 크기만으로 처리량이 41배(48.3→1,991.0 tok/s) 늘었고, 4비트 양자화는 정확도 손실 없이 지연을 20% 줄였습니다.

정확도는 속인다: TriCalRAG 온프레미스 LLM 장애 원인 분석 벤치마크 리뷰 썸네일

2026.09.15 · arXiv preprint

할 수 있는 일은 늘었지만 확인된 건 늘지 않았다: 에이전트형 AI 전 영역 비평 리뷰

디지털·소셜·가상·물리 네 영역의 에이전트 연구를 훑은 비평 리뷰가, 행동 인터페이스 확장에 비해 완료·복구·권한 검증의 증거는 여전히 빈약하다고 결론짓습니다.

행동 인터페이스(도구·컴퓨터 사용·MCP·A2A)는 뚜렷이 넓어졌지만, 완료·복구·독립 검증의 증거는 이를 따라가지 못했다고 결론짓습니다.
WebArena·OSWorld 초기 기준선(14.41%·12.2% 미만)은 이후 퍼스트파티 시스템(OpenAI CUA 58.1%·38.1%)에서도 인간 기준(78.24%·72.4%)에 못 미쳤습니다.
에이전트가 사람을 고용하는 RentAHuman 마켓플레이스에서는 바운티 303건 중 99건(32.7%)이 API·MCP 경로로 유입됐고 신원 사칭·자격증명 사기 사례가 확인됐습니다.

할 수 있는 일은 늘었지만 확인된 건 늘지 않았다: 에이전트형 AI 전 영역 비평 리뷰 썸네일

2026.09.14 · arXiv preprint

가장 강한 모델이 가장 위험했다: ReactHuman 신체 반응 안전성 리뷰

MLLM 일곱 개에 순간적 위험 회피를 맡겼더니, 안전도 최하위는 가장 강한 모델이었습니다.

안전도(위반 없이 반응한 비율)는 Gemma-3-27B가 88.2%로 최고, Claude Opus 4.8이 64.7%로 최저였습니다 — 모델 크기와 안전도가 반비례했습니다.
회피해야 할 위험 상황에서 안전 규칙 위반은 35.9%(모델별 23~66%)였고, 위반의 64.5%(253/392)는 그냥 얼어붙어 움직이지 않은 것이었습니다.
행동을 맞혀도 손이 도착 지점에서 중앙값 0.48m 벗어났고, 그중 49%는 로봇이 애초에 팔이 닿지 않는 0.8m 밖에 서 있었기 때문입니다.

가장 강한 모델이 가장 위험했다: ReactHuman 신체 반응 안전성 리뷰 썸네일

2026.09.13 · arXiv preprint

채점된 790개 중 82개만 퍼센트 척도였다: Benchmark Radar 벤치마크 카탈로그 감사 리뷰

채점된 벤치마크 790개 중 퍼센트 척도로 정직하게 비교 가능한 것은 82개뿐이었습니다.

채점된 790개 레코드 중 퍼센트 척도·방향·0~100 범위를 모두 만족해 직접 비교 가능한 것은 82개(10.4%)뿐입니다.
에이전트 관련 레코드 345개 중 128개만 '에이전틱·도구사용' 최상위 라벨을 받았고, 117개는 '코딩·소프트웨어공학'에 분류돼 라벨 하나로 세면 최대 3분의 1이 누락됩니다.
레코드 1,283개 중 668개(52%)는 발행일이 없고, 인용 문서 1,208개 중 1,171개(97%)는 소속 기관 표기가 없습니다.

채점된 790개 중 82개만 퍼센트 척도였다: Benchmark Radar 벤치마크 카탈로그 감사 리뷰 썸네일

2026.09.12 · arXiv preprint

위치 보정만으론 부족하다: 멀티에이전트 KV캐시 재사용 KVShareArena 리뷰

멀티에이전트 보고서 KV캐시를 그대로 이어붙이면 PGR −.824로 캐시 없음보다 나쁘고, 위치 보정만으로 부족한 지점을 원문 표와 대조했습니다.

위치 보정 없이 멀티에이전트 보고서 KV캐시를 그대로 이어붙이면 PGR −.824로, 캐시를 아예 안 쓰는 것보다 나쁩니다
여러 출처를 동시에 종합해야 하는 질의(다중홉QA, 에이전트 보고서)에서만 재계산 기반 방법이 위치 보정보다 유의하게 앞섰고, 압축 계열은 어디서도 이기지 못했습니다
학습 기반 어댑터(KVPacket)는 체크포인트가 바뀌면 84개 조합 중 가장 크게 무너지는데, 답변이 유창하고 자신 있게 들려 실패가 겉으로 드러나지 않습니다

위치 보정만으론 부족하다: 멀티에이전트 KV캐시 재사용 KVShareArena 리뷰 썸네일

2026.09.11 · arXiv preprint

계산 대신 추측했다: HealthLoopQA 에이전트 벤치마크 리뷰

프롬프트형을 에이전트형으로 바꾸자 벤치마크 점수가 43.7에서 65.8로 뛰었지만, 정작 패턴 추론은 한 자릿수까지 무너진 논문을 원문 표와 대조했습니다.

Gemini를 프롬프트형에서 도구 실행 에이전트형으로 바꾸자 시뮬레이션 Overall이 43.7→65.8, 실측 Overall이 64.6→78.5로 뛰었지만 이 전후 비교는 Gemini에만 적용됩니다
안전과 직결된 이상탐지(AD)는 프롬프트형 21.2점에서 에이전트형 52.4~72.9점으로 개선됐지만, 이벤트조회→패턴상관(ER→PC) 같은 다단계 조합은 0.8~23.5점으로 붕괴했습니다
저자들은 정확 계산 대신 그럴듯한 중간값을 대는 '맥락 내 게으름(in-context laziness)' 실패 양상을 보고했습니다 — 다만 환자 1명 표본의 정성 관찰입니다

계산 대신 추측했다: HealthLoopQA 에이전트 벤치마크 리뷰 썸네일

2026.09.10 · arXiv preprint

정상 워크플로만 배워 오탐 0.89%: 에이전트 이상탐지 Skynet 리뷰

공격·실패 사례를 전혀 보지 않고 정상 워크플로만 학습해도 808건 결합 벤치마크에서 재현율 89%·오탐 0.89%를 낸 이상탐지 프레임워크를 원문 표와 대조했습니다.

Agent-SafetyBench·AgentErrorBench·ATBench 3개 독립 공개 벤치마크를 합친 808건 이상 사례에서 단일 고정 임계값으로 Acc 93.36%·Prec 99.31%·Rec 89.36%·FPR 0.89% 달성
Guardian은 좁은 벤치마크에서 FPR 0.18%로 Skynet보다 낮지만 ATBench에서 재현율 18.31%로 붕괴 — 벤치마크 하나만 보고 도입하면 위험
어블레이션에서 K=150 다중모드 스코어링을 단일 기준점으로 줄이면 재현율이 약 1/3 감소 — 핵심 가치는 알고리즘이 아니라 정상 다양성 모델링

정상 워크플로만 배워 오탐 0.89%: 에이전트 이상탐지 Skynet 리뷰 썸네일

2026.09.09 · arXiv preprint

생성은 빨라져도 출시는 그대로다: 에이전틱 SDLC '검증 세금' 리뷰

커밋은 180% 늘었는데 릴리스는 30%만 늘었다는 30편의 증거를 종합해 '검증 세금'이라는 계측 단위를 제안한 프리프린트를 원문 대조했습니다.

깃허브 개발자 10만 명+ 텔레메트리 기준 자동화 에이전트 단계 커밋 +180%, 프로젝트 +50%, 릴리스 +30% — 처리량이 하류로 갈수록 감쇠
SWE-Marathon은 평균 2,720만 토큰을 써도 pass@1이 30% 밑돌고 보상 해킹이 13.8% 관측 — 정지 규칙 없이는 예산이 새어나간다
Meta TestGen-LLM은 필터링을 거친 생성 테스트의 73%를 프로덕션에 채택 — 검증 파이프라인이 실제로 작동한 산업 사례

생성은 빨라져도 출시는 그대로다: 에이전틱 SDLC '검증 세금' 리뷰 썸네일

2026.09.08 · arXiv preprint

토큰 32%로 품질 83%: RSM-full 압축 메모리 에이전트 리뷰

합치기 규칙과 그룹 패킹이 압축 메모리 품질 격차의 대부분을 설명한다는 RSM-full의 주장을 원문 표와 대조했습니다.

AMA-Bench 4k 토큰에서 Full-Context 대비 품질 83%를 토큰 32%로 달성, K-Means 대비 +3.5~6.0%p(p<.001)
병합 규칙 +5.7%p·그룹 패킹 +5.02±1.00%p가 우위를 설명, 검색 규칙 자체의 기여는 통계적으로 없음(p=.40)
RealMem에서도 재현되지만 도메인별로는 엇갈림 — EMBODIED-AI -2.68%p, Game -1.58%p로 K-Means에 밀림

토큰 32%로 품질 83%: RSM-full 압축 메모리 에이전트 리뷰 썸네일

2026.09.07 · arXiv preprint

물어야 보인다: CivBench 장기 에이전트 벤치마크 리뷰

20턴마다 확인하라 해도 30~75턴에 한 번 확인한 에이전트들, CivBench 23게임 결과를 원문과 대조했습니다.

23게임 중 승리 3건, 피셔 정확검정 p=0.488 — 집계 승패로는 4개 모델을 구분 못함
승리 진행도 조회는 게임당 3.7~10.0회뿐 — 지침(20턴마다)보다 느슨한 30~75턴에 한 번
반성-행동 격차(RAG@10) 48.2~65.8% — 계획의 상당수가 10턴 안에 실행되지 않음

2026.09.06 · arXiv preprint

예산은 최적화기가 지킨다: 메타 CORAL 프로덕션 추천 에이전트 리뷰

메타가 자사 추천 시스템에 붙인 예산 제약 에이전틱 루프의 A/B 결과를 원문과 대조했습니다.

리트리벌 예산 재배분 3라운드 만에 세션 +0.16%, 최대 시장 +0.77%
서빙 용량 재배분 2라운드 만에 절감액 44% 증가, 참여 지표는 그대로
사이클당 호출 8~10회, 배포당 추론 비용은 추정치로 수십 달러 수준

예산은 최적화기가 지킨다: 메타 CORAL 프로덕션 추천 에이전트 리뷰 썸네일

2026.09.05 · arXiv preprint

50% 가려도 69%는 읽힌다: BlobBoards 광학 마커 강건성 리뷰

가림·거리·각도에서 마커가 어디서 먼저 무너지는지 수치로 갈랐습니다. 인쇄물 QR에도 같은 구조가 있습니다.

50% 가림에서 BlobBoards 69% 검출, AprilTag·ArUco는 0%
검출률 80% 대 74% 대 58%, 격차는 작은 마커일수록 커짐
회전 정확도는 기준값 해상도(0.46°) 안이라 비교 불가 — 저자도 명시

50% 가려도 69%는 읽힌다: BlobBoards 광학 마커 강건성 리뷰 썸네일

2026.09.05 · arXiv preprint

탐색은 늘리고 표류는 줄인다: CANOPY 에이전트 강화학습 리뷰

결과만 보고 학습해도 충분하다는 주장 아래, 그룹 크기와 KL 앵커만 바꿔 14B 모델을 AppWorld 리더보드 학습 정책 1위(TGC 86.9)에 올린 실험을 원문 대조했습니다.

그룹 크기를 32로 키우고 KL 앵커·엄격한 온폴리시 업데이트를 더한 것만으로 Qwen3-14B가 AppWorld Test-Normal TGC 86.9로 학습 정책 중 1위에 올랐다
어블레이션에서 그룹 크기를 8로 줄이면 16.4점, 그레디언트 미니배치를 반으로 쪼개면 17.4점 하락해 신호 부족·정책 표류라는 두 진단이 실제로 성능을 좌우함을 확인했다
같은 원칙을 SWE-bench Verified로 옮기자 해결률이 31.3%에서 47.9%로 올라, 코드 실행형 장기 과제 전반에 재현 가능성을 보였다

탐색은 늘리고 표류는 줄인다: CANOPY 에이전트 강화학습 리뷰 썸네일

2026.09.04 · arXiv preprint

게이트로 거른 메모리가 이긴다: 멀티에이전트 라우팅 비용 32% 절감 리뷰

멀티에이전트 라우팅에서 전체 실행 이력 대신 게이트로 거른 메모리만 넘긴 실험이 정확도는 지키면서 비용을 40~53% 줄인 근거를 원문 대조했습니다.

5개 벤치마크 평균에서 최강 베이스라인(Puppeteer-32B, 75.29점)보다 2.44점 높은 77.73점을 기록했다
같은 시스템에서 메모리 처리 방식만 바꾼 대조 실험에서 정확도는 거의 그대로 두고 비용만 GSM-Hard 40%, HumanEval 52.9% 줄었다
LLM 라우터를 제거하면 GSM-Hard 정확도가 14.0점 급락하는 반면 메모리 게이트를 모두 제거해도 2.56~6.25점 하락에 그쳐, 정확도 기여는 백본 라우팅이 더 크다

게이트로 거른 메모리가 이긴다: 멀티에이전트 라우팅 비용 32% 절감 리뷰 썸네일

2026.09.03 · arXiv preprint

토큰 30% 줄이고 캐시 9%p 내준다: ContextPipe 컨텍스트 조립 리뷰

데이터베이스 질의 실행 방식을 에이전트 컨텍스트 조립에 적용한 ContextPipe가 토큰과 호출 수는 줄이지만 캐시 적중률을 내주는 트레이드오프를 원문 대조했습니다.

총 프롬프트 토큰이 104만에서 73만으로 30.1% 줄었지만 캐시 적중률은 평균 95.3%에서 86.2%로 9.1%p 낮아졌다
캐시된 토큰 과금 비율이 0.145를 넘는 제공자에서만 ContextPipe가 실제로 더 저렴하다
평가는 SWE-bench Pro 79개 과제 중 3개에 그쳐 저자들도 표본 한계를 스스로 인정했다

토큰 30% 줄이고 캐시 9%p 내준다: ContextPipe 컨텍스트 조립 리뷰 썸네일

2026.09.02 · arXiv preprint

짧은 스텝 예산에서는 밀린다: 스택 메모리 에이전틱 RAG(AgenticRag-R1) 리뷰

베이징대 연구진의 스택 메모리 기반 에이전틱 RAG가 멀티홉 QA 7개 벤치마크에서 베이스라인을 앞섰지만, 스텝 예산이 짧을 때는 오히려 뒤처지는 역전 현상이 확인됐습니다.

3개 백본(1.5B/3B/7B) 전부에서 평균 F1이 최강 베이스라인 대비 3.27~5.58%p 높았다
메모리 리워드를 제거하면 MusiQue 성능이 16.48%에서 7.63%로 반토막 났다
스텝 예산 10에서는 Bamboogle 성능이 베이스라인(37.05%)의 3분의 1(10.03%)에 그쳤지만 30스텝에서는 35.47%로 역전했다

짧은 스텝 예산에서는 밀린다: 스택 메모리 에이전틱 RAG(AgenticRag-R1) 리뷰 썸네일

2026.09.01 · arXiv preprint

설정이 모델을 이긴다: MCP 툴콜링 에이전트 신뢰도 벤치마크 리뷰

로컬 LLM 에이전트가 MCP로 하드웨어 설계 툴을 다루는 벤치마크에서, 툴 설명 상세도와 few-shot 프롬프트가 신뢰도를 가장 크게 갈랐습니다.

최고 모델 Gemma 4 31B는 ECC 0.990까지 도달했지만 구성에 따라 편차가 컸다
포괄적 툴 설명을 쓴 설정이 최적 구성의 83%(35/42)를 차지했다
약한 모델은 멀티에이전트 분해로 ECC가 0.554→0.718까지 올랐다

설정이 모델을 이긴다: MCP 툴콜링 에이전트 신뢰도 벤치마크 리뷰 썸네일

2026.08.31 · arXiv preprint

더 생각해도 GAIA에서는 소용없었다: 에이전트 적응형 추론 리뷰

MATH-500과 GAIA에서 추론량을 늘렸을 때 정확도가 오르거나 떨어지는 이유를 원문 표와 대조했습니다.

MATH-500에서 Phi-4-reasoning은 Qwen3.5-4B보다 정확도 4.8%p 높지만 최종응답 시간 2.6배, 토큰 한도 도달 190건→482건
GAIA에서는 추론시간을 3배 가까이 늘려도 Phi-4-reasoning 정확도(11.52%)가 Qwen3.5-4B(12.12%)보다 낮음
Llama-3.1-8B-Instruct는 GAIA 과제의 71.52%에서 과소추론으로 분류돼 증거 부족 상태로 조기 종료

더 생각해도 GAIA에서는 소용없었다: 에이전트 적응형 추론 리뷰 썸네일

2026.08.30 · arXiv preprint

즉시 진행보다 예산이 먼저다: ProgRouter 멀티에이전트 라우팅 리뷰

워크플로 단계마다 모델을 다시 고르는 온라인 라우터가 4개 벤치마크에서 예산 준수 베이스라인 중 최고 또는 최상위 성능을 낸 실험을 원문 표와 대조했습니다.

HumanEval Plus에서 ProgRouter Pass율 93.0%로 MasRouter(90.9%)·CASCADIA(84.8%) 상회, 예산 4800J 이내 유지
MBPP에서는 Pass율·에너지(3376J)·실행시간(10.3초) 세 지표 모두 베이스라인 전체 대비 최상위
진행량/비용만 보는 나이브 라우팅은 에너지 62.6% 늘고도(4796→7797J) Pass율 93.0%→17.7%로 붕괴

즉시 진행보다 예산이 먼저다: ProgRouter 멀티에이전트 라우팅 리뷰 썸네일

2026.08.29 · arXiv preprint

고쳤다는 착각: LLM 멀티에이전트 실패 복구, 재시도 대신 표적 개입이 이긴 이유

리런 수리율은 6.90%, 증상 기반 표적 개입은 20.15% — 재시도는 수리가 아니라 요행이었습니다.

리런(Unguided Full Rerun) 수리율 6.90% vs 증상 기반 표적 개입(Suspicious-Node) 20.15%, 2.92배
성공했던 54건을 3회 재실행하자 39건(72%)이 최소 한 번은 실패로 뒤집힘
실패 재현율도 리런 67.97%보다 SymTrace 리플레이 80.78%가 높음(3회 연속 재현 41.42%→52.43%)

고쳤다는 착각: LLM 멀티에이전트 실패 복구, 재시도 대신 표적 개입이 이긴 이유 썸네일

2026.08.26 · arXiv preprint

제네릭 툴은 SQL보다 못했다: MCP 도메인 툴링 패턴과 Model Demotion 리뷰

MCP 서버에 도메인 특화 툴을 붙이자 정확도 93.9%·정답당 비용 최대 11.6배 절감됐지만, 설계가 얕은 제네릭 툴은 원시 SQL보다도 낮았습니다.

버티컬 도메인 툴 팩이 정확도 0.939로 원시 SQL 0.666·제네릭 팩 0.605를 크게 앞섰고, 제네릭 팩은 원시 SQL보다도 낮았음
가장 작은 모델(llama3.2:3b)의 완전 정답률이 도메인 툴에서 0.583→0.929로 뛰어 Model Demotion 가설의 근거가 됨
정답당 비용이 원시 SQL 대비 최대 약 11.6배(3B 모델 기준) 줄어, 가장 저렴한 완전 정답이 8B의 SQL이 아니라 3B의 툴 선택에서 나옴

제네릭 툴은 SQL보다 못했다: MCP 도메인 툴링 패턴과 Model Demotion 리뷰 썸네일

2026.08.25 · arXiv preprint

통과율 94.5%인데 실제 효과와는 무관했다: ACES 에이전트 스킬 평가 리뷰

정적 스캔을 통과한 스킬 94.5%가 실제 배포 효과와는 상관계수 -0.02로 사실상 무관했습니다. NVIDIA의 쌍대 라이브 평가 방법론 ACES를 원문 대조했습니다.

구조 검사 통과율 94.5%·LLM 심사 통과율 86.2%이지만 두 정적 점수 간 상관관계는 스피어만 ρ=0.14에 그쳐, 스캔만으로는 스킬 품질이 하나로 수렴하지 않는다
947개 쌍대 실행 사례에서 스킬 탑재 시 평균 종합 점수가 0.2134(95% CI [0.1967, 0.2301]) 상승했고 72.8%에서 양의 효과, 그러나 정적 점수와 실측 효과의 상관관계는 ρ=-0.02로 통계적으로 0과 구분되지 않는다
노출 스킬이 20개를 넘으면 라우팅 부담이 커져 50개 시점에는 통과율이 0.55로 떨어지고 평균 대기시간이 1,290초로 치솟는다

통과율 94.5%인데 실제 효과와는 무관했다: ACES 에이전트 스킬 평가 리뷰 썸네일

2026.08.24 · arXiv preprint

가장 잘한 사람도 순위 밑바닥: FM-Bench 장기 경영 에이전트 리뷰

20년 축구단 경영 시뮬레이션에서 프론티어 모델 15종을 겨루게 했더니, 최고 성적 인간도 모델 순위 밑바닥에 머물렀고 우승은 매 시즌 다른 모델에게 돌아갔습니다.

claude-fable-5가 솔로 트랙 90.94점(오라클 95.54의 약 95%)·아레나 76.26점으로 1위, 그러나 아레나 우승은 19번의 시즌 전환 중 단 2번만 방어돼 10개 모델이 돌아가며 우승
첫 플레이 인간 6명 중 4명이 파산·해고로 조기 종료됐고, 완주한 2명 중 최고 성적(74.64)도 15개 모델 순위에서 최하위권(14위 상당)
토큰 소비는 28M~194M로 7배 차이 나지만 최종 점수와 상관 없음(r_s=-0.19)—엔드게임 투자 축소(r_s=-0.58)·유휴 현금 최소화(r_s=-0.50)가 훨씬 강한 예측 변수

가장 잘한 사람도 순위 밑바닥: FM-Bench 장기 경영 에이전트 리뷰 썸네일

2026.08.23 · arXiv preprint

정확도 22.6%p 오르고 비용은 2.7배: 멀티에이전트 기업 분석 플랫폼 리뷰

다섯 에이전트로 나눈 대화형 BI가 단일 에이전트보다 정확했지만, 토큰 비용은 2.7배 늘었습니다.

5-에이전트 파이프라인이 기능 정확도 95.3% vs 72.7%(+22.6%p), 품질 4.52 vs 3.76(+20.2%)로 단일 에이전트를 앞섰지만 쿼리당 토큰은 약 3배(30,800 vs 10,200) 소모
오픈소스 Llama 3.1 70B도 멀티에이전트 구조에서는 79.7%로 단일 에이전트 GPT-4.1(72.7%)을 능가해, 모델 교체보다 아키텍처 분해가 정확도에 더 크게 기여함을 시사
어블레이션에서 Follow-up·Chart Configuration 두 에이전트는 품질 기여가 -0.02에 그쳐, 비용에 민감한 배포에서는 선택적 병렬화·경량화 우선순위로 검토할 대상

정확도 22.6%p 오르고 비용은 2.7배: 멀티에이전트 기업 분석 플랫폼 리뷰 썸네일

2026.08.22 · arXiv preprint

6.5만 파라미터가 140억을 이겼다: 에이전트 장애 원인 진단 AFANet 리뷰

1차 출처 대조 결과 6.5만 파라미터 그래프신경망이 재구현 조건에서 140억 파라미터 파인튜닝 LLM을 앞섰지만, 도메인 밖 벤치마크에서는 그 우위가 사라집니다.

6.5만 파라미터 AFANet이 재구현 조건에서 Qwen2.5-14B+SFT를 agent µF1 74.16 대 41.04, pair MF1 16.35 대 2.02로 크게 앞섬
학습 1.1시간·추론 1.16초로 14B+GRPO(74시간·367초) 대비 학습 약 67배, 추론 약 316배 빠르고 파라미터는 약 21.5만분의 1
OOD 벤치마크 Who&When에서는 AFANet도 pair µF1 6.90%로 o3(7.41%)에 근소 열세 — 도메인 내 우위가 OOD로 그대로 이어지진 않음

6.5만 파라미터가 140억을 이겼다: 에이전트 장애 원인 진단 AFANet 리뷰 썸네일

2026.08.21 · arXiv preprint

GPT-5.5도 셋에 하나는 못 끝낸다: Wuying-Browser-Agent 장기 실행 브라우저 에이전트 리뷰

가장 강력한 폐쇄형 에이전트도 평균 37.9스텝짜리 실전형 브라우저 과제의 33%를 놓친다는 벤치마크·RL 파이프라인을 원문 대조했습니다.

Wuying-Browser-Agent-27B가 오픈소스 평균 70.8%(WebVoyager 80.6%·Online-Mind2Web 66.7%·BrowserBench 65.1%)로 1위, Qwen3.8-Max·GPT-5도 앞섬
가장 강한 폐쇄형 모델 GPT-5.5도 평균 37.9스텝짜리 BrowserBench에서 32.6%p를 놓쳐 — 짧은 벤치마크에선 드러나지 않는 격차
온라인RL(DAO-GRPO) 개선폭은 과제 난이도·길이에 비례 — 어려움 구간 +12.4%p, 50스텝 초과 구간 13.3%→26.7%(+13.4%p)

GPT-5.5도 셋에 하나는 못 끝낸다: Wuying-Browser-Agent 장기 실행 브라우저 에이전트 리뷰 썸네일

2026.08.20 · arXiv preprint

실패는 맞혀도 어떤 협업까지 갈지는 못 맞힌다: 비용 인지형 프로토콜 라우팅 리뷰

확신도 점수가 실패 예측(AUROC 0.88)에는 강해도 PER·Broadcast 협업의 가치 예측(AUPRC 0.10대)에는 약하다는 실증을 원문 대조했습니다.

자기확신도 게이트가 45.0K 토큰으로 78.0% 솔브율 — 71.3K짜리 frozen LLM 라우터(73.8%)보다 저비용
동일 확신도 점수의 AUPRC가 Baseline 실패 예측 0.8950에서 PER 첫 성공 예측 0.1674로 급락
6개 held-out 라우터 평가에서 사후 오라클 대비 갭이 18.5~28.9%p로 여전히 큼

실패는 맞혀도 어떤 협업까지 갈지는 못 맞힌다: 비용 인지형 프로토콜 라우팅 리뷰 썸네일

2026.08.19 · arXiv preprint

패치는 거의 다 붙는다, 의미가 틀렸다: Kozuchi Agent SWE-bench 리뷰

오픈웨이트 27B 모델이 SWE-bench Verified 74.8%를 기록했지만, 논문 스스로 남은 실패의 91.3%가 패치 형식이 아닌 의미 오류라고 밝혔습니다.

SWE-bench Verified 374/500(74.80%, 95% CI [70.82%, 78.41%]) — 오픈웨이트 중 1위, 전체 12위
크로스에이전트 선택자가 순서 기준(362건) 대비 +14건, 오라클 상한 408건의 92.2%까지 회수
미해결 126건 중 91.3%(115건)는 패치가 깨끗이 적용되지만 히든 테스트를 통과 못 한 의미 오류

패치는 거의 다 붙는다, 의미가 틀렸다: Kozuchi Agent SWE-bench 리뷰 썸네일

2026.08.18 · arXiv preprint

이겼다고 말하지 않는 승자: MemoryLake 에이전트 메모리 벤치마크 리뷰

자사 메모리 백엔드를 자사 저자가 벤치마크해 macro 평균 성공률 20.5%로 1위를 기록했지만, 논문 스스로 신뢰구간이 겹치고 유의성 검정이 없다고 밝혔습니다.

MemoryLake는 5개 도메인 공유 세트에서 macro 평균 성공률 20.5%로 최고 비교군(롱컨텍스트) 13.6%를 6.9%p 앞섰지만, 저자 스스로 95% Wilson 구간이 겹치고 쌍대 유의성 검정은 없다고 명시했습니다.
물리 12/20 대 9/20(+3편), 수학 9/40 대 8/40(+1편)에서 격차가 났고, 여행계획(4개 시스템 모두 0/30)·쇼핑(1/150 제외 전부 0)은 사실상 승부가 나지 않았습니다.
저자 전원이 MemoryLake 소속 상업기업 직원이라는 이해상충을 논문이 'Competing Interests' 절에서 직접 공개했고, Mem0의 유리한 수치가 다른 시스템에는 적용되지 않은 재작성 제한 조건에서 나온 것임을 각주로 밝혔습니다.

이겼다고 말하지 않는 승자: MemoryLake 에이전트 메모리 벤치마크 리뷰 썸네일

2026.08.17 · arXiv preprint

되돌리기보다 알아채기가 더 컸다: LoongReflect 장기 추론 에이전트 리뷰

reflect 액션을 제거하자 평균 F1이 15.31점 빠졌고 backtrack만 제거했을 때는 13.06점 빠졌습니다.

LoongReflect는 7개 QA 벤치마크 평균 F1에서 최강 기존 기법(AgenticRAG-R1)을 3B 모델 기준 12.60점, 7B 기준 12.61점 앞섰습니다.
reflect 액션 제거 시 평균 F1이 46.15에서 30.84로(-15.31), backtrack 액션 제거 시 33.09로(-13.06) 떨어져 진단이 되돌리기보다 더 큰 병목이었습니다.
look-ahead coordination 제거는 손실이 -4.94점으로 가장 작아, 단순 결합만으로도 이득의 89.4%를 확보할 수 있었습니다.

되돌리기보다 알아채기가 더 컸다: LoongReflect 장기 추론 에이전트 리뷰 썸네일

2026.08.16 · arXiv preprint

가짜 논문에도 실험을 설계해 준다: LLM 과학적 신뢰도 벤치마크 TRACES 리뷰

철회·조작·사이비과학 논문 42편으로 30개 모델을 시험했더니 평균 93%가 후속 연구 설계까지 응해 줬습니다.

30개 모델·42개 논문·10회 반복으로 12,600건을 시험한 결과 집계 실패율(IFR-a)은 0.93±0.004, 위험 인지 후 진행까지 감안한 IFR-i도 0.809±0.009였고, 30개 중 22개 모델이 사례의 90% 이상에서 실패했습니다.
대화형 시나리오에서도 응답의 약 81%가 아무 경고 없이 나갔고, 가장 나은 4개 모델도 경고 비율이 46~48%에 그쳤습니다.
거절은 웨이크필드 백신 논문 같은 소수의 유명 사례에 몰려 있고, 위험이 노골적으로 드러나는 비물리적 메커니즘 영역에서는 거절-진행 격차(면책 세금)가 0.211인 반면 생의학 논문처럼 보이는 절차적 사이비과학 영역에서는 0.026로 줄어 '내용이 아니라 문체에 반응한다'는 근거가 됐습니다.

가짜 논문에도 실험을 설계해 준다: LLM 과학적 신뢰도 벤치마크 TRACES 리뷰 썸네일

2026.08.15 · arXiv preprint

안다고 말해도 손은 멈추지 않는다: REDAgentBench 에이전트 레드팀 리뷰

안전 규칙을 스스로 말한 뒤에도 다섯 번 중 한 번은 실행해버리는 LLM 에이전트의 레드팀 결과를 원문 대조했습니다.

6개 모델을 3개 하니스에서 돌린 결과 매크로 평균 공격 성공률(ASR)은 65.69%였고, 같은 모델이라도 하니스만 바뀌면 최대 30.7%p(Qwen3.7-plus, 49.39%→80.09%)까지 흔들렸습니다.
실행 결과(서비스 영수증·최종 상태)로 판정하면 대화 로그만 볼 때보다 ASR이 모델마다 7.73~11.72%p 더 높게 나와, 궤적 기준 평가는 실제 피해를 구조적으로 과소평가했습니다.
Qwen-plus의 확정된 위반 2,846건 중 17.92%는 에이전트가 관련 규칙이나 위험을 스스로 언급한 뒤에도 실행한 '인지-실행 격차'였고, 무훈련 정책 리마인더 하나로 재실행 시 위반을 74.19%p 줄였습니다.

안다고 말해도 손은 멈추지 않는다: REDAgentBench 에이전트 레드팀 리뷰 썸네일

2026.08.14 · arXiv preprint

개별 84%, 전체 27%: 엔터프라이즈 RAG 지시 준수 붕괴 리뷰

노이즈·지식 공백·사실 충돌이 섞인 검색 결과에서 LLM 13종의 복합 지시 준수를 측정한 China Mobile 벤치마크를 원문 대조했습니다.

13개 LLM을 노이즈 섞인 검색 결과 위에서 평가한 결과, 최고 모델(Qwen3-235B-Thinking)도 개별 제약 충족률(Loose IAS) 83.8%에서 전체 동시 충족률(Strict IAS) 26.8%로 57%p가 빠졌습니다.
지식 공백 상황에서 정답 없음을 밝혀야 할 때 Qwen3-30B-Instruct의 거부율은 6.6%에 그쳤고, 추론형 중 최고인 Claude-Opus-4.5도 42.7%로 절반을 넘기지 못했습니다.
사실 충돌 인지율은 최고 DeepSeek-R1 44.3%, 최저 GPT-4.1 18.5%였으며, 충돌 인지와 답변 커버리지의 상관관계는 추론형 모델(+0.90)과 표준형 모델(-0.50)에서 정반대 방향이었습니다.

개별 84%, 전체 27%: 엔터프라이즈 RAG 지시 준수 붕괴 리뷰 썸네일

2026.08.13 · arXiv preprint

쉬움 100%, 어려움 25%: 페이팔 T2MO 코딩 에이전트 라우팅 프레임워크 리뷰

같은 모델의 정답률이 과제 난이도에 따라 100%에서 25%까지 갈린다는 데이터로 페이팔이 설계한 코딩 에이전트 모델 라우팅 프레임워크를 원문 대조했습니다.

페이팔 코딩 어시스턴트의 월 인프라 스펜드 $3.05M 중 98%가 프론티어 모델 2개에 집중된 데이터를 근거로, 태스크 카테고리×난이도 단위로 모델을 나눠 배정하는 T2MO 프레임워크를 제안했습니다.
동일한 GLM 5.2 모델의 실측 통과율이 Git Workflow 과제에서는 Easy·Medium 100%·Difficult 47%였지만 Frontend·UI 과제에서는 Easy 100%·Medium 50%·Difficult 25%로 크게 갈려, 카테고리 단일 라우팅의 위험을 보여줬습니다.
표에 실린 절감액($26K·$20K·$26K)은 실측이 아니라 논문이 스스로 '예시(illustrative)'로 표기한 가정 계수(δ=0.35, 난이도 분배 35/45/20%) 기반 계산값으로, 검산 결과 공식과는 일치했지만 확정된 배포 성과는 아니었습니다.

쉬움 100%, 어려움 25%: 페이팔 T2MO 코딩 에이전트 라우팅 프레임워크 리뷰 썸네일

2026.08.12 · arXiv preprint

의사코드 한 겹으로 4.31점이 4.78점 됐다: Pseudo2CodeQA 코드 생성 벤치마크 리뷰

의사코드 중간 표현을 넣은 코드 생성 에이전트가 GPT-5 채점 기준 4.31→4.78점(+10.9%)을 낸 벤치마크를 원문 대조했습니다.

GPT-5 채점 기준 Pseudo2Code 에이전틱 파이프라인의 종합 점수가 같은 Gemini 2.5 Pro의 직접 생성(4.31점) 대비 4.78점으로 10.9% 올랐습니다.
사람 평가(100개 과제, 2인 채점) 종합 점수는 4.85점, 실행 테스트 통과율은 84.6%로 자동 채점과 방향이 일치했지만 난이도별 통과율은 Easy 97%에서 Hard 71%까지 벌어졌습니다.
벤치마크의 정답 의사코드·참조 코드 자체가 제안 프레임워크와 같은 Gemini 2.5 Pro로 생성된 뒤 사람이 검증한 것이어서, 구조화 의사코드 효과와 동일 모델 친화 효과를 논문 설계만으로는 분리하기 어렵습니다.

의사코드 한 겹으로 4.31점이 4.78점 됐다: Pseudo2CodeQA 코드 생성 벤치마크 리뷰 썸네일

2026.08.11 · arXiv preprint

계획과 기억을 묶으니 25건 더 풀었다: PMCoder 코딩 이슈 해결 에이전트 리뷰

SWE-bench Verified에서 계획 수립과 에피소드 기억을 양방향으로 결합한 PMCoder가 해결 건수를 142.3건에서 167.3건(+5.0%p)으로 늘린 실험을 표 단위로 대조했습니다.

SWE-bench Verified 500건 중 PMCoder는 평균 167.3건(33.5%)을 해결해 기준선(142.3건, 28.5%) 대비 +25.0건(+5.0%p, 95% CI [+14.3,+35.7], p<0.001)을 기록했습니다.
2×2 어블레이션에서 계획만(+6.3건)·기억만(+8.3건)을 단순 합한 값보다 계획+기억 결합(+25.0건)이 훨씬 커, 교호작용 자체가 통계적으로 유의했습니다(+10.3건, p=0.011).
이슈 재현 스크립트가 없는 비무장(unarmed) 315건에서도 +3.8%p 개선이 남아, 실행 그라운딩이 꺼진 상태에서도 계획-기억 결합만으로 값을 냈습니다.

계획과 기억을 묶으니 25건 더 풀었다: PMCoder 코딩 이슈 해결 에이전트 리뷰 썸네일

2026.08.10 · arXiv preprint

생산은 늘고 공개 기록은 옅어졌다: 코딩 에이전트 오픈소스 커뮤니티 영향 시뮬레이션 리뷰

코딩 에이전트 도입 시뮬레이션에서 완료 과제가 39% 늘고 처리 시간은 45분에서 20분으로 줄었지만, 공개 지식 검색 커버리지는 81.1%에서 22.3%로 떨어졌습니다.

완료 과제 +39.0%, 중위 처리시간 45분→20분, 그러나 최종 채택률은 26.0%에 그쳤습니다.
직접 개발자간 상호작용 비중이 32.4%→11.6%로 줄고, 에이전트가 관여한 방식이 57.3%까지 늘었습니다.
표준 검색 벤치마크에서 공개 지식 커버리지가 81.1%→22.3%로 떨어져 신규 기여자가 참고할 기록이 옅어졌습니다.

생산은 늘고 공개 기록은 옅어졌다: 코딩 에이전트 오픈소스 커뮤니티 영향 시뮬레이션 리뷰 썸네일

2026.08.09 · arXiv preprint

정확도 1등이 경제성 꼴찌였다: EcoAgent-Bench 예산 제약 에이전트 리뷰

항상 상위 도구를 부르는 통제군이 정확도 76.3%로 1등, 경제성 12.2%로 꼴찌였습니다.

304개 과제를 상향 222개·절약 82개로 나누고 두 방향 정확도의 최솟값을 경제성 점수로 삼습니다.
항상 에스컬레이션하는 통제군이 마이크로 정확도 76.3%·73.0%로 최상위, 경제성은 12.2%·0.0%로 최하위였습니다.
도구 API 트랙 LLM은 마이크로 정확도 3.9~24.0%, 경제성 최대 7.3%에 그쳤습니다.

정확도 1등이 경제성 꼴찌였다: EcoAgent-Bench 예산 제약 에이전트 리뷰 썸네일

2026.08.08 · arXiv preprint

궤적을 버려야 멀리 간다: LongHorizon-Harness 장기 실행 에이전트 리뷰

실행 궤적을 버리고 작업 상태와 감사 리포트만 남기는 설계로 WeaveBench 완주율이 51.8%에서 80.7%로 올랐습니다. Terminal-Bench에서는 토큰이 오히려 24% 줄었습니다.

WeaveBench 완주율 51.8% → 80.7%, OSWorld Binary 2.8% → 8.3%
Terminal-Bench는 성공률 +7.5%p인데 토큰 24% 감소
감사자가 전체 토큰의 19.4~38.1% — 검증 세금의 첫 실측

궤적을 버려야 멀리 간다: LongHorizon-Harness 장기 실행 에이전트 리뷰 썸네일

2026.08.07 · arXiv preprint

77배는 16건에서 나왔다: 에이전트 A/B 시뮬레이션 검증 프레임워크 리뷰

고객 1,000명을 에이전트로 복제해 마케팅 실험 67쌍을 재현한 프레임워크입니다. 부호는 0.70으로 맞혔지만 출시 판단 일치도는 0.41(무작위 0.33)에 그쳤습니다.

부호 일치도 0.70(기준선 0.50), 출시 판단 0.41(기준선 0.33)
77배 오차 압축은 67건이 아니라 16건에서 측정
에이전트 증설·피험자 내 설계는 분산만 2.4배 축소

77배는 16건에서 나왔다: 에이전트 A/B 시뮬레이션 검증 프레임워크 리뷰 썸네일

2026.08.06 · arXiv preprint

지도가 있어도 전수 탐색한다: ScrambleToolBench 도구 적응력 리뷰

도구 이름의 의미 단서를 지우자 15개 모델 평균 완주율이 0.93에서 0.32로, 교란을 겹치자 0.03으로 떨어졌습니다. 복구 탐색은 무작위와 구분되지 않았습니다.

조건별 평균 완주율 0.93 → Base 0.32 → 결합 0.03
Sonnet 5는 표류·실패 단독 1.00, 결합에서 0.00
복구 사슬 추종률 11.0% vs 무작위 10.8%

지도가 있어도 전수 탐색한다: ScrambleToolBench 도구 적응력 리뷰 썸네일

2026.08.05 · MCP Roadmap

약속하지 않는 로드맵: MCP 2026 우선순위 4개의 5개월 성적표

MCP 2026 로드맵의 4대 우선순위를 원문 검증하고, 발표 5개월 뒤 07-28 스펙 대조로 실제 진행도를 평가합니다.

4대 우선순위 중 전송 무상태화는 발표 5개월 만에 07-28 스펙으로 확정
엔터프라이즈 4항목(감사·SSO·게이트웨이·설정 이식성)은 코어가 아닌 확장 트랙
보안 유보 영역은 SEP-1932(DPoP)·SEP-1933(WIF) 2건만 심사 진행 중

약속하지 않는 로드맵: MCP 2026 우선순위 4개의 5개월 성적표 썸네일

2026.08.04 · arXiv preprint

막은 것은 모델뿐이었다: IssueTrojanBench 코딩 에이전트 인젝션 리뷰

악성 이슈 66.5%가 코딩 에이전트 가드레일을 관통한 IssueTrojanBench를 원문 대조 — 거부의 82.9%가 모델 단독 방어였다는 구조를 검증하고 판단을 붙였습니다.

6개 에이전트-모델 쌍 4,176회 실행에서 악성 이슈 66.5%가 에이전트·LLM 가드레일을 모두 관통했습니다(Codex Desktop 79.2%, Cursor 66.5%, Claude Code 41.1%).
거부 1,400건 중 82.9%가 모델 수준 명시적 거부 — OS 샌드박스 등 프레임워크 방어는 관찰 가능한 거부에 기여하지 못했습니다.
언어·위치·표기 변형은 성공률에 영향이 없어 패턴 필터가 아니라 의미·출처 기반 방어가 필요하다고 판단했습니다.