📝 발표 요약

• 조승환
  • 논문 주제 및 핵심 내용 요약 (3~5줄)
• 백단익
  • 범용적인 Muti-Agent 협력 프레임워크를 제안함.
  • 다양한 태스크(이해추론, 코딩, 등)에서 멀티 에이전트 시스템으로 문제를 풀어 간 것이 좋은 성능을 보임.
  • 에이전트 간 상호작용으로 emergent behavior를 관찰할 수 있었음. 이는 llm이 가진 잠재/출현 능력으로 발생한 재미있는 현상으로 보임.

🔍 회고 & 피드백

백단익 느낀점 -Agent에 대해 조금 더 자세히 알게 된 느낌이었으며, 아직 멀티 Agent에 대한 연구가 많이 이루어지지 않은 것도 의외었음. 다른 도메인에 잘 적용할 수만 있다면 도메인 특화로 하여 논문화를 할 수 있는 블루오션 토픽 중 하나라고 생각함. 배운점 -세상이 확실히 너무 빠르게 진화하고 있는 느낌이 들었고, 공부해야할 것이 아직 너무도 많다는 생각이 들었음. 개인적으로 생각보다는 Agent의 개념을 적용하기 어렵지 않다는 느낌을 많이 받아서 추후 연구에 적용할 수도 있을 것 같음. 개선할점 -사실 요즘 Agent에 대한 개념이 많이 나오고 있는 상황이라 애매할 수도 있는데, 배경을 조금 더 설명했었으면 발표랑 논문을 이해하는데 더 많은 도움이 되지 않았을까하는 생각이 들었음. | | 백단익 | 조승환

• 데이터를 선택하는 연구 자체가 낯설었음. 중복 데이터를 판별하기 위해 기울기 기반으로 변화량에 따라 데이터를 측정하는 접근법이 인상 깊음. 다만 submodular함수가 각 하위 집합 데이터를 식별하기 위해 활용된다고 했는데 하위 집합을 3가지로 나눈 것 자체가 범용적이지 못한 것 같아 아쉬움. LLM에 대량의 데이터를 추가적으로 학습 시키는 것에 제약이 많아서 다양한 연구 흐름들이 있는 것을 알고는 있었는데, 데이터 선택에 대한 연구 방향이 있다는 것을 새롭게 알게 되어 좋았음.

백단익

• 본 논문은 배경 설명 없이 가장 끝 단의 개념과 주제에 대해 다뤘음. 그래서 스킵 된 중간 단계 개념을 다루지 못해서 설명에 아쉬움이 남음. 이번 논문 리뷰에서 multi-agent논문보다 agent관련 논문을 먼저 다루고, 본 논문 리뷰를 했다면 나 스스로도 이해가 더 쉬웠을 것 같음. | | 박재현 | 조승환
• 데이터 양을 늘리기 위해 여러가지 기법을 공부한 적은 있어도, 데이터가 어느정도 확보된 상황에서 고품질의 데이터를 확보하기 위해 필터링을 하는 방법은 처음 보는 방법이어서 새로운 관점의 기술을 배운 것 같음.
• 또한, 그 과정이 수식으로 증명되어 있어 고품질의 데이터의 중요성을 정확하게 이해할 수 있었음.
• 다만, 아직은 데이터를 최대한 많이 확보하는게 먼저 고려되어야 하는 단계라고 생각함.

백단익

• AI Agent에 대해 추상적인 개념으로만 알고 있었지만, 오늘 세미나 및 발표자님 덕분에 기초 기반을 다질 수 있었음.
• 개인적인 생각으로는 Agent의 중간 과정에 대한 평가가 필요하다고 느낌. 오로지 결과만을 가지고 평가하는 것은 강화학습의 Reward hacking과 같은 일이 벌어질 수 있다고 생각함. | | 양유진 | 조승환
• 단순히 무조건 데이터 양을 늘리는 것보다 오히려 정보가 풍부하고 중복이 적은 샘플을 선별하는 것이 모델 성능에 더 큰 영향을 준다는 점 결국에 데이터의 질(본 논문에서 말하는 문맥)이 성능에 미치는 영향을 알려주었던 논문이었다.
• 수식으로 풀어서 모델 크기에 따른 민감도 차이와 같은 것도 다른 논문을 참조해가며 알려주었던 부분이 이해가 잘 되었다.
• 논문 자체의 내용은 좋았다고 생각했다. 발표자도 동일한 점을 지적했었는데, 수도 코드가 있긴 했지만 역시 시각적으로 보이는 전체 프레임워크 figure가 없었던 점이 아쉬웠다. 발표자료에서라도 프레임워크를 그려주었다면 자료설명이나 이해측면에서 좋았을 것 같다고 생각했다.

백단익

• 실무적으로 어떻게 적용되는지에 대한 구현에 초점을 맞춘 내용은 살펴볼 기회가 많진 않았는데 요즘 핫한 주제인 agentic한 내용을 다루어서 좋았다.
• 특히 개발자가 특정 군집을 제시한것도 아닌데 LLM이 자율적인 판단을 통해 알아서 유형이 클러스터링 되어진 점이 가장 인상깊었다.
• 추후 나의 agentic 연구에 적용한다면 Destructive behavior 가 등장하지 않도록 조절하는 연구가 반드시 필요할 것 같다고 생각했다. | | 김민주 | 조승환 -모델에대한 방법론 보다 데이터 자체에 대한 내용이 신기하고 새로웠다. -당연히 모델만 건들이고 거기서 새로운 방안을 생각해보자 하는 생각이 고정관념처럼 있었는데, 이걸 깨게 되는 생각의 전환이 들었다.

백단익 -요즘에 하도 많이 AGENT를 언급해서 단일 Agent를 어떻게 사용해볼까만 생각해 보았는데, 다양한 agent를 사용해보는 새로운 방향이라 신선했다. -무조건 새롭고 성능 높인 그런 주제들만이 학회에 실릴 수 있다고 생각했는데, 바로 실무에 적용되는 사례로 논문에 accepted 된것이 또 다른 논문주제를 생각해 보게되는 계기가 되었다. | | 김진웅 | 조승환

• 기존에는 데이터는 많으면 많을수록 좋다고 생각해서, 데이터가 충분한 상태에서도 증강을 더 해서 실험하곤 했는데, 이번 논문은 오히려 데이터가 충분할 때 중복되는 데이터를 줄여서 성능을 더 끌어올린다는 점이 좀 신기했다.
• 텍스트 데이터가 아니라 이미지로 LLM을 파인튜닝할 때는 이미지 토크나이저를 따로 쓴다는 걸 이번에 새로 알게 됐다.

백단익

• LLM에 집단 지성을 결합해서 협력적 문제 해결을 수행한 게 흥미로웠고, 단일 LLM을 단독으로 사용할 때보다 답변 품질이 좋아진 것도 신기했다.
• 사용자의 목표 task를 해결하기 위해 역할을 부여하는 것도 사용자가 직접 지정하는 게 아니라, LLM이 자체적으로 역할을 생성해서 알아서 협력 구조를 만드는 end-to-end 방식이라는 점이 흥미로웠다. | | 김유진 | 조승환
• 데이터가 풍족한 거보다 부족한 분야가 많은데 이때 증강에만 초점을 맞출 것이 아니라 데이터의 질에 중점을 두는 것도 또하나의 방법이 될 것 같았다. 백단익
• 여러 논문에서 제안한 방법론은 현업에서 바로 구현하기 어려워 실용성이 떨어졌지만 본 논문은 즉시 구현 가능한 형태로 제시되어 큰 기여를 한다고 생각한다. | | | |