Seminar Reflection 3회차

📝 발표 요약

김진웅 발표 요약
- 이 연구는 LLM을 활용해 NASDAQ-100 주식의 주간/월간 수익률을 예측하고, 그 근거를 자연어로 설명하는 시스템을 제안함.
- 시계열 데이터와 기업 뉴스 정보를 통합하고, Cross-sequence reasoning 및 Chain-of-Thoughts를 적용해 예측과 설명을 동시에 수행함.
- GPT-4 Fewshot + COT이 가장 뛰어난 성능을 보였으며, Open LLaMA도 파인튜닝을 통해 유사한 성능을 달성함.
김민주 발표 요약
- 이 논문은 사전학습된 언어모델(예: T5)에 대해 모델 전체를 수정하지 않고, 입력 앞에 붙는 soft prompt 벡터만 학습하는 Prompt Tuning 기법을 제안함.
- 전체 파라미터의 0.01% 미만만 학습함에도 불구하고, 특히 모델이 클수록 full fine-tuning에 가까운 성능을 보여줌
- 또한, 이 방식은 도메인 전이 상황에도 강건하고, Prompt Ensembling이나 해석 가능성 측면에서도 높은 가능성을 보였음
- 결과적으로 Prompt Tuning은 효율성과 성능을 동시에 만족시키는 대규모 모델 활용 방식으로 주목받음

🔍 회고 & 피드백

이름	오늘 느낀 점 / 배운 점 / 개선할 점
김진웅	느낀 점

주가 예측에 최초로 LLM을 적용한 연구라 흥미롭게 읽었음. 하지만 해당 논문의 방법론은 주가 예측 분야에 특화된 모델을 개발했다기보다는 단순히 LLM이 유행하자 급하게 적용한 듯한 느낌이 들었음. 이번 논문을 계기로 최신 LLM 기반 주가 예측 연구들을 더 찾아봐야겠다고 생각했음.

배운 점

LLM 관련 연구 경험이 없어서 기본적인 지시 튜닝이나 zero-shot/few-shot 학습 방식 조차 잘 몰랐는데, 해당 논문을 준비하면서 LLM의 기본 개념을 공부할 수 있어 유익했음.

개선할 점

이번에 발표한 논문은 내용이 다소 간단했기 때문에, 다음에는 더 심도 있는 논문을 선택해서 리뷰해야겠다고 생각했음. | | 김민주 | 느낀점: 논문을 읽고 준비하면서 생각보다 어려움을 느낌. Prompt 튜닝하는 방법의 시초가 되는 논문으로 이를 기반으로 다양한 prompt 관련 논문을 더 읽어봐야겠다고 느낌. 배운점: soft prompt는 모델 입력 앞에 붙는 학습 가능한 벡터로, 모델 구조는 고정한 채 task 적응이 가능함. T5의 span corruption은 prompt tuning에 불리할 수 있으며, LM adaptation 같은 보완이 필요함. 전체 파라미터의 0.01%만 학습하면서도 GPT-3 수준을 넘는 성능을 달성할 수 있다는 점에서 parameter-efficient 방법론의 잠재력을 실감함. Prompt Ensemble / Transferability / Interpretability → 단순한 tuning 기법 이상으로 확장 가능하다는 것을 배움 개선할점:발표를 좀 더 매끄럽게 준비해야할 필요성을 느낌 | | 박재현 | 김진웅 시계열 데이터에 LLM을 접목시킨 연구를 처음봐서 흥미로웠음, 단, 아직은 정확하게 LLM으로 어떻게 시계열성을 파악하고 주가 예측 등을 하는지에 대한 구체적인 시계열 데이터만의 방법은 아닌 것 같음을 느낌. 추후 시계열 특화 LLM 방법론 개발도 흥미로운 연구 주제가 되지 않을까 생각이 듦.

김민주 PEFT 중 prompt tuning을 알고는 있었지만 이 방법론의 논문 원문을 보면서 어떻게 모델을 학습시키고 어떤 테스트를 진행했는지 알 수 있는 시간이었음. | | 양유진 | 김진웅

금융 시계열 분야에서 역시 LLM의 포텐셜이 있구나와 LLM이 요즘 많이 쓰이는구나를 다시 느꼈음 기존 ARMA-GARCH나 LightGBM 대비 cross-sequence reasoning, multi-modal 통합, explainability, CoT 를 적용해서 입증했다는 점이 좋았음 의미있음
연구 완성도를 높이려면 더 다양한 baseline과 ablation 실험, 거기에대한 설명의 질적 평가와 추가적인 데이터셋 실험으로 일반화가 더 필요할 것같음

김민주

파라미터 효율성을 극대화하면서도 대형 모델에서 fine-tuning 수준의 성능을 낸다는 점이 인상적이엇음
실험이 여러가지로 진행되어 설득력이있었던것 같음
각 요소별 분석(길이, 초기화, 사전학습 등) 실험 설계가 체계적이고 구체적임
영어권말고 다른언어에 대한 부분을 실험으로 검증하지 못한 점이 아쉬움. | | 조승환 | 김진웅 느낀점 & 배운점 -학회에서도 special track으로 다양한 분야, 토픽에 대해서 논문을 받는 것으로 알고는 있었는데 금융 쪽은 처음이라 상당히 신선했음. -당연히 노력했겠지만 생각보다는 투자 대비 효율이 좋은 논문이라는 생각이 들었고, 도메인 특화에서는 최초로 시도한 것들이 상당한 novelty를 가진다는 것을 다시 한번 느낄 수 있었던 논문이었음. -개인적으로는 논문에서 여러 샘플들을 보여주고 있지만 보여주는 샘플에 비해 샘플을 디테일하게 설명하는 부분이 많이 없는 것 같아서 아쉬웠음. 개선할점 -금융쪽 용어 설명이 사전에 약간은 필요해보임. 금융을 해본 사람이 많이 없어서 생소한 용어 설명을 간단히 해주면 이해하는데 많은 도움이 될 것으로 보임. ****-내용보다는 발표하는데에 있어서 대본을 쓰는 것은 좋지만, 추후에는 너무 의지하지 않는 것을 권장함. 전체적인 틀을 잡는 것 정도로만 대본을 사용하고 발표자료를 보면서 발표하는 게 필요함. 김민주 느낀 점 & 배운 점
지금 정립되고 있는 개념들의 시초적인 논문이라는 생각이 들었고, 내가 알고 있는 개념과 비교할 수 있었음. 스스로 용어정리가 된 느낌이 들었음.
전체적으로 논문의 내용은 좋았지만, 약간 디테일한 설명이 아쉬웠다는 설명이 들었음(ex. Few-shot, Zero-shot; Few-shot이면 몇개의 shot을 주었는지 등) 개선할 점
시간이 지나면서 용어의 경계가 모호해지기도 하고 확실해지기도 하는 현재 LLM 분야이다보니 어렵겠지만 용어 정의를 조금 더 명확하게 해서 설명해주면 이해하는데 많은 도움이 될 것으로 보임 | | 김유진 | 박진웅
시계열 데이터는 수치로만 이뤄여야 한다고 알고 있었는데 그게 아니라 ‘시간 인덱스가 붙은 관측값의 순서’ 데이터를 말한다는 것을 알게 되었다.

김민주

이 논문 또한 ablation study가 잘 구성되었다고 느꼈다.
도메인 특화 분야나 적은 컴퓨팅 비용으로는 모델과 prompt를 같이 학습시키는 방법이 진짜로 도움될 것 같다. | | | |