[논문 리뷰] Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs (2025)

해당 논문은 기업에서 단독으로 peer-review 없이 작성되었기 때문에 주장하는 내용에 주의가 필요합니다.

Abstract

Phi-4-Mini는 3.8B 모델이면서도 DeepSeek 7B, 8B같은 모델을 이겼습니다. LORA를 통해 확장시킨 Phi-4-Multimodal 모델은 다양한 scenario (Vision+language, vision+speech..)에 간섭 없이 작동합니다.

Introduction

핵심 idea는 mixture of LORAs입니다. 기존의 언어 모델은 그대로 유지한 체 modality별 LORA를 적용하는 방안으로, 구체적으로는 vision 관련 task를 수행하는 LORA (vision+language, vision+speech)와 audio 관련 task를 수행하는 LORA (speech+language) 두가지의 LORA를 적재 적소에 사용합니다.

기존에는 각 모달리티별 구분되는 다른 모델을 사용해야 했습니다. 특히 해당 논문이 작성되기 이전 시점 qwen의 경우 qwen-vision, qwen-audio 이 두가지의 구분되는 모델로 multimodal task를 각각 수행해야 했습니다. 지금에 와서 보면 qwen에서도 해당 논문이 나오고 qwen-omni라는 multimodal 모델을 3주만에 출시하여 통합된 방법론을 제안했는데, 해당 논문과 비교하기에는 방향성이 달라 무시해도 괜찮을 것 같습니다.

또 한가지의 장점은 파라미터 수에 비해 퍼포먼스가 좋다는 점이 있습니다. 이 외의 나머지 장점들은 특정 파트에서 성능이 좋다를 강조하는 것이므로 생략하도록 하겠습니다.

Methodology

200,264개의 vocab size를 가진 o200k_base tiktoken 토크나이저를 사용하고, 다중언어를 지원합니다. 모델 전반적인 구조는 transformer의 디코더만을 사용하며 (단일 transformer layer 여러개 이후 바로 prediction) LongRoPE를 통한 128K context length를 지원합니다.

Language model architecture

전체 구조는 decoder만 있는 32개의 transformer layer로 3,072의 hidden state size를 공유합니다. Group Query Attention을 통해 key, value memory를 최적화하며 24 query heads, 8 key/value heads를 가지고 있습니다. 또한 fractional RoPE를 적용했고, 선행 연구에 의해 밝혀진 최적의 learning rate를 찾는 공식을 사용하였습니다.

Multimodal model architecture

만약에 새로운 모달리티를 지원하기 위해 기본 언어 모델을 학습시킨다면 언어 대답의 성능이 저하되는 현상이 여럿 보고되었습니다. 따라서 기존 연구들은 기존 언어 모델은 그대로 두고 cross attention layer를 추가하거나 (LLama-vision) hybrid network를 추가하기도 하였습니다. 하지만 여전히 전체 학습 이후에 실제 사용시 정렬이 필요한 등의 문제가 남아있었습니다.

이런 문제를 해결하기 위해 저자는 mixture of LORAs의 기술을 도입하였습니다. 결과적으로 이를 통해 기존 언어 모델의 능력을 유지하면서도 image에 대한 질의 응답, 비디오 질의 응답, 사진-음성 과제, 음성 인식등 다양한 과제를 수행할 수 있게 되었습니다. → mixture of LORA에 대한 구체적인 설명은 본문에 나오지 않습니다. 실제로 코드를 분석해본 결과 mixture of experts처럼 gating network를 사용한 LORA의 결합은 아니고, 그냥 audio를 사용할때, vision을 사용할때 각각 독립적인 lora를 활성화 시키는 것을 mixture of loras로 명명한 것으로 보입니다.

Vision Modality

LLM2CLIP으로 사전학습된 SigLIP-400M을 Vision Encoder로 사용하였습니다. 그 이후에 모든 Language model layer에 LORA 레이어를 추가하였고, transformer 입력에 crop size가 36이 넘지 않도록 이미지를 수정하는 과정도 포함되었습니다.

Speech/Audio Modality

80-dim의 log-Mel filterbank를 input으로써 사용하고, 사전학습된 conformer 모델을 사용하였습니다. 마찬가지로 모든 layer에 LORA 레이어를 추가해 audio 관련 task를 수행할 수 있도록 학습하였습니다.

Training

Vision training의 경우 projector만 학습 → projector + encoder 학습 → LoRA + projector + encoder 학습 → multi-frame 데이터로 LoRA + Projector만 학습 순으로 진행되었습니다.

Audio training의 경우 사전 학습/사후 학습 두가지 단계로 나눠집니다. 사전 학습 단계에서는 발화 인식 (speech recognition) 데이터를 통해 encoder와 projector만을 업데이트 합니다. 이때 모델의 초기화 또한 미리 ASR에 학습되어 있는 모델을 사용하였습니다. 사후 단계에서는 encoder를 freeze하고 audio projector와 lora를 업데이트 하였는데, 이때는 음성 요약등 다양한 데이터셋을 사용하였습니다.

Vision-Speech training의 경우 먼저 나머지는 다 얼리고 vision lora 및 projector를 학습시켰습니다.

Reasoning training은 먼저 1) 최신 frontier 모델의 추론 내용을 바탕으로 사전 학습을 하고 2) 고품질의 사람이 직접 선정한 CoT 샘플들을 학습한 다음 3) 직접 추론 결과를 확인하면서 Roll-Out DPO를 수행하였습니다.

Results

먼저 13개의 Single image-language benchmark, 2개의 multi image/video-language benchmark, 4개의 vision-speech benchmark에 대해 평가를 수행한 결과 모든 상황에서 기존의 phi-3.5에서 발전된 모습을 보여주었고, 동급의 소형 모델들보다 평균적으로 더 좋은 성능을 보였습니다. Gemini 2.0 Flash, GPT-4o보다는 성능이 낮았지만 일부 벤치마크 항목에서 더 좋은 성능을 보였습니다. 특히 vision-speech 벤치마크에서는 Gemini 2.0 Flash보다 모든 벤치마크에서 더 좋은 성능을 보였습니다.

Audio 관련 Task는 speech to text (ASR), speech translation (AST), spoken query question answering (SQQA), speech summarization (SSUM), audio understanding (AU)이 있었습니다. 해당 Task들에서도 동급 모델보다는 위, closed model보다는 살짝 아래 정도 수준의 성능을 보였습니다. 특히 Automatic Speech Recognition 성능에서 해당 보고서 작성 당시 huggingface sota를 찍는등의 적은 파라미터로 탁월한 성능을 보였습니다.

Language benchmark의 경우 자연어 인식, 수학 추론, 코딩등의 벤치마크로 평가를 수행했습니다. 그 결과 동급 모델과 비슷하거나 살짝 높은 수준의 전반적인 성능을 기록했습니다.

그리고 조금 놀란게 Safety alignment와 관련된 벤치마크도 있고, 여기서도 경쟁을 하여 동급 모델을 이긴 내용을 보고했습니다. 안전에 대한 경쟁이 이루어지는지는 몰랐는데 좋은 방향성인것 같았습니다. Language, vision, speech에 대한 안전 검증을 진행했습니다.

Limitations

결국 용량의 한계로 coding 능력과 multilingual data간의 trade-off가 존재했습니다. 한쪽을 늘리면 다른쪽의 benchmark 성능이 낮아졌다고 합니다.