SecAI 연구실 (지도교수 구형준, https://secai.skku.edu/)의 엄지용 학생 (박사과정)과 SoftSec 연구실 (지도교수 황성재, https://softsec.skku.edu/)의 Omar Abusabha 학생 (박사과정)이 연구한 "A Deep Dive into Function Inlining and its Security Implications for ML-based Binary Analysis" 논문이 보안분야 최우수학회인 The Network and Distributed System Security Symposium 2026 (NDSS '26)에 게재 승인되어 2026년 2월에 발표할 예정입니다.

함수 인라이닝(Function Inlining) 최적화는 컴파일러가 프로그램 성능을 향상시키기 위해 사용하는 대표적인 기법으로, 함수 호출 대신 해당 함수의 코드를 호출 지점에 직접 삽입함으로써 함수 호출에 따른 오버헤드를 줄입니다. 함수 인라이닝은 컴파일 과정 전반에 걸쳐 광범위하게 적용되며, 최적화 옵션을 비활성화한 경우(-O0)에도 일부 수행됩니다. 최근 바이너리 리버싱 작업을 지원하는 인공지능 모델들은 함수의 다양한 정적 특성에 크게 의존하고 있으나, 이러한 정상적인 인라이닝 최적화가 모델 성능에 미치는 영향에 대한 심도 있는 분석은 지금까지 충분히 이루어지지 않았습니다.

본 연구는 함수 인라이닝이 인공지능 모델이 활용하는 정적 특성을 크게 왜곡하여 성능 저하를 초래할 수 있으며, 난독화와 같은 복잡한 기법을 사용하지 않더라도 컴파일러의 기본 플래그만으로 공격자가 이를 의도적으로 악용할 수 있음을 보입니다. 이를 위해 먼저 LLVM 컴파일러 툴체인의 인라이닝 최적화 메커니즘을 분석하여 인라이닝에 영향을 미치는 컴파일러 옵션을 체계적으로 정리하고, 일반적인 최적화 수준보다 더 높은 인라이닝을 유도할 수 있는 옵션 조합을 도출하였습니다. 이후 바이너리 역공학, 악성코드 탐지 등 다섯 가지 인공지능 기반 작업을 대상으로, 총 20개의 인공지능 모델에 대해 실험을 수행하였습니다.

실험 결과, 함수 인라이닝은 일반적인 성능 최적화 기법임에도 불구하고 다양한 인공지능 모델의 성능에 직·간접적으로 상당한 영향을 미칠 수 있음을 확인하였습니다(예: 악성코드 탐지 우회). 특히 정적 특징에 크게 의존하는 모델일수록 인라이닝 최적화에 매우 민감하게 반응하였으며, 컴파일러 옵션을 미세하게 조정하는 것만으로도 모델의 탐지를 회피하는 바이너리 변종을 생성할 수 있었습니다. 또한 인라이닝 비율은 소프트웨어의 종류와 빌드 환경에 따라 크게 달라지며, 이는 인공지능 모델의 학습 및 평가 과정에서 암묵적으로 가정되는 데이터의 일관성을 훼손할 수 있습니다. 이에 본 연구는 이러한 요인을 반드시 고려해야 함을 강조합니다.

Abstract: A function inlining optimization is a widely used transformation in modern compilers, which replaces a call site with the callee's body in need. While this transformation improves performance, it significantly impacts static features such as machine instructions and control flow graphs, which are crucial to binary analysis. Yet, despite its broad impact, the security impact of function inlining remains underexplored to date. In this paper, we present the first comprehensive study of function inlining through the lens of machine learning-based binary analysis. To this end, we dissect the inlining decision pipeline within the LLVM's cost model and explore the combinations of the compiler options that aggressively promote the function inlining ratio beyond standard optimization levels, which we term extreme inlining. We focus on five ML-assisted binary analysis tasks for security, using 20 unique models to systematically evaluate their robustness under extreme inlining scenarios. Our extensive experiments reveal several significant findings: i) function inlining, though a benign transformation in intent, can (in)directly affect ML model behaviors, being potentially exploited by evading discriminative or generative ML models; ii) ML models relying on static features can be highly sensitive to inlining; iii) subtle compiler settings can be leveraged to deliberately craft evasive binary variants; and iv) inlining ratios vary substantially across applications and build configurations, undermining assumptions of consistency in training and evaluation of ML models.