보안 기업 스닉(Snyk)이 대규모 언어모델(LLM)이 생성한 자바스크립트(JavaScript) 코드의 보안 취약점을 반복적으로 테스트하고 검증할 수 있는 새로운 벤치마크인 '스닉 벌른벤치 JS 1.0'(Snyk VulnBench JS 1.0)을 발표했습니다. 이는 개발자들이 LLM 기반 코딩 도구를 사용할 때 발생할 수 있는 잠재적인 보안 위험을 보다 객관적으로 평가하고 개선할 수 있도록 돕기 위한 첫걸음입니다.
'스닉 벌른벤치 JS 1.0'은 LLM이 생성한 코드에서 발견되는 다양한 유형의 보안 취약점을 식별하고, 특정 취약점이 얼마나 일관되게 재현되는지를 측정하는 데 중점을 둡니다. 이 벤치마크는 자바스크립트 환경에 특화되어 있으며, 실제 공격 시나리오를 반영한 테스트 케이스를 포함하고 있습니다. 이를 통해 개발팀은 자신들이 사용하는 LLM 도구가 얼마나 안전한 코드를 생성하는지, 그리고 어떤 부분에서 개선이 필요한지 구체적인 데이터를 얻을 수 있습니다.
이번 벤치마크 출시는 소프트웨어 개발 과정에서 LLM의 활용이 급증하면서 제기되는 보안 문제에 대한 업계의 인식을 높이는 중요한 계기가 될 것입니다. 개발자들이 LLM의 생산성 향상 이점을 누리면서도 보안 위험을 최소화할 수 있도록 돕는 도구와 기준의 필요성이 커지고 있기 때문입니다. 스닉의 이번 발표는 LLM 기반 개발 생태계의 신뢰성을 높이고, 궁극적으로 더 안전한 소프트웨어 개발을 촉진하는 데 기여할 것으로 보입니다.