난독증 학습자들이 읽기, 쓰기, 정리 등 학습 관련 작업에 인공지능(AI) 도구를 점점 더 많이 사용하고 있지만, 이들이 AI 도구를 실제로 어떻게 경험하고 있는지에 대한 깊이 있는 연구는 부족했습니다. 이러한 간극을 메우기 위해 'DysLexLens'라는 새로운 저자원 대규모 언어모델(LLM) 프레임워크가 제안되었습니다. DysLexLens는 온라인 포럼의 방대한 논의를 분석하여 난독증 학습자들의 AI 활용 경험에 대한 귀중한 통찰을 얻는 것을 목표로 합니다.
DysLexLens는 잡음이 많은 소셜 미디어 게시물을 사전 기반의 정제된 코퍼스(corpus)로 변환하고, 지식 그래프(Knowledge Graph, KG) 기반의 질의 추론을 제공하며, 검증 가능한 답변을 생성하는 종단 간(end-to-end) 아키텍처로 설계되었습니다. 이 프레임워크는 네 가지 핵심 기능을 가집니다. 첫째, 사전 기반 필터링을 통해 난독증과 AI 관련 레딧(Reddit) 데이터를 집중적으로 수집하여 저자원 포럼 데이터의 관련성을 높입니다. 둘째, LLM 기반의 의미론적 분석과 지식 그래프 기반 질의 추론을 결합하여 의미 있는 패턴을 찾아냅니다. 셋째, RAGAS 및 질의 견고성(Query Robustness)과 같은 정량적 평가 지표를 통해 LLM 생성 응답의 성능을 측정합니다. 마지막으로, 환각(hallucination) 현상과 증거 일치 여부에 중점을 둔 구조화된 정성적 검증 가이드라인을 제공하여 응답 품질을 평가합니다.
연구팀은 난독증 관련 레딧 포럼 데이터와 30개의 질문을 활용하여 DysLexLens의 효과를 입증했습니다. 그 결과, 이 프레임워크가 다른 저자원 포럼 데이터 맥락에서도 일반화될 수 있는 잠재력을 보여주었습니다. DysLexLens는 난독증 학습자들이 AI 도구를 사용하면서 겪는 어려움과 성공 사례를 체계적으로 분석하여, AI 개발자들이 난독증 커뮤니티에 더 적합한 도구를 만들 수 있도록 돕는 중요한 기반이 될 것입니다. 또한, 난독증 학습자 본인과 그들을 지원하는 교육자 및 가족들에게도 AI 도구 선택과 활용에 대한 실질적인 정보를 제공할 수 있을 것으로 기대됩니다.