AI요약

오픈 챗봇 플랫폼에서 증가하는 유해 언어는 사용자 경험을 저해하고 챗봇의 학습에 악영향을 미치는 심각한 문제입니다. 기존의 감지 기술로는 의도적인 오타나 변형된 표현, 그리고 문장의 미묘한 뉘앙스에 담긴 유해성을 정확히 파악하기 어려웠습니다. 본 기술은 이러한 한계를 극복하기 위해, 챗봇 대화 데이터를 마스킹 처리하여 문장 임베딩을 생성하고 이를 기반으로 기계 학습 모델을 훈련합니다. 특히, 공격적인 단어뿐만 아니라 문맥과 어조를 학습하는 대조 학습 알고리즘을 적용하여, 사용자가 의도적으로 변형한 유해 표현까지도 효과적으로 감지합니다. 이 기술을 통해 챗봇 플랫폼의 건전한 대화 환경을 조성하고 사용자 안전을 보장할 수 있습니다.