0차 악플 탐지기 제작

스마일게이트의 악플 데이터셋과 KcBERT를 이용하여

• KcBERT

  https://colab.research.google.com/drive/1dFC0FL-521m7CL_PSd8RLKq67jgTJVhL?usp=sharing

• 스마일게이트 악플 데이터셋 (25,000개)

  GitHub - smilegate-ai/korean_unsmile_dataset

1차 악플 탐지기 제작

• korean-hate-speech 데이터셋 (2,500,000개)

GitHub - kocohub/korean-hate-speech: Korean HateSpeech Dataset

약 25,000개의 스마일게이트 악플 데이터셋을 학습시킨 KcBERT에서 우리들이 원하는 수준의 악플 탐지 모델을 개발하기 위해 korean-hate-speech데이터셋을 활용했습니다

악플 탐지 모델 코드 분석

pytorch lightening

악플 탐지 성능 향상

1. korean-hate-speech의 unlabeled 데이터셋을 0차 악플 탐지기를 통해 라벨링 (2,500,000개)