[Bringing up the Korean language ability of sLLM]구글 부트캠프에 참여해서 제작하게 되었고 저의 팀의 주제는 fine tunning해서 한글 성능을 높여서 Ko-LLM Leaderboard에 올리는 것을 목표 였습니다!fine tunning 아이디어Gemma2에 이미 학습되어 있는 성능을 끌어올리고자해서 한글과 영어 번역 데이터 셋을 학습하고자 했다진행한글과 영어 번역 데이터를 찾아보는 도중 AI-hub에서 한국어-영어 번역(병렬) 말뭉치 데이터를 찾게 되었고 그 데이터를 원문과 번역문을 filtering하여 데이터 셋으로 제작학습전 모델의 output 확인unsloth을 이용한 데이터 학습학습 후 모델의 output 확인학습 결과를 보고 계속 반복huggingfac..