글또 7기 다짐글
15 May 2022
글또(글 쓰는 또라이가 세상을 바꾼다) 7기 다짐글 입니다.!
작년에는 글또 신청시기를 놓쳐서 들어가지 못해 올해 7기에 참여하게 되었다. 사실 글은 꾸준하게 작성하고 있었지만, 특정한 방향성 없이 아카이빙 용도로 쓰고 있었다. 이번 기회에 좀 더 방향성이있고 퀄리티 있는 글을 작성해 보려 한다. 또한 어떤 글이 좋은 글인지 많이 읽어 보고 싶고 이를 통해 다른 분들로 부터 많은 insight를 얻고 싶다. 다음은 어떤 글을 작성할지에 대한 내용이다.
Paper review & Toy Project
- 현재 집현전 3기 advanced에 참여하여 매 주 EMNLP, NACCL 등의 최신 논문을 리뷰하고 있다. 집현전 스터디에서 발표한 논문들을 리뷰할 예정이다.
- PLM들의 대표적인 모델의 pretraining objective나 특징들은 간단하게 알고 있었지만, 각 잡고 모든 논문을 읽어본 것이 아니다. 또한 난 논문을 다 구현해봐야 80%이상 이해 되었다고 생각한다. 그래서 NLP의 downstream task (예를들어, Machine-translation, text summarization)을 rnn부터 PLM들을 이용한 최신 경향까지 하나씩 구현해 보면서, 리뷰할 예정이다. 현재는 MT task를 하나씩 구현해보고 있다.
- Recommendation system 관련해서, 최신 모델들 diversity, sparse problem을 어떻게 다루는지 발전 양상도 다뤄볼 예정이다. Naver devops 2021/2020, naver search 콜로키움, kakao if 컨퍼런스 에서 다뤘던 발표들을 리뷰할 예정이다. (ex Business AI 고민? HyperCLOVA에게 무엇이든 물어보살)
Backend
Nodejs를 공부해야 할지, spring boot를 공부할지 최근에 갈피를 못잡았다. 사실 백엔드 엔지니어 보다 ML engineer 직군을 목표로하는 4학년(:=취준생)이라, 백엔드 공부가 메인은 아니다. 하지만 나중에 모델을 이용하여 inference할때 빠르고 효율적인 api를 만들거나, 서비스를 배포하기 위해서는 어느정도 알아야 한다고 생각한다. 그래서 최근에 결정한 것은 spring boot이다. 인프런에 김영한 님이나 백기선님이 만든 좋은 강의들도 있고, 이러한 강의들로 객체 지향적/테스트 주도 개발 등을 제대로 배울 수 있다고 생각했기 때문이다. 모든 내용이 아니더라도 큰 줄기 하나씩 정리 해보려한다. 올해 안에 간단한 nlp/recsys 관련한 웹 기반 토이프로젝트도 만들어보고 싶다. (아마 졸업프로젝트가 될것같다.)
Internship
올해 3월 초에 naver clova ml x team 인턴십에 지원하였고, 합격하여 5월말 부터 근무 예정에 있다. 겨울에 KIST에서 인턴십 한 뒤, 두번째 인턴이다. KIST에서 추천시스템 관련 인턴을 하면서 가장 크게 배웠던 점은 모든 개발 진행 과정이 합리적인 근거하에 이뤄져야 한다는 것이다. 예를들어, 서비스를 할 때 고객에게 결과가 reasonable한지, 모델에서 user embedding을 만드는 과정이 reasonable한지와 같은 것들이다.. 그러한 점에서 이번 인턴은 또 어떤 교훈을 배울지 기대가 된다. 개발 인턴으로 일하면서 배운 점, 겪은 시행착오들을 기록할 예정이다.
PS(Problem solving)
학교 알고리즘 동아리에 소속되있기도 하고, 종종 재미로 codeforce에 참여하고 있다.(초록이 입니다ㅠ.) UCPC, ICPC도 작년에 이어 나가게 되었고, 두 대회 모두 본선 진출을 목표로 준비하고 있다. 플레티넘 이상의 문제들에 대해 종종 풀이법을 올려볼 생각이다.
이외에도 MLops, cs지식 등에 대해서도 종종 올려볼 예정이다. (공부할게 너무 많다..)
사실 아직 나 혼자 진행하는 project를 완성시켜본 적이 없다. 팀으로는 많이 했지만, 특별한 동기(대회, 인턴십 준비) 없이 배움만을 목표로 프로젝트를 하기가 어려웠다. 오픈소스 기여에 대해서도 특별한 reward가 없었기 때문에 도전하지 않았다. 올해에는 꾸준함을 잃지 않고, 계속 미루고 왔던 것들을 끝까지 진행하는 것이 목표이다.