[Boostcamp] 2주차 회고

주간 학습 내용 요약

2024-08-12 월

• keyword: ML Lifecycle, Regressions, KNN, classifier, softmax
• 머신러닝의 실제 적용에 대해 전체적인 흐름을 개괄했다. 서비스 디자인부터 모델 구현, 유지 관리까지 전체 흐름과 각 단계에서 분업이 어떻게 이루어지는지를 확인했다. 머신러닝 라이프사이클을 묘사한 그림을 보며, 내가 가장 관심 갖는 분야는 역시 사이언티스트라고 생각했다 (그만큼 공부도 열심히 해야겠지만,,ㅎ) 모델을 이해하고 이걸 문제 상황에 적용해보는 작업에 가장 흥미가 가기 때문! 물론 결국은 어떤 직군으로 시작할 지의 문제일 뿐, 결국은 모든걸 어느 정도 해내는 한 지점으로 모이게 될 것이라 생각하긴 하지만, 그래도 우선은 이론 공부 열심히 해보자고 생각했다.
• ML의 각 단계에 녹아있는 수학적, 통계적 개념들을 학습했다. 당연히 알지~ 라고 생각했던 통계 개념들을 많이 까먹었구나 느꼈다… 구체적인 수식과 유도과정들은 잊더라도, 이게 어떤 개념이고 왜 쓰이는지 그 의미는 기억하고 있어야 한다 생각했는데, 지금 상태에서는 그렇지 못한 것 같아 아쉬웠다. 강의 들으면서 모호했던 부분들은 학교에서 썼던 전공교재들을 다시 살펴보며 회귀분석, 분류 등의 개념을 다시 확인했지만, ISLP 등 교재 참고하면서 다시 공부해보면 좋을 것 같다.

2024-08-13 화

• keyword: Neural Network, Back Propagation, Training
• 신경망의 전반적인 학습 원리를 살펴봤다. 단순히 라이브러리의 어떤 함수를 써야 하는지 실용적 팁을 배우기보다는, 라이브러리 사용을 최소화하면서 수식적으로 흐름을 이해했다. Back Propagation이 어떻게 이루어지는지 대략 감은 잡았지만 확실히 이해하지는 못했다. 일부 모델에 대해 손으로 직접 역전파 계산해보면서 더 공부해봐야 할 것 같다.

2024-08-14 수

• keyword: RNN, LSTM, Attention, Transformer
• attention is all you need 논문을 처음 읽고, 많이 당황했던 기억이 떠오른다. 이번 강의 들으면서 역사적 맥락부터, 왜 transformer라는 모델이 등장했는지, 핵심 구조가 어떻게 구성되어있는지 드디어 이해할 수 있어 기분 좋았다.
• positional encoding에서 왜 sin과 cos 함수를 활용하는지, 그리고 벡터 임베딩과 덧셈 연산을 취했을 때 정보가 섞여버리는 문제가 없는지 궁금해졌다. 이에 그 이유를 조사해 피어세션에서 공유했다.

2024-08-15 목

• keyword: backpropagation
• 과제에서 backpropagation을 라이브러리 없이 직접 구현했다. 풀기는 했지만, 여전히 모호해!

2024-08-16 금

• keyword: Deep Learning
• 지난주부터, 이번주까지 딥러닝 기초 이론을 다루고 있는데, 내 기본기가 많이 부족함을 느꼈다. 온보딩클래스 딥러닝 강의들을 들으면서, 전체 흐름을 잡아볼 예정~!

주간 회고

Positive

• 부스트 캠프 기간 동안 어떤 방식으로 공부해야 할 지 큰 흐름을 잡을 수 있었다. 강의에서 다루는 모든 내용들을 놓치지 않고 기록하려다보니, 기록에 대한 강박이 생겨 오히려 내용에 대한 이해도가 떨어진다는 아쉬움이 들었다. 지금 시점에서 중요한건 기록보다는 이해라는 생각에, 부스트캠프 기간 동안 어떤 방식으로 공부하고 기록할지 그 방법을 다음과 같이 다시 정리했다.
  1. 강의 들으면서, 해당 내용을 이해하는데 집중하기. 별도의 문서화 없이 탭으로 강의록에 필기 정도만!
  2. 강의 들은 후, 실습자료(코드) 및 과제 풀어보면서 배운 내용이 어떻게 실제 사용되는지 이해하기
  3. 전체 내용들 문서화하기. 최대한 내 언어로 재구조화해서 쓰기

Negative

• 꾸준히 TIL을 업로드하겠다는 계획을 지키지 못했다. 하루 공부가 끝날 때, 피곤하다고 덮어버리는게 아니라 마지막까지 잘 정리해두기!!

To Try

• 라이브러리 없이 직접 구현해보기. 제대로 이해하는건 직접 만들어보는게 최고~
• LLM과 거리 두기
• 아침마다 코딩테스트 1문제씩 풀기
• 매일매일 TIL 작성하는 습관 들이기

Question

• AI 기술로 내가 하고 싶은 건 뭘까? 꼭 AI여야 하는 이유는?

Takeaway

• 조급해하지 말고, 차분하게 내 갈길을 가겠다고 다짐했다. CS도, 딥러닝 이론도, 통계학도, 그리고 이 기술들을 적용할 때 필요할 인문학적 통찰과 감수성도.. AI 분야 커리어를 준비하며 채워나가고 싶은 영역이 참 많은데, 이 모든걸 동시에 해내려다보니 마음이 곧잘 조급해졌다. 수많은 todo 리스트를 보며 불안해하기보다는, 지금 눈 앞에 있는 내용을 깊이있게 이해하는데 좀 더 시간을 들여야 한다고 생각했다. 비슷한 맥락에서, 생활을 최대한 단순화해야겠다고도 생각했다. 반복되는 루틴 속에서, 내가 추구하는 능력치들이 차근히 채워져나가기를 바란다.
• 부캠에서 제공하는 학습자료가 상당하다. 이 모든걸 완벽히 소화하겠다는건 욕심이고, 효과적인 선택과 집중이 필요하겠다고 생각했다.