[KT AIVLE School 3기] 2차 미니 프로젝트 후기

에이블 스쿨에서의 두 번째 프로젝트가 3월 6일부터 3월 8일까지 3일 동안 진행되었다!

첫 프로젝트때에는 너무 정신없이 흘러갔었는데,, 이번 프로젝트도 정신 없었다 ｡° ૮₍°´ᯅ`°₎ა °｡

그래도 스스로 느끼기에는 아주 미약한..!! 발전은 있었다... 다시 한번 느끼지만 더더 복습을 열심히 해야 할 것 같다.

 

 

---

2차 미니 프로젝트 1일차

주제 : 미세먼지와 날씨 데이터를 바탕으로 미세먼지 농도를 예측하는 모델 만들기

 

  간단하게 요약하자면, 미세먼지 데이터와 그때의 여러 가지 날씨데이터를 통해 미래의 미세먼지 농도를 예측하는 것이 최종 목표였다!

프로젝트는 다음과 같은 순서로 진행되었다.

1. 탐색적 데이터 분석 (EDA) : 주어진 미세먼지와 날씨 데이터를 다양하게 분석하였다. 기온부터 풍향, 구름의 양 등등 굉장히 다양한 데이터가 있었는데 생각보다 미세먼지와 관련되거나 의미 있는 분석을 하지 못했던 것 같다 ((´д｀))
2. 데이터 전처리 : 이 날 굉장히 좌절했던 이유,,,,, 데이터 전처리가 엄청 복잡한 걸 요구한 건 아닌 것 같은데 코드 에러가 너무너무 많이 났다.. 판다스에 대한 이해도가 엄청 부족한 것 같다.. 이것 때문에 모델링도 밀려서 팀활동 때 제대로 참여할 수가 없었다........ 너무너무 속상 (　-̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥᷄ _ -̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥̥᷅ )
3. 머신러닝 모델링 : 앞에 전처리가 밀려서 모델링도 잘 못했다............

쓰디쓴 실패를 경험하고,,, 이 날 하루 내내 시무룩했었다... ●▅▇█▇▆▅▄▇

 

---

 

2차 미니 프로젝트 2일차

주제 : 악성 사이트를 판별할 수 있는 머신러닝 모델 만들기

 

  하루 만에 다시 새로운 주제로 진행하게 된 프로젝트! 사이트의 html에는 많은 정보가 담겨있다. (사실 뭐가 담긴 지는 잘 모르지만,,,,) 그런 정보들을 활용해서 정상적인 사이트와 위험성이 도사리는 악성 사이트를 판별하는 게 이번의 목표!

 

1. 데이터 수집 : 웹크롤링을 활용하여 데이터들을 수집해 보는 시간이었는데......... html이나 웹 크롤링 다 문외한인 나는 너무 어렵고 힘들었다 ( ´•̥̥̥ω•̥̥̥` ) 문제도 이해가 안 되구,,, 뭐가 뭔지 모르겠었다,,,,, 근데 나만 그런 건 아닌 건지 결국 따로 강사님이 한 번 더 과제 내용을 풀어서 설명해 주셨다... 웹 쪽은 정말 나랑 안 맞는 듯 ㅡㅡ
2. 데이터 분석 및 전처리 : 주어진 데이터를 분석 및 처리하는 거! 이번에는 그나마 주어진 데이터가 무난했던 것 같다.
3. AI 모델링 : 여러 가지 모델 막 넣으면서 모델링해보았다! 모델마다 각자 결과가 다르게 나오는 건 신기.. 하지만 각 모델에 대해서 좀 더 공부해야 될 듯하다!!

 

---

 

2차 미니 프로젝트 3일차

주제 : 악성 사이트를 판별할 수 있는 머신러닝 모델 만들기 & Kaggle 활용

 

  2일차에 진행한 과제를 바탕으로 모델을 활용하고, 최적화를 진행하여 평가 기준을 만족하는 모델을 만들었다!

조별 활동인 만큼 각자 만든 모델들을 공유하고, 그중 가장 성능이 좋은 것을 찾아냈다.

우리 조는 약 0.92의 최종 스토어를 얻었고, 나는 0.91까지 끌어올렸다. 사실 처음부터 정확도가 넘 잘 나와서 수정을 거치면 더 좋은 결과가 나올 줄 알았는데, 드라마틱한 변화가 있지는 않았다.

내가 제출한 3번의 결과! 0.86 -> 0.91

  그래도 처음으로 프로젝트하면서 배운 걸 제대로 써먹은 것 같다 o(-`д´- ｡) 그걸로 만족..^^

케글도 이번 기회를 통해 처음 써봤는데 굉장히 흥미로웠다!! 여기서 영어로 공부도 하고 competition도 참여해 보면 참 좋을 텐데~ 하루가 왜 이렇게 짧은지!! 매일매일 시간이 없다~~

 

---

총평

  프로젝트를 할 때마다, 데이터 전처리 및 해석이 전체 머신러닝의 50% 이상을 차지한다는걸 뼈저리게 느낀다. 당연히 전처리도 중요하지만, 깊게 배우지 않았을 때는 데이터 전처리를 후딱 끝내고 모델을 만드는 과정 자체가 가장 중요하다고 착각했었던 것 같다. 하지만 모델은 우리가 원하는 결과를 내기 위한 도구에 불과한 것 같다! 요리를 할때 끓이고 지지고 볶고 하는 과정도 중요하지만 내가 하려는 요리, 즉 목표가 무엇인지 알고 그 요리를 위해 쓸 재료들에 대해 정확히 파악하는 게 얼마나 중요한지! 

 

  이제야 우매한 봉우리에서 벗어나고 있다... 배우고 배울수록,,, 절망의 계곡에 가까워지고 있다 _(:3」∠)_

수업 들을 때는 다 알 것 같은 기분인데 다시 보면 새롭다... 하지만 지금이라도 깨달은 게 어디야!! 앞으로 열심히 하면 되겠지~ 벌써 한 달 차가 지난 지금.. 아직도 갈 길이 멀다!

 

  다음 프로젝트 때는 이번보다 더 많은 것들을 해낼 수 있었으면 좋겠다! 팀원들과 의견 공유하는 시간에 더 많이 내가 한 것에 대해 말할 수 있게 되었으면 좋겠다. 다시 이론 수업 열심히 들으면서 지식을 차곡차곡 쌓아보자!! 화이팅 ٩(`ω´٩)