[Think & Learn] 2020.05.28 프로젝트를 하면서..

아마 이 글은 생각나는대로 계속해서 내려가면서 적다가 마지막 프로젝트를 회고하면서 재정비할 글이 될 것 같다.

오늘 프로젝트를 하면서 느낀 점을 적어놓고 다음 프로젝트에는 실수하지 않도록 하기 위한 방법.

1. 프로젝트를 할 때에는 모든 과정을 동료들과 공유하고 정리할 것.
이번 프로젝트를 하면서 제일 크게 느낀 것은 소통의 중요성과 협업의 중요성이었다.
각자 프로젝트 투입 시기가 다르게 들어오다보니 누군가와는 한달 넘게 투입시기가 차이가 났다. 그래서 늦게 투입된 사람은 이전에 투입된 사람에 비해 현장의 도메인을 익힐 시간이 많지 않았다. 그치만 이 부분은 먼저 투입된 사람이 정리를 잘 하고, 인수인계를 잘 한다면 금방 해결될 수 있는 문제이다.
이번에 프로젝트에는 현업의 득달같은 재촉이 있어서 다들 정신이 없는 상태였고, 따로 시간을 내어 도메인에 대해 설명하거나 인수인계할 시간이나 체력이 조금 부족한 상태였다. 그래서 회사 동료에게 도메인에 대해 별도의 공유를 하지 못했고, 당시 나는 데이터 전처리를 하는 중이었어서 전처리를 해서 모델을 짤 수 있게만 전달해주는 정도였다.
이렇게 쌓여온 시간들이, 추후에 스노우볼이 되어 프로젝트 중반에 귀찮은 일이 되어 나에게 다가왔다. 3명이서 모델을 1개씩 만들어야 하는데, 늦게 투입된 사람은 바로 모델링 작업에 들어가다보니 데이터 전처리가 어떻게 되고 있는지는 전혀 알고있지 못한 상태, 어떻게 분석 요건을 정해 필터링이 되고 있는지 어떤 데이터가 정상이고 정상이 아닌지 등을 확실하게 알지 못해 현업과 소통하는 것이 매우 힘들었다.
앞으로는 귀찮더라도 일간보고하듯이 하는 일의 과정을 적고, 어떤 데이터를 사용하며, 어떻게 탐색하는지에 대해 상세한 정리하 필요하다고 느꼈다.

2. 데이터 탐색을 꼼꼼히 할 것
이번 프로젝트는 금융업계에서 하다보니 관계형 데이터 테이블이 상당히 많은 상태였다. 200개가 넘는 테이블을 조합해서 분석을 진행해야했다. 그 상황속에서 현업은 계속해서 데이터를 던져주고, 정신없는 상황 속에서 우리의 데이터 탐색은 섬세하고 꼼꼼하지 못했다. 어떤 것에는 고객번호의 형태가 달라 조합이 하나도 되지 않은 것이 있었고, 결측치의 형태 또한 너무 다양해서 걸러내는 것이 매우 어려웠다. 데이터 탐색을 소홀히 하니 나중에 전처리하는 과정을 번복하게 되어 훗날에는 큰 실수로 번졌고, 대용량데이터를 하루종일 다시 수집해야하는 상황에까지 이르렀다.
학부생 때 교수님들이 항상 강조하시던 데이터 탐색, 소홀히 하다가는 큰 코 다칠 수 있다는 것을 새삼 깨달은 순간이었다.

3. 산출물 정리를 꼼꼼히 할 것
일간 보고가 괜히 있는 것이 아니며, 산출물을 괜히 정리하는 것이 아니라는 생각이 들었다. 사소하더라도 꼼꼼히 정리를 해놓아야 추후에 근거자료가 남아 현업과 소통하기에도 편하고, 대화가 훨씬 원활하다. 형식에 얽매여서 깔끔하게 정리하라는 것이 아니라, 단순 메모장이더라도, 엑셀파일이든 피피티 파일이든 어떻게든 근거자료를 남겨놓으면 추후 산출물 정리에 훨씬 편하다는 생각이 든다.

4. 공부하는 것을 놓치지 말 것
일이 너무 많다보니 집가면 쉬고싶다는 생각밖에 안드는 것은 사실이다. 나는 그냥 자는 것이 억울해 운동도 하고 일기도 쓰고 그림도 그리고 하긴 했지만, 내 전공에 대한 공부를 게을리하지 말아야겠다는 생각이 강하게 들었다. 현장에 계속 있다보면 이쪽 분야만 생각하게 되고 기본적인 지식들은 잊어버리기 쉬운 것 같다. 기본적인 지식부터 탄탄히 공부하고, 기록하는 습관을 놓지 말아야겠다.

5. 구조화를 시키며 코드를 작성할 것
현재 프로젝트 막바지에 다다라 있는데, 옆에서 경력자들의 코드를 보면서 느낀 점이 있었다. 이들은 모듈화의 장인이었다.컴공이 주 전공이었다가 데이터 분석가로 복수전공을 하시는 분이라 클래스 짜는 것이 익숙하신 분이라 그런지 모르겠지만, 확실히 비즈니스하면서 개발하는 방향으로 가기 위해서는 구조화하는 것이 필수가 되어가는 것 같다. 요즘 사람들이 파이썬을 많이 쓰는 이유도 딥러닝 추세 때문도 있지만, 클래스를 짜기에 최적화 되어있어서 사람들이 파이썬의 방향으로 가는 것 아닐까 하는 생각이 든다.

6. 메모도 정리가 필요하다.
닥치고 적는 습관이 있는데, 그 습관이 종이에 적어내려가는 습관이어서 원래는 노트를 들고다니다가, 하도 적을 일이 많아서 이면지에 계속해서 적어내려갔다. 한두장 쓸때는 괜찮다가 점점 많아지니 어떤 내용을 어디에 적었는지를 찾기가 너무 어려웠다. 막 적는 것도 일단 브레인 스토밍에 좋지만, 그대로 두면 그냥 낙서에 불과하다는 것. 기록도 정리가 필요하다는 것을 정말 많이 깨달았다.

7. 배운 점/활용할 점을 기록할 것
지금 내가 이렇게 배운 점을 기록하듯이, 코드나 알고리즘도 기록이 필요하다는 것을 많이 깨달았다. 사소한 코드일지라도, 적어서 관리하고 기록하는 것이 절대 해가 되지는 않을 것이다.