분류 전체보기 (9) 썸네일형 리스트형 2024년 바바이 이제 2년차가 되었다. 지금까지 한 걸 2번만 더하면 졸업할 수 있다 (hopefully...). 미국이 한국보다 편해진 거 같다. 아마 미국에 있으면 거의 집 밖에 안나가서 그런 것 같다.올해에는 학교에서 한 연구를 NeurIPS에 내고 인턴십에서 한 걸 ICLR에 냈다. 인턴십을 다행히 잘 끝냈는데 운이 좋았다. 거의 접을 뻔 했는데 피츠버그 돌아와서 다행히 되게 만들었다. 회사나 학교에서 연구를 하면서 정말 똑똑한 사람들을 많이 만날 수 있어서 운이 좋았던 것 같고 미국에 오기를 잘했다는 생각이 든다. 이제 내가 좀 하나? 라는 생각이 들 때 마다 뛰어난 사람들이 화이트보드에 자기 기량을 보여주면서 나에게 자기 객관화를 시켜줘서 계속 더 열심히 할 수 있는 것 같다. 내년에도 똑똑한 사람들이랑 많이.. Simplicity bias Natural science를 하는 사람들이 한 때 자연의 본질은 단순할 것이라고 믿었던 때가 있었다. 그런데 사실 이런 믿음에는 근거가 없다. 인류가 지금까지 알아낸 자연이 동작하는 방식은 내 눈에는 그다지 직관적이지 않다. 리처드 파인만은 자연이 행동하는 방식이 마음에 들지 않는다면 당신의 직관대로 행동하는 다른 우주로 떠나라고 했다. 생각해보면 사람의 직관은 원시 인류의 생존에 최적화되어 진화해 온것이고, intuitive physics 정도만 이해하도록 진화했을 것이다. 예컨데 우주가 미시적인 레벨에서 행동하는 방식이 우리가 이해하기 쉬워야 할 이유가 없다. 그런 직관을 가진 개체는 오히려 뇌의 에너지를 불필요하게 낭비해서 생존에 더 불리했을 것 같다.그런데, 자연 자체를 연구하는 자연 과학자들과.. 연구 얘기 - Is novelty overrated? 논문을 쓴다는 것은 새로운 것을 남들에게 알리는 것이기 때문에, novelty가 생각보다 중요하지 않다고 말하는 것은 모순처럼 들릴 수도 있다. Novel하지 않으면 논문이 아니기 때문에 novelty는 중요한 게 맞다. 그런데 내가 생각하는 novelty는 문제를 바라보는 관점에 대한 것이다. 똑같은 문제라도 새로운 방식으로 바라보면 전혀 새로운 문제가 되기도 한다. 좋은 연구들은 문제를 바라보는 좋은 방식을 제안한다. 그런데 그 바라보는 방식이 정해지고 나면 이후의 풀이법은 너무 당연한 경우가 많은 것 같다. 여기서 당연하다는 것은 trivial하다는 게 아니라 자연스럽다는 의미이다. 그 방식으로 문제를 바라보는 방법을 깨닫고 나면 나라도 (뿐만 아니라 누구라도) 그렇게 풀었을 것 같다고 느껴질 만큼.. ML PhD - 인터뷰 슬슬 인터뷰 기간이 다가오고 있어서, 내가 작년에 했던 경험을 바탕으로 나만의 팁을 까먹기 전에 남겨두려고 한다 (순전히 나의 경험이다). 연구 발표 지금까지 했던 연구를 설명해달라는 말은 거의 무조건 나오기 때문에 준비를 해갈 필요가 있다. 교수에 따라 짧게 원하는 사람도 있고 30분을 원하는 사람도 있고 1시간을 원하는 사람도 있는데, 1시간짜리를 연습해 놓으면 나머진 그냥 줄여서 하면 된다. 이걸 연습하는 데에 대부분의 자원을 투자하라고 얘기하고 싶은데, 왜냐면 뒤에서 보겠지만 이게 인터뷰를 위해 준비할 수 있는 거의 유일한 것이다. 인터뷰 준비를 할 때 중요한 건 인터랙티브하고 이해하기 쉽게 하는 것이다. 30분 넘게 남의 연구를 (그것도 한 번에 여러 개를) 알고 싶지 않은 디테일까지 듣는것은 .. 2023년 회고 회고를 원래 일기장에 적었는데, 그러다 보니 잘 안쓰게 되어서 앞으로는 블로그에 올려보려고 한다. 올해는 내 인생에서 많은 것들이 바뀐 해였다. 1월에 미국에 가는 것이 결정이 났고, 8월에 와서 한 학기 적응도 잘 마쳤다. 좋은 어드바이저도 만났고 좋은 사람들도 많이 만나서 미국에 온 건 잘한 선택이라고 생각한다. 연구적으로는 올 초에 ICML에 한 편을 썼고 ICML 워크샵에도 한 편을 냈다. 그렇지만 졸업하고 미국 가서는 하반기부터 그럴듯한 성과 없이 한 학기를 마무리하게 되었다. 이런 저런 어려움이 있었지만, 무엇보다 course work이랑 연구의 시간을 조절하는 것이 쉽지 않은 것 같다. 이미 수업으로 1/3 정도의 시간이 날아간 상태에서 연구도 여러 개를 하다 보니 시간이 전부 분산되어서 이.. ML PhD - 비자 인터뷰 오퍼를 수락하고 나면 비자를 신청해야 한다. 서류 준비할 것도 많고, 온라인 신청서 작성해야 할 것들도 많아 번거로운데, 인터넷을 보면 거절당했다는 사람도 종종 보여서 좀 불안한 마음이 있었다. 결론은 인터뷰가 3분 이내로 끝났고 매우 쉽게 승인이 났다. 인터뷰 내용은 대략 다음과 같았다. --------------- 영사: 지문을 등록해야 하니까 손바닥을 올려줘. 나: (손바닥을 올린다). 영사: I-20 줘. 나: (I-20을 건낸다) 영사: 너 Carnegie Mellon에 가니? 나: Yep. 영사: 가서 무엇을 공부하니? 나: Electrical and Computer Engineering. 영사: 너 stipend 있니? 나: 내 학비랑 생활비는 모두 대학에 의해 fully funded 될거야.. ML PhD - 학교 탐색, 컨택 유학을 가기로 마음 먹었다면 지원할 대학을 정해야 한다. 지원할 대학을 고르는 기준은 크게 두 가지인데, 학교의 명성 같이 일하고 싶은 교수님이 있는가 정도이다. 명성이 조금 떨어지지만 연구 핏이 잘 맞는 교수님이 있는 학교는 고민이 될 수 있겠지만 나의 경우에는 그런 케이스는 없었다. 이 때, 2번의 연구 핏을 너무 빡빡하게 설정해서 본인이 지금 하고 있는 것과 상당히 일치하는 랩만을 찾으려고 하면 지원할 학교가 너무 적을 수 있다. 나의 경우에는 거의 5개 이하였던 것 같다. 그런데 대학원에 가면 하던 주제가 바뀌기도 하고, 학부 때 하던 연구를 계속 하는 사람이 오히려 더 적은 거 같아서 약간이라도 겹치면 다 지원하려고 했다. 지금 생각하면 넓게 지원했던 것이 좋은 선택이었다고 생각한다. 학교마다 .. ML PhD - 학교 결정 최종 합격: UT Austin CS, Georgia Tech ML (home department: aerospace engineering), CMU ECE (최종 결정) 인터뷰: CMU ECE (2번), UT Austin CS, Caltech CMS, Georgia Tech ML (3번), CMU RI, UCLA CS 불합: Caltech CMS, CMU RI, CMU CS, CMU MLD, UCLA CS, MIT EECS, Stanford CS, Berkeley EECS, UIUC CS, Columbia CS, Princeton CS, UT Austin IROM-stats, Georgia Tech IC, Maryland CS, MILA 나의 경우는 연구 핏이 가장 잘 맞는 학교는 UT Austin이었다.. ML PhD- 유학을 마음 먹은 이유 이번 글에서는 유학을 준비하게 된 이유를 말해보려고 한다. 일단 미국이 더 연구하기 좋은 환경이고 졸업 후 진로의 선택지도 넓다는 이유가 컸지만, 그 외에도 다른 이유들이 있다. 어차피 해야 한다 미국 대학들은 좋은 연구자가 될 것 같은 지원자를 뽑고 싶어하기 때문에, 유학 준비와 좋은 연구자가 되기 위한 준비가 대부분 같은 방향이다. 미국 박사를 준비하기 위해 해야 하는 것들은 크게 학점 연구 영어: TOEFL, GRE (CS는 대부분 optional) SOP / 연구실 탐색 / 지원서 작성 정도인데, 여기서 1,2는 유학을 안가더라도 해야하고 영어 공부도 어차피 해야 한다. 유학을 안갈거라면 논문 실적에 학부 때부터 목멜 필요까지는 없긴 한데, 석사 2년이 너무 짧기 때문에 학부 때 연구에 대한 감을.. 이전 1 다음