[공학 박사 일기장] 인생 여행 이야기

1. Introduction 지난번에 이어서 PINN을 구현하는 것을 계속 실습 중이다. 이전 포스팅: https://jinsustory.tistory.com/312 [Python] 22.08.27 딥러닝 실습 (2탄: PINN) 1. Introduction Data에 100% 의존하지 않고, 우리가 선험적으로 알고 있는 지식을 활용해서 보다 적은 수의 데이터를 활용하면서 동시에 기존 Domain knowledge를 잘 융합하는 것에 대한 키워드이 jinsustory.tistory.com 궁극적으로 내가 하려고 하는 것은 PDE-foward & inverse problem (FP/IP)을 자유롭게 푸는 것이고, ODE FP > ODE IP > PDE FP > PDE IP 순으로 해보려고 한다. MATLA..

1. Introduction Data에 100% 의존하지 않고, 우리가 선험적으로 알고 있는 지식을 활용해서 보다 적은 수의 데이터를 활용하면서 동시에 기존 Domain knowledge를 잘 융합하는 것에 대한 키워드이다. Brown 대학에서 publish한 논문이 꽤 유명하다. "Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations" 위 논문에서 여러 가지 analytical solution이 존재하는 ODE/PDE를 PINN으로 구현하고 코드를 공개해두었다. 해당 링크: https:/..

1. Introduction ML에 Pycaret이 있다면, DL에는 AutoKeras가 있다. 짧은 몇 일 동안 DL을 처음으로 돌려보고 느낀 점은 정말 hyper parameter optimization이 사람의 손을 정말 많이 탄다는 것이다. 굉장히 많은 optimization algorithm & 설계 변수 (hidden layer, neuron 갯수, activation function, learning rate 등등)이 있고, 그것들이 나온 막락을 이해하려면 족히 1년은 걸릴 것이라고 판단되었다..! 관련 분야로 학위를 받는 대학원생이라면 조금 더 깊이를 채워보겠으나, 지금 나는 내가 풀고자 하는 문제에 바로 응용 접목해서 결과를 도출하고 그 의미를 천천히 이해하면서 깊이를 더해가는 방식을 택..

연휴를 맞아 파이썬 실습을 진행했다. 이전에는 단순히 파이썬 개발환경만 셋팅해서 간단한 종류의 Machine Learning을 해보았다면, 지금은 Deep Learning을 다루기 위해 텐서플로우 와 GPU 관련된 세팅을 잡아주기로 했다. [1] 본인 컴퓨터 개발 환경 - Window 10 64-bit - Python: 3.7.9 - GPU: 1060 GB [2] Tensorflow 명령어 1줄: pip install --upgrade tensorflow-gpu 참고) -gpu를 붙이는 이유는 그래픽 카드를 사용하겠다는 의미이다. (참고한 블로그: https://kindtis.tistory.com/602) 그 이후에 내가 무슨 버전을 설치했는지 확인할 수 있다. 명령어 2줄: import tensorfl..

모처럼 연휴를 맞아 파이썬 실습을 해보았다. "optuna"라는 최적화 패키지를 소개한다. 링크: https://optuna.readthedocs.io/en/stable/index.html [1] 최적화의 목적 인공지능을 통한 서로깃 모델 (혹은 모델 차원축소)링을 했다면 (이전 Pycaret 패키지 참조), https://jinsustory.tistory.com/229?category=866244 https://jinsustory.tistory.com/230?category=866244 그 이후에는 모델링의 컴퓨터 연산시간 감소 이점을 부각하기 위하여 (혹은 어플리케이션 목적) 최적화를 많이들 쓰곤 한다. 오늘은 Optuna 패키지를 사용하여 내가 다룬 시스템에서의 optuna 패키지에서 결과를 얻었던..

Pycaret 패키지를 실습하는 과정을 이어서 적어본다. 1탄에서는 패키지에 대한 기본적인 개념부터해서 Setup (머신러닝 예측) -> Compare (성능 결과 확인 및 각 모델 별 비교) -> Create (가장 우수한 모델 선택) -> Tune (하이퍼파라미터 미세 조정을 통한 성능 향상) 까지 알아보았다. 그 이후 단계에 대해서 마저 적어본다. [2.6] Ensemble - 한글로는 앙상블. 한 마디로 여러 개를 섞어서 성능 예측성을 높이고, 모델의 강건성을 높이고, 과적합을 막기 위해 적용한다. - 일반적으로 decision tree에서 여러 가지를 결합하여 weak classifier를 strong classifier로 만들기 위함이다. - 여기에 두 가지 기법이 소개되었다. [2.6.1] ..

약 4개월 정도 공동연구를 진행했었던 토픽이 잘 마무리 되었다. 공학 문제를 해결하기 위하여 인공지능을 적용했었는데, 결과가 잘 나왔고 논문 작성도 마무리가 되어서 곧 투고 예정이다. Machine-learning을 활용한 surrogate modeling이 주제이고, 내가 가지고 있는 도메인 지식과 현상학적인 발견을 머신러닝을 통해서 잘 구현했고, 이를 통해 새롭게 결과를 도출하였었다. 결과를 정리하는 과정하고, 파이썬 코드를 복귀하면서 이를 기록해두려고 한다. 파이썬을 다룬지 아직 반년도 되지 않아, 굉장히 기초적인 것 밖에 모른다. 내가 사용하였던 패키지 위주 및 유용했던 명령어를 정리해본다. [1] 패키지 불러오기 & 엑셀 불러오기 [1.1] import pandas as pd - pandas: ..

모처럼 공휴일을 맞아 머리를 식히러 연구 대신 Python 실습해보았다. 실습 예제: https://www.kaggle.com/christianlillelund/house-prices-xgboost-bayesianoptimization?scriptVersionId=38136393 중간중간 막혔던 부분들을 메모해서 어떻게 넘어갔는지 기록해볼까 한다. [1] FileNotFoundError: [Errno 2] No such file or directory Step 1. 해당 폴더에서 경로를 직접 찾는다. Step 2. 찾은 주소에 \를 한개 씩 더붙이니 해결 된다. [2] 코드 공부 - 중간중간 명령어에서 df라고 나오는데 data frame의 약자였다. - matplotlib에서 plt는 흔히 줄여쓰는 p..