⛓️ ML ・ DL3 [Structuring ML Project] Orthogonalization 1. Orthogonalization (직교화) 머신러닝 시스템을 구축할 때 어려운 점 중 하나는 시도해 볼 수 있는 것도, 바꿀 수 있는 것도 아주 많다는 것이다.무엇을 튜닝할 것인지에 대한 뚜렷한 안목을 가지고 하나의 효과를 얻어내기 위한 절차를 Orthogonalization (직교화)라고 한다. 1) Chain of Assumptions in ML ProcedureFailure1. Fit training set well in cost functinon=> bigger network, better optimization algorithm 2. Fit dev set well on cost function => Regularzation, Bigger training set3. Fit tset set.. 2023. 9. 27. [DeepLearning Network 연산] Artificial Neurons와 Dense Layers 개념과 코드 구현 💡 Index 1. Artificial Neurons 1) Parametric Functions Normal Function : 단순히 입력만 받고 규칙에 따라 아웃풋을 만들어내는 함수 Parametric Function : 자체적으로 파라미터를 가지고 z 값을 연산하는 데 사용 됨. f(x ; $\theta$ ) 에서 x는 Input이며 $\theta$ 는 함수가 가지고 있는 parameter를 뜻함. e.g) y = ax + b → f(x ; a,b) : a는 slob, b는 intercept라 하는 데 파라미터 값이 변화하면 함수의 모양이 변화하고 함수의 작동(output을 만드는 연산) 자체가 달라진다. 2) Hierachy of Tensor Computations (1) Zeroth-order .. 2023. 7. 17. [CNN] MLP와 Convolutional Neural Network(컨볼루션 신경망) 💡 Index 1. CNN의 등장 MLP(Multi-Layer Perceptron)는 다층 퍼셉트론으로 여러 개의 퍼셉트론을 결합한 다층 구조를 이용하여 선형분리가 불가능한 상황을 해결한다. 초반에는 단지 MLP에 은닉층을 여러개 추가하는 방식으로 깊은 신경망에 대한 아이디어를 내곤 했지만, 이렇게 은닉층을 추가하여 MLP를 깊게 만들면 제대로 학습되지 않는 문제가 있었다. Backpropagation(역전파) 알고리즘이 가중치를 갱신하는 과정으로 여러 층을 거치면서 gradient 값이 작아져 입력층에 가까워지면, 변화가 거의 없는 Gradient Vanishing 문제가 있었다. 또한 추정해야할 매개변수는 크게 늘었지만, training set의 크기는 작은 상태로 머물러 있어 과잉적합(overfit.. 2023. 7. 13. 이전 1 다음
