츄르사려고 코딩하는 코집사입니다.
Kaggle - Learn Intro to Deep Learning(1) A Single Neuron
Use TensorFlow and Keras to build and train neural networks.
1. 배울 것들
- fully-connected neural network 아키텍쳐 생성
- Neural nets를 이용하여 회귀와 분류 ML 문제 적용
- stochastic gradient descent로 neural nets 훈련(확률적 경사하강법)
- dropout과 batch nomalization 이외 다른 것들 performance 향상
2. What is Deep Learning?
- 최근에 AI 분야에서 딥러닝의 분야가 두각되고 있음
- 예를 들어, 자연어 처리 번역, 이미지 인식, 인공지능 수준의 게임 등이 있다.
3. Deep Learning?
- 딥러닝은 기계 학습에 대한 접근법으로서 계산이 깊이 쌓이는 것이 특징
- 이러한 깊이 있는 계산은 딥러닝 모델이 가장 까다로운 실생활의 data set에서 발견되는 복잡하고 계층적인 패턴의 종류를 분리할 수 있게 해준다.
- 딥러닝 기술의 힘과 확장성을 통해 신경망은 딥러닝의 정의 모델이 되었다.
- 신경망은 뉴런으로 구성되어 있으며, 각 뉴런은 개별적으로 간단한 연산만 수행한다.
- 신경망의 힘은 이 뉴런들이 형성할 수 있는 연결의 복잡함에서 나온다.
- 즉, 복잡함에 따라 신경망은 더욱 강해진다.
4. The Linear Unit
- 아래의 그림에서 Linear Unit은 1개의 1개의 입력(X)을 받아 가중치와 bias로 계산이 된다.
- y = wx + b
- b는 bias(편향)이라고 부르는 특병한 종류의 가중치이다.
- bias는 어떤 input data와 연관이 없다.
- 대신에, diagram에 1을 넣어 뉴런에 도달하는 값이 b가 되도록 한다. 즉, 1*b = b 가 되도록 한다.
- bias는 뉴런이 입력과 독립적으로 출력을 수정할 수 있게 할 수 있다.
- y는 궁극적으로 출력되는 뉴런 값이다.
5. Multiple Inputs
- y = w0x0 + w1x1 + w2x2 + b
- 3 input and 1 bias