Convexity와 딥러닝 (Convex Function과 Convex Set)
2020.04.13
딥러닝을 공부하다 보면, Convex 한 함수, 문제의 Convexity 등에 대한 언급을 자주 접하게 된다. 요즘은 국내에도 이를 다룬 쉬운 글이 많지만, 이상하리만치 필자는 이 Convexity를 이해하기가 힘들었다. 몇 시간에 걸친 공부를 마치고 이를 정리해보고자 한다. Convex의 정의 Convex는 볼록하다는 것을 의미한다. 수학에서 Convex는 대상이 집합이냐 함수냐에 따라 개념이 약간 다른데, 먼저 함수에서의 Convexity를 알아보고, 집합에서의 Convexity를 간단히 알아본 후, 딥러닝과 Convexity의 상관관계에 대해 다루도록 하겠다. 함수의 Convexity Convex 함수는 볼록 함수라고 하며, 이름 그대로 볼록한 함수를 의미한다. 이때, 우리가 고등학교에서 흔히 배운..