다원 일차 연립방정식

 

다원 일차 연립방정식 (System of Linear Equations)

3가지 종류가 있다.

 

1) Well-determined linear systems

2) Under-determined linear systems

3) Over-determined linear systems

 

Well-determined linear systems

다원일차연립방정식에서...다음과 같은 문제

unknowns(미지수)가 2개, equations(constraints)가 2개

미지수를 계산할 수 있음. 단순하게 연립방정식으로~

 

기하학적 의미는 다음과 같다.

2개의 직선의 방정식이다.

이 직선의 방정식에 있는 모든 점들은 해당 방정식의 해가 된다.

두가지 직선의 방정식을 만나는 해 = 교점

 

직선들이 있으면 유니크하게...해가 있다.

unknowns와 equations수가 같을 때, unique한 해가 존재한다.

이것을 Well-determined linear systems이라 한다.

 

unique한 해가 존재한다는 것은 $A$의 역행렬이 존재한다는 것이다.

$A$의 역행렬이 존재한다는 것은 직선들이 평행하지 않다는 의미이다.

 

Under-determined linear systems

 

다원 일차 연립방정식에서 다음과 같다.

unknowns가 2개고 const가 1개 일때 아래와 같은 직선의 방정식.

해가 무수히 많다.

under-determined linear systems는 unknowns의 개수가 const보다 많다.

유니크하지 않다.

 

기하학적으로는...아래와 같다.

일반화 하면 다음과 같다.

행렬로 표현할 수 있다는 것이 아니고...

A라는 행렬도 표현했을때 A의 모양이 중요하다.

 

미지수가 더 많기 때문에 A 행렬이 fat하다고 한다.

 

Over-determined linear systems

미지수가 2개이지만 constraints가 3개이다.

직선을 세 개 다 만족하는 곳을 찾는 것인데... 답이 없다 !

기하학적으로는 다음과 같다.

미지수의 개수보다 constraints가 더 많은 경우를 Over-Determined Linear Systems이라 한다.

행렬 A에서

칼럼의 갯수는 미지수와 같고...

로우의 갯수는 constraint와 같다.

 

 

가장 관심이 있는 문제는 Over-determined한 것이다. (행렬A가 skinny)

머신러닝과 가장 관련이 있음.

 

찾고 싶어하는 unknowns보다 constraints가 많다.

가장 근사한 x를 찾을 수는 있음.

 

솔루션이 존재하지 않고...가장 근사한 값을 찾을 수 있다라고 생각하면 된다.