[통계] 가설검정의 모든 것

(정리 중)

 

○ 개념정리

 

(1) 가설의 종류

 ∙ 귀무가설(H0 , Null hypothesis, 영가설) : 변화/효과/차이 없음. 기존에 믿어온 사실

 ∙ 대립가설(H1, alternative hypothesis, 연구가설) : 변화/효과/차이 있음. 실험자가 새로이 주장하려는, 또는 입증하려는 사실, not H0,

  - 모든 검정은 특별한 이유(과학적으로 양측검정이 불가능하거나 선행연구를 통해 단측검정을 해야 하는 걸 아는 경우)를 제외하고는 양측검정을 추천

 

(2) 가설검정 목적

 ∙ 실험(검정)의 목적 : 새로운 사실을 뒷받침 하기 위한 증거 확보. 따라서 이것이 대립가설(H1 )이 되어야 함

  - 실험(검정)의 목적은 새로운 사실을 입증하기 위한 것이지 과거로부터 받아들여지고 있는 귀무가설( )을 증명하기 위한 것이 아님

  - 따라서 우리가 검정을 하는 이유는 “대립가설이 옳다” 혹은 “대립가설이 낫다” 고 주장하기 위함임 

 

(3) 오류 (“귀무가설의 기각” 관점으로 해석함)

 ∙ 제 1종 오류( 오류) : 귀무가설이 참임에도 불구 귀무가설 기각 (→ 실제 무죄인 피고를 유죄 판결)

 ∙ 제 2종 오류( 오류) : 귀무가설이 거짓임에도 불구 귀무가설 채택 (→ 실제 유죄인 피고를 무죄 판결)

 ∙ 2종 오류보다 1종 오류를 최소화 하는 쪽으로 가설검정을 진행

  → 무죄인 자를 유죄로 만드는 것이 더 큰 오판(사형제도를 폐지하고 부활시키지 못하는 것과 같은 맥락. 부활시키지 않는게 아니라 못하는 것)

구분		사실
		H0	H1
채택(판단)	H0	정확한 결정 1-α	제 2종 오류 β
	H1	제 1종 오류 α	정확한 결정 1-β

 

(4) 유의수준

 ∙ 유의수준(α , significance level))

  - "귀무가설이 참임에도 불구 귀무가설 기각"하는 확률

  - "제 1종 오류를 범할" 확률 (α의 최대 허용한계)

  

 ∙ α값이 클수록, 기각 가능성 커짐 α값이 작을수록, 기각 가능성 작아짐

  - α값이 잡을수록 더 신중한(보다 믿음이 가는) 검정 결과 산출(통상적으로 α = 0.1, 0.05, 0.01 사용)

 ∙ 유의수준 α하 검정법 : 제 1종 오류를 범할 확률이 α이하인 검정법

  - 해설 : α=0.05이라 할 때, 동일한 검정방법을 독립적으로 100회 실행할 경우 "H0이 참임에도 불구 H0 기각하는 오류"(제 1종 오류)를 최대 5번까지는 허용한다는 소리

 

 

(5) 유의확률

가. 유의확률(p-value)

 ∙ 검정통계량(H0이 참이라는 가정 하 표본으로부터 얻은 통계량)의 값보다 더 확실하게 H0을 기각할 검정통계량의 값(같거나 그 이상)을 얻을 확률

  - 해설 : p-value=0.045라면, 이 참이라는 가정(약효가 없다) 하 표본에서 관찰된 검정통계량 값보다 더 확실하게 H0을 기각할 검정통계량의 값을 얻을 확률이 4.5%라는 소리 (더 확실하게 기각할 확률이 4.5% 정도로 낮다는 것은, 지금 정도로도 충분하게 기각할 수 있다는 소리)

 ∙ 주어진 검정통계량을 기각시키기 위한 제 1종 오류의 최소값

 ∙ H0이 기각되는 최소의 유의수준

 ∙ H0이 참이라는 가정 하 검정통계량이 어떤 값을 극단적인 것 또는 실제로 관찰되는 것보다 더 극단적인 것으로 받아들일 확률

 ∙ H0의 타당성 또는 신빙성에 대한 척도를 나타내는 값

 ∙ H0에 대한 모순을 극복할 표본을 얻을 확률, 다시 말해서 표본으로부터 얻은 검정통계량의 값을 초과할 확률

 

나. p-value가 클 경우

 ∙ p-value가 크다면, 새로운 사실 입증을 위해 현재 “수집한 증거”보다 더 확실한 증거를 확보할 여력이 있다는 의미로써 현재 수집한 증거로는 불충분(현재 증거로 H0 기각 불가능)함

 ∙ p-value가 클수록, H0에 대한 신빙성은 높아지며, p-value > α 일 경우 H0 기각하지 못함

 ∙ p-value가 크다는 것은 H0을 기각할 증거가 불충분하다는 것이지 을 H0 증명하는 증거가 있다는 것은 아님

 

다. p-value가 작을 경우

 ∙ p-value가 작다면, 새로운 사실 입증을 위해 현재 “수집한 증거”보다도 더 확실한 증거를 확보하기가 그만큼 어렵다는 의미로써 현재 수집한 증거가 충분(현재 증거로 기각 가능)함

  ∗ 수집한 증거 : “새로운 사실을 뒷받침 하기 위한 증거”

 ∙ p-value가 작을수록, 에 대한 신빙성은 떨어지며, p-value < α 일 경우 기각

 ∙ p-value이 작을수록, 을 기각 할 증거가 충분해짐

  - 이때, 수치적으로 과연 유의확률이 어느 수준일 때 을 기각해야 하나?라고 고민할 수 있는데 그 기준에 바로 유의수준(α)을 활용함

 ∙ p-value가 작을수록, 와 상반되는 증거가 충분해짐

  - 귀무가설을 채택한다는 것은 표본자료가 귀무가설을 기각할(부정할) 만큼 충분한 자료를 제공하지 못했다는 것을 의미

 

(6) 통계적 유의

- 유의 : 유의확률이 유의수준(α)보다 작다면 “우연이 아니라 필연적인 의미가 있다”고 하는 의미에서 유의라고 한다.

- 통계적 유의성은 모집단에 대한 가설이 가지는 통계적 의미를 말한다.

1) "통계적으로 유의하다." : 실험 결과가 확률적으로 봐서 단순한 우연이라고 생각되지 않을 정도로 의미가 있다는 뜻이다.

2) "통계적으로 유의하지 않다." : 실험 결과가 단순한 우연일 수도 있다는 뜻이다.

- 해석 : 가설 검정에서 통계량과 연구자가 설정한 수준(유의수준 )을 비교·판단하여 귀무가설(영가설)을 기각할 때, 유의수준 하에서 대립가설(연구가설)이 "통계적으로 유의하다"라고 한다.

∗ 검정통계량은 표본 크기의 함수이므로 표본 크기가 커질수록 검정통계량의 값은 커져서 실질적으로는 유의성이 없어도 통계적으로는 유의한 것으로 판정될 수 있다. 이때의 오류는 1종오류가 된다. 즉, 통계적 유의성은 오류가능성을 동반한다.

→ 유의수준 α=0.05 하에서 대립가설(연구가설)이 통계적으로 유의하다고 볼 때, 이 가설검정 결과는 95%는 신뢰 가능하다 할 수 있다. (???)

 

(7) 검정통계량

- 귀무가설과 대립가설 중 어느 하나를 택하는 데에 사용되는 통계량

가설검정에서 기각역을 결정하는 기준이 되는 통계량

→ 기각역을 정하고 그 영역에 검정통계량값이 들어가면 귀무가설 기각

- 귀무가설이 참이라는 가정 하 표본으로부터 얻은 통계량

통계적 가설검정을 위하여 확률분포를 결정하는 데 사용되는 통계량이다. 즉, 귀무가설(또는 영가설)의 조건에서 관찰되는 추정치가 갖는 표집분포(sampling distribution)가 면적이 1인 확률분포가 되도록 추정치를 전환한 통계량이다.

표본자료에 기초하여 계산된 검정통계량은 귀무가설 가 참인 경우 해당 자료가 우리가 기대하는 것으로부터 얼마나 멀리 벗어나는지를 측정한다. 통계량의 값이 큰 경우 이것은 해당 자료가 와 일치하지 않는다는 사실을 알려준다. 검정통계량이 어떤 값을 극단적인 것 또는 실제로 관찰되는 것보다 더 극단적인 것으로 받아들일 확률을 검정의 p-값(p-value)이라 하며, 이는 가 참이라는 가정 하에서 계산된다. p-값이 작을수록 해당 자료가 제공하는 와 상반되는 증거는 더 강해진다.

 

(8) 기격역(영역) vs 채택역(영역) vs 임계치(값)

- 기각역(c)

1) 가설 검정에서 귀무가설이 참이라는 가정 하에서 구한 검정통계량의 분포에서 확률이 유의수준 인 부분(반대는 채택역)

→ 기각역을 정하고 그 영역에 검정통계량값이 들어가면 귀무가설 기각

2) 가설 검정에서 귀무가설을 기각할 수 있는 검정통계량 값의 영역(범위)

- 채택역

1) 가설 검정에서 귀무가설이 참이라는 가정 하에서 구한 검정통계량의 분포에서 확률이 유의수준 1- 인 부분

2) 가설 검정에서 귀무가설을 기각할 수 없는(채택하는) 검정통계량 값의 영역(범위)

→ 검증통계량의 값이 채택역에 해당되면 귀무가설을 기각하지 못하고 채택

→ 귀무가설을 채택한다는 것은 표본자료가 귀무가설을 기각할(부정할) 만큼 충분한 자료를 제공하지 못했다는 것을 의미

→ 양측검정일 때 채택역은 표집분포의 중앙 1－α에 해당되는 영역이고, 단측검정일 때 채택역은 표집분포의 좌측 혹은 우측의 1－α에 해당하는 영역

→ 채택 기준이 0.05라는 것은 채택 기준이 0.95라는 것이며, 이는 가설채택에 있어 기존의 입장을 유지하려는 경향이 크다는 것을 의미한다(보수적).

- 임계값(임계치, critical value) : 귀무가설을 기각 또는 채택하는 범위를 구분하는 경계값

 

(9) 검정력 (1-β , 확률) (“귀무가설의 기각”의 관점)

- 정의

1) 귀무가설이 거짓일 때 “귀무가설을 기각”할 확률(제대로 처리 할 확률)

2) 제 2종 오류를 범하지 않을 확률 ( 1-β )

3) 실제로 유죄인 피고를 유죄로 판결할 확률

→ A라는 학생이 우수하다는 것을 입증하기 위한 방법은 2가지 있다. 성적이 5등 이내인 경우 우수하다고 할 때에, 첫째는 그 학생의 성적을 확인하여 결정할 수 있다(등수가 5등 이내이면 우수). 둘째는 그 학생보다 더 우수한 학생의 수를 세어보는 것이다(더 우수한 학생이 4명 이내이면 우수) (이때의 귀무가설 : A라는 학생은 우수하지 않다)

(???)(이게 검정력과 무슨 상관?이며 어떻게 엮을 수 있는지??에 대한 설명이 필요함)

 

 

○ 가설 검정하는 3가지 방법 (“귀무가설의 기각”의 관점으로 해석함)

 

(1) 검정 통계량에 의한 가설 판정

- 검정통계량(계산치)이 기각치보다 작거나 같은 경우 : 기각 실패(채택)

- 검정통계량(계산치)이 기각치보다 클 경우 : 기각

→ 기각역을 정하고 그 영역에 검정통계량값이 들어가면 귀무가설 기각

 

(2) 유의확률에 의한 가설 판정

- P-value : 기각 실패(채택)

- P-value : 기각

→ p-value가 허용 유의수준보다 작을 때, 유의수준 α하에서 대립가설(연구가설)이 “통계적으로 유의하다”라고 한다. (허용 유의수준은 α 로 나타낸다)

→ 유의수준 α가 작을수록 더 신중한 검정결과를 나타낸다)

 

(3) 신뢰구간에 의한 가설 판정

- (귀무가설의 모수값이) 신뢰구간 영역 밖일 때 : 기각 실패

- (귀무가설의 모수값이) 신뢰구간 영역에 있을 때 : 기각

 

 

○ 가설검정의 한계점

 

(1) 데이터가 많아질수록 유의확률은 작아질 수 있다.

(2) 실험을 수행해도 귀무가설 기각여부를 완벽하게 결정할 수는 없다.

(3) 실험결과는 표본 데이터이므로 오차를 동반함 항상 오류를 범할 가능성이 존해함

(4) “(1), (2), (3)”항목의 특성을 이용해 조작이 가능하다

- 신뢰구간 및 효과크기 제시 : 유의확률의 한계점을 보완하기 위해(연구의 신뢰성을 위해) 제시

∗ 신뢰도를 고무줄처럼 늘려서 연구결과를 억지로 증명하는 것은 조작이 가능하다는 뜻

- 귀무가설을 기각하는 경우는 두가지가 있음. 귀무가설이 사실임에도 귀무가설을 기각할 수 있는 경우가 있는데, 알파=0.05라면, 100번중에 5번은 귀무가설을 기각하는 경우가 생긴다(H1 채택)라는 뜻인데 이를 악용하여, 100번정도 돌려서 실제 나오는 결과를 이용해 논문결과를 내는 경우도 있음

 

 

○ 가설검정의 절차