[내일배움캠프 QAQC 부트캠프]기초통계&머신러닝(3)(28일차, 260619)

---

1. 오늘 학습 키워드:

기초통계, 머신러닝(3일차)

 

---

2. 오늘 학습 한 내용을 나만의 언어로 정리하기:

통계학 기초

3-1 A/B 검정 두 그룹(A/B)을 비교, 어느 것이 더 효과적인지 평가 다른 버전의 두 그룹 제공 후, 반응 비교 통계적 의미 부여를 위해서는 가설 검정 필요 # t-test를 이용한 비교 t_stat, p_val = stats.ttest_ind(group_a, group_b) t-통계량: 두 집단 간 평균 차이의 크기와 방향 p-값: 귀무 가설이 참일 때, 현재 데이터보다 극단적인 결과가 나올 확률 3-2 가설검정 가설검정은 표본을 통해 모집단의 가설을 검증하는 과정 데이터가 특정 가설을 지지하는지 평가하는 과정 귀무가설(H0)과 대립가설(H1)을 설정, 귀무가설을 기각할지 결정 데이터 분석 - 두가지 전략 -확증적 자료분석: 미리 가설들을 먼저 세운 다음 가설을 검증해 나가는 분석 -탐색적 자료분석(EDA): 가설을 먼저 정하지 않고 데이터를 탐색해보면서 가설 후보들을 찾고 데이터의 특징을 찾는 것 가설검정 단계 1. 귀무가설(H0)과 대립가설(H1) 설정 2. 유의수준(α) 결정(일반적으로 0.05) 3. 검정통계량 계산 4. p-값과 유의수준 비교(채택 여부 결정) 통계적 유의성: 일반적으로 p값이 0.05 미만이면 유의성 있다고 판단 p-값: 귀무 가설이 참일 때, 현재 데이터보다 극단적인 결과가 나올 확률 일반적으로 p-값이 유의수준(α)보다 작으면 귀무가설을 기각 신뢰구간: 모집단의 평균이 특정 범위 내에 있을 것이라는 확률, 일반적으로 95% 신뢰구간 사용(모집단 평균이 95% 확률로 이 구간 내에 있음) 3-3 t 검정 t검정: 두 집단 간 평균 차가 통계적으로 유의미한지 확인하는 검정 방법 독립표본 t검정: '두 독립된 그룹'의 평균을 비교 대응표본 t검정: '동일한 그룹'의 사전/사후 평균 비교 t_stat, p_val = stats.ttest_ind(A, B) 3-4 다중검정 다중검정: 여러 가설을 동시에 검정할 때 발생하는 문제 각 검정마다 유의수준을 조정하지 않으면 1종 오류 발생 확률이 증가 보정 방법: 본페로니 보정, 튜키 보정, 던넷 보정, 윌리엄스 보정 등 보정은 보통 유의수준을 엄격하게 만드는 방향 3-5 카이제곱검정 주로 범주형 데이터의 적합도 검정이나 독립성 검정으로 사용 적합도 검정: 관찰된 분포와 기대된 분포가 일치하는지 검정(p값이 높으면 귀무 가설 적합) 독립성 검정: 두 범주형 변수 간의 독립성을 검정(p값이 높으면 독립성) scipy.stats.chisquare  카이제곱 적합도 검정 scipy.stats.chi2_contingency 카이제곱 독립성 검정 3-6 1종/2종 오류 제 1종 오류: 귀무가설이 참인데 기각하는 오류. α를 경계로 귀무가설을 기각하기 때문에 제1종 오류가 α만큼 발생 유의수준(α)을 정함으로써 제어 가능 보정 없는 다중 검정시 제 1종 오류는 증가 제 2종 오류: 귀무가설이 거짓인데 기각하지 않는 오류. 제 2종 오류가 일어날 확률은 β로 정의, α와 β는 상충관계 통제할 수 없지만 표본크기 n이 커질 수록 β가 작아짐.

 

 라이브 세션

통계 3회차 - 꼭 다시보기 모수: 모집단의 특성(전수조사) 통계량: 표본의 특성(표본조사) 표본이 모집단을 대표하기 위해선 '대표성'을 가져야 함 제조업의 표본검사 파괴 검사(인장강도, 파단 에너지 등)의 특성 -검사 자체가 제품을 폐기시키므로 전수 측정이 불가능 로트 단위 품질 관리의 원리 -동일한 조건에서 생산된 제품 묶음(로트)에 대해 품질을 대표하는 샘플만을 검사 정량적 리스크 기반 의사결정 - 95%~99% 수준의 신뢰도로도 충분 -> 일부 샘플링 + 통계기법  표본 추출방법 중 층화 추출:  집단 내 동질적, 집단 간 이질적 표본분포: 같은 모집단에서 동일한 크기의 표본을 여러 번 추출할 때 계산되는 통계량(예: 평균)의 분포 충분한 표본 수가 있을 경우 표본 평균은 정규분포 (중심극한정리) 중심극한정리: 표본의 크기가 충분히 크다면 '표본평균들의 분포'가 정규분포에 근사 큰 수의 법칙: 표본의 크기(n)가 커질수록, 표본평균이 모평균에 가까워짐 표준오차:  동일한 모집단에서 동일한 크기의 표본을 반복해서 추출할 때, 그 표본 평균들의 분포(표본분포)의 표준편차 동일한 모집단에서 동일한 크기의 표본을 반복해서 추출할 때, 그 표본 평균들의 분포(표본분포)의 표준편차 신뢰 구간: 모집단의 실제 값(모평균 등)이 포함될 범위 추정 구간 표본 데이터로부터 모집단의 평균이나 비율을 추정 표본이 클수록, 신뢰구간(CI)가 좁을수록, 모집단 평균 추정치가 정확해짐 신뢰수준이 95%일 경우 남은 5%의 확률(양쪽 꼬리 부분)이 바로 유의수준(α) 가설 검정 표본 데이터를 기반으로 모집단에 대한 주장을 통계적으로 판단 귀무가설: 차이가 없다는 것을 전제로 한 기본 가설. 대립가설: 증명하고 싶은 가설 유의수준 (α): 귀무가설이 참인데도 실수로 기각할 확률의 상한선. (5% 이하의 가능성으로만 귀무가설을 기각) p-value(p): 귀무가설(H₀)이 참일 때, 지금처럼 극단적인 데이터를 관측할 확률(p < 0.05 → 귀무가설을 기각) 모수 검정: 모집단 분포에 대한 전제를 가지는 검정 방법 t-test, z-test, ANOVA t-test: 모집단의 표준편차를 모를 때, 작은 표본(n < 30) 기반,  두 평균 간의 차이가 통계적으로 유의한지를 판단하는 평균 차이 검정 방법 단일표본 t 검정 한 집단의 평균이 특정값과 다른지 확인 시 사용 독립표본 t-검정 서로 다른 두 그룹 간 평균 차이를 비교 시 사용 대응표본 t 검정 동일한 대상에서 전/후 값을 비교할 때 사용 영향도 분석 p-value의 함정  표본 크기(n)의 영향: 표본 크기(n)가 매우 크면, 아주 미세하고 사소한 차이조차 통계적으로 유의미(p < 0.05)하게 나옵니다. p-value 효과 크기(Effect Size) 차이의 존재 여부(p-value), 차이의 실질적 영향력(Cohen's d) 정규성 검정: 독립성(연구 설계), 등분산(기본값), 정규성 따라서 실무에서는 정규성 검정 정도만 수행

머신러닝 3회차 녹화본으로 내용과 생각을 정리할 예정

코드카타

알고리즘

 

시간관계상 금일 생략

SQL

46 - 대여 기록이 존재하는 자동차 리스트 구하기 SELECT A.CAR_ID FROM CAR_RENTAL_COMPANY_CAR AS A INNER JOIN CAR_RENTAL_COMPANY_RENTAL_HISTORY AS B ON A.CAR_ID = B.CAR_ID WHERE A.CAR_TYPE ='세단' and MONTH(B.START_DATE) = 10 GROUP bY A.CAR_ID ORDER BY A.CAR_ID DESC

47 - 모든 레코드 조회하기 SELECT * FROM ANIMAL_INS ORDER BY ANIMAL_ID

48 - 즐겨찾기가 가장 많은 식당 정보 출력하기 SELECT FOOD_TYPE, REST_ID, REST_NAME, FAVORITES FROM REST_INFO WHERE (FOOD_TYPE, FAVORITES)      IN (     SELECT FOOD_TYPE, MAX(FAVORITES)     FROM REST_INFO     GROUP BY FOOD_TYPE) ORDER BY FOOD_TYPE DESC

49 - 식품분류별 가장 비싼 식품의 정보 조회하기 SELECT CATEGORY, PRICE AS MAX_PRICE, PRODUCT_NAME FROM FOOD_PRODUCT WHERE CATEGORY IN ('과자', '국', '김치', '식용유')      AND (CATEGORY, PRICE)      IN (     SELECT CATEGORY, MAX(PRICE)     FROM FOOD_PRODUCT     GROUP BY CATEGORY     ) ORDER BY PRICE DESC

50 - 5월 식품들의 총매출 조회하기 SELECT A.PRODUCT_ID, A.PRODUCT_NAME, SUM(A.PRICE*B.AMOUNT) AS TOTAL_SALES FROM FOOD_PRODUCT AS A INNER JOIN FOOD_ORDER AS B ON A.PRODUCT_ID = B.PRODUCT_ID WHERE YEAR(B.PRODUCE_DATE) = 2022 AND MONTH(B.PRODUCE_DATE) = 5 GROUP BY A.PRODUCT_ID ORDER BY TOTAL_SALES DESC, A.PRODUCT_ID ASC

---

3. 학습하며 겪었던 문제점& 에러 + 회고

3-1 문제점& 에러: X

                           

3-2 회고:

1. AI 진단퀴즈와 코드카타 SQL을 완료하니 알고리즘을 할 시간이 애매했다. 시간 분배를 잘 해야 할 것 같다.

2. 통계 개념을 확실히 이해하고 넘어갈 필요가 있다 - 라이브 세션 재수강 필요

 

---

4. 내일 학습할 것은 무엇인지(기본적인 AI 진단퀴즈, 코드카타, TIL 제외)

- 주말(20,21일): 라이브 세션 재수강, 개인공부

- 월요일(22일): 통계(4강), 개인공부

 

AI 시대를 돌파할 취업 솔루션 | 내일배움캠프