사쿠의 데이터 블로그

★★ 이상점 탐지 ★★ 0. Auto Encoder 개념 -링크 1. Anomaly Detection with AE (1) - 링크 2. Anomaly Detection with AE (2) - 링크 이전 포스팅에서 정상 데이터와 비 정상 데이터간 분리가 잘되는 모습을 확인 했습니다. 오늘은 어떤 원리로 작동하는지 살펴보겠습니다. 그림2는 AutoEncoder를 간단히 표현한 그림입니다. 3 Input 이미지가 들어오면 Encoder는 (0.1, 0.3)으로 압축을 합니다. Decoder는 이를 이용해 원본과 최대한 비슷하게 만듭니다 비 정상 데이터가 들어와도 Encoder는 열심히 일을 하고 (0.7, 0.5)로 압축합니다. 이 때, Decoder는 어떤 Output을 만들어 낼까요? 4번 질문에 대답..

★★ 이상점 탐지 ★★ 0. Auto Encoder 개념 -링크 1. Anomaly Detection with AE (1) - 링크 이번 포스팅에서는 오토 인코더를 이용해 Mnist 데이터와 노이즈를 구분해 보겠습니다. 그전에, Auto Encoder는 만능이 아닙니다. 다른 알고리즘과 비교 후 더 나은 알고리즘을 택했으면 좋겠습니다. [대표적인 방법] 백 분위 점수와 상위 [1%, 0.1%, 0.01%] 점수를 비교 --> 이 방법은 상위 데이터에 이상점이 있을 경우 훨씬 저렴하게 탐지할 수 있습니다. AE로 이상점을 탐지하는 방법 항상 그렇듯, 가설을 세우고 문제를 해결해야 합니다. 이번에 세울 가설은 "AE는 비 정상 데이터가 들어오면 Error를 높게 배출한다" 입니다. 딥러닝이 마법도 아닌데 어..