사쿠의 데이터 블로그

★★ 이상점 탐지 ★★ 0. Auto Encoder 개념 -링크 1. Anomaly Detection with AE (1) - 링크 2. Anomaly Detection with AE (2) - 링크 이전 포스팅에서 정상 데이터와 비 정상 데이터간 분리가 잘되는 모습을 확인 했습니다. 오늘은 어떤 원리로 작동하는지 살펴보겠습니다. 그림2는 AutoEncoder를 간단히 표현한 그림입니다. 3 Input 이미지가 들어오면 Encoder는 (0.1, 0.3)으로 압축을 합니다. Decoder는 이를 이용해 원본과 최대한 비슷하게 만듭니다 비 정상 데이터가 들어와도 Encoder는 열심히 일을 하고 (0.7, 0.5)로 압축합니다. 이 때, Decoder는 어떤 Output을 만들어 낼까요? 4번 질문에 대답..

★★ 이상점 탐지 ★★ 0. Auto Encoder 개념 -링크 1. Anomaly Detection with AE (1) - 링크 이번 포스팅에서는 오토 인코더를 이용해 Mnist 데이터와 노이즈를 구분해 보겠습니다. 그전에, Auto Encoder는 만능이 아닙니다. 다른 알고리즘과 비교 후 더 나은 알고리즘을 택했으면 좋겠습니다. [대표적인 방법] 백 분위 점수와 상위 [1%, 0.1%, 0.01%] 점수를 비교 --> 이 방법은 상위 데이터에 이상점이 있을 경우 훨씬 저렴하게 탐지할 수 있습니다. AE로 이상점을 탐지하는 방법 항상 그렇듯, 가설을 세우고 문제를 해결해야 합니다. 이번에 세울 가설은 "AE는 비 정상 데이터가 들어오면 Error를 높게 배출한다" 입니다. 딥러닝이 마법도 아닌데 어..

★★ 이상점 탐지 ★★ 다른 블로그를 참조해보면 이상점 탐지는 여러 분야에서 활용하고 있다고 한다. 하지만 내가 들어보고 직접 경험해본 예시로는 아래 세 가지가 있다. 넷마블 - 비정상 유저 탐지 (링크) NCSoft - You Are a Game Bot! (링크) AWS .. (추후 수정) 모두들 각 분야의 문제를 효율적으로 해결했다. 그중, 넷마블이 소개했던 Auto Encoder를 활용한 이상점 탐지를 재현해보려 한다. 이상점 탐지란!?! 회귀분석을 공부했던 분이라면 Outlier를 떠올려도 무방할 것 같다. 데이터 set에서 나올 수 없는 혹은 나오기 힘든 데이터를 이상점이라고 말한다. 이전 포스팅 AE 개념에서 다뤘던 Mnist 데이터를 이용해 진행하려 한다. Mnist에서 나올 수 없는 데이터..