사쿠의 데이터 블로그

★★ 이상점 탐지 ★★ 0. Auto Encoder 개념 -링크 1. Anomaly Detection with AE (1) - 링크 2. Anomaly Detection with AE (2) - 링크 이전 포스팅에서 정상 데이터와 비 정상 데이터간 분리가 잘되는 모습을 확인 했습니다. 오늘은 어떤 원리로 작동하는지 살펴보겠습니다. 그림2는 AutoEncoder를 간단히 표현한 그림입니다. 3 Input 이미지가 들어오면 Encoder는 (0.1, 0.3)으로 압축을 합니다. Decoder는 이를 이용해 원본과 최대한 비슷하게 만듭니다 비 정상 데이터가 들어와도 Encoder는 열심히 일을 하고 (0.7, 0.5)로 압축합니다. 이 때, Decoder는 어떤 Output을 만들어 낼까요? 4번 질문에 대답..

★★ 이상점 탐지 ★★ 0. Auto Encoder 개념 -링크 1. Anomaly Detection with AE (1) - 링크 이번 포스팅에서는 오토 인코더를 이용해 Mnist 데이터와 노이즈를 구분해 보겠습니다. 그전에, Auto Encoder는 만능이 아닙니다. 다른 알고리즘과 비교 후 더 나은 알고리즘을 택했으면 좋겠습니다. [대표적인 방법] 백 분위 점수와 상위 [1%, 0.1%, 0.01%] 점수를 비교 --> 이 방법은 상위 데이터에 이상점이 있을 경우 훨씬 저렴하게 탐지할 수 있습니다. AE로 이상점을 탐지하는 방법 항상 그렇듯, 가설을 세우고 문제를 해결해야 합니다. 이번에 세울 가설은 "AE는 비 정상 데이터가 들어오면 Error를 높게 배출한다" 입니다. 딥러닝이 마법도 아닌데 어..

★★ 이상점 탐지 ★★ 다른 블로그를 참조해보면 이상점 탐지는 여러 분야에서 활용하고 있다고 한다. 하지만 내가 들어보고 직접 경험해본 예시로는 아래 세 가지가 있다. 넷마블 - 비정상 유저 탐지 (링크) NCSoft - You Are a Game Bot! (링크) AWS .. (추후 수정) 모두들 각 분야의 문제를 효율적으로 해결했다. 그중, 넷마블이 소개했던 Auto Encoder를 활용한 이상점 탐지를 재현해보려 한다. 이상점 탐지란!?! 회귀분석을 공부했던 분이라면 Outlier를 떠올려도 무방할 것 같다. 데이터 set에서 나올 수 없는 혹은 나오기 힘든 데이터를 이상점이라고 말한다. 이전 포스팅 AE 개념에서 다뤘던 Mnist 데이터를 이용해 진행하려 한다. Mnist에서 나올 수 없는 데이터..

오토 인코더(Auto Encoder)는 무엇일까? Input과 Output을 동일하게 만들어 주는 모델로 설명할 수 있을 것 같다. 그럼, 1. Input과 Output을 동일하게 만드는... 쓸데 없어 보이는 일을 할까? 2. 모델의 구조는 왜 하필이면 이렇게 생긴걸까? 오늘은 두개의 질문에 스스로 답변을 해보려 한다. 왜!? Input과 Output을 동일하게 만드려고 하는가? 만약, 오토인코더의 목적이 Input과 Ouput을 동일하게 만드는 것이라면 누군가는 이렇게 생각 할 수 있겠다. 1 2 3 def AutoEncoder(input): output = input return output cs 더이상 Input과 Ouput을 동일하게 만드는게 목적이 아님을 눈치챘을 것이다. AutoEncoder..