사쿠의 데이터 블로그

목차 Credential 파일 준비 python 연동 연동 및 테이블 불러오기 테이블 입력하기 및 수정 Credential 파일을 하나로 관리하는 이유 현재, 재직중인 회사에서는 Bigquery를 분석용 DB로 이용하고 있다. 나는 엔지니어링 팀은 아니지만 옆에서 귀동냥으로 배운 내용들이 있어서 정리해두려고 한다. (실제로 DB 담당자와 함께 고민을 했다!) 먼저 회사는 프로젝트(=Bigquery Project)마다 독립된 내용을 담아둔다. 예를 들어, 게임 회사라면 A 게임, B 게임을 각각의 프로젝트라고 보는 것이다. 그리고 접근할 수 있는 인증키(=Credential Key)가 부여되어서 Python에서 데이터를 불러올 수 있다. 그런데 전에는 프로젝트마다 인증키를 만들고 관리했던적이 있었는데, 분..

공부를 위해 Kaggle 커널을 필사했으며, 원본 출처를 남깁니다. (원본 주소 : https://www.kaggle.com/dansbecker/permutation-importance) Permutation Importance Using data from multiple data sources www.kaggle.com Introduction 모델에 대해 가장 기본적인 질문 중 하나는, 예측에 가장 큰 영향을 미치는 변수(feature)는 무엇일까? 이런 개념을 변수 중요도라고 한다. 필자는 적용 사례 리스트에서 모든 목적에 대해 변수 중요도가 효과적으로 사용되는 것을 보았습니다. 이번 페이지에서는 Permutation importance에 중점을 둘 것입니다. 대부분의 다른 접근 방식과 비교하여 Pe..

★★ 이상점 탐지 ★★ 0. Auto Encoder 개념 -링크 1. Anomaly Detection with AE (1) - 링크 이번 포스팅에서는 오토 인코더를 이용해 Mnist 데이터와 노이즈를 구분해 보겠습니다. 그전에, Auto Encoder는 만능이 아닙니다. 다른 알고리즘과 비교 후 더 나은 알고리즘을 택했으면 좋겠습니다. [대표적인 방법] 백 분위 점수와 상위 [1%, 0.1%, 0.01%] 점수를 비교 --> 이 방법은 상위 데이터에 이상점이 있을 경우 훨씬 저렴하게 탐지할 수 있습니다. AE로 이상점을 탐지하는 방법 항상 그렇듯, 가설을 세우고 문제를 해결해야 합니다. 이번에 세울 가설은 "AE는 비 정상 데이터가 들어오면 Error를 높게 배출한다" 입니다. 딥러닝이 마법도 아닌데 어..

★★ 이상점 탐지 ★★ 다른 블로그를 참조해보면 이상점 탐지는 여러 분야에서 활용하고 있다고 한다. 하지만 내가 들어보고 직접 경험해본 예시로는 아래 세 가지가 있다. 넷마블 - 비정상 유저 탐지 (링크) NCSoft - You Are a Game Bot! (링크) AWS .. (추후 수정) 모두들 각 분야의 문제를 효율적으로 해결했다. 그중, 넷마블이 소개했던 Auto Encoder를 활용한 이상점 탐지를 재현해보려 한다. 이상점 탐지란!?! 회귀분석을 공부했던 분이라면 Outlier를 떠올려도 무방할 것 같다. 데이터 set에서 나올 수 없는 혹은 나오기 힘든 데이터를 이상점이라고 말한다. 이전 포스팅 AE 개념에서 다뤘던 Mnist 데이터를 이용해 진행하려 한다. Mnist에서 나올 수 없는 데이터..

오토 인코더(Auto Encoder)는 무엇일까? Input과 Output을 동일하게 만들어 주는 모델로 설명할 수 있을 것 같다. 그럼, 1. Input과 Output을 동일하게 만드는... 쓸데 없어 보이는 일을 할까? 2. 모델의 구조는 왜 하필이면 이렇게 생긴걸까? 오늘은 두개의 질문에 스스로 답변을 해보려 한다. 왜!? Input과 Output을 동일하게 만드려고 하는가? 만약, 오토인코더의 목적이 Input과 Ouput을 동일하게 만드는 것이라면 누군가는 이렇게 생각 할 수 있겠다. 1 2 3 def AutoEncoder(input): output = input return output cs 더이상 Input과 Ouput을 동일하게 만드는게 목적이 아님을 눈치챘을 것이다. AutoEncoder..

★★ 아나콘다 기준 설명 입니다 ★★ pytorch는 여타 다른 패키지들과는 달리 설치방법이 있습니다. pip install torch Anaconda에서 위 명령어로 실행하면 설치가 안되더라구요 저는... 보통 Python 패키지들은 Error가 나면서 해결할 수 있는 방법도 알려주는데요. 이번에는 아래 링크로 가보라고 하네요. http://pytorch.org PyTorch An open source deep learning platform that provides a seamless path from research prototyping to production deployment. pytorch.org 가장 첫번째 탭인 Get Started 를 누르면 설치 방법들이 나와있습니다. 그럼 이제 가장 ..