티스토리

데싸스터디

검색하기

블로그 홈

데싸스터디

ds-apprendre.tistory.com/m

낭만가이 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

arXiv 올리기 기존 출판되었던 논문을 arXiv에 올리려다 보니, 몇가지 시행착오가 있어 기록으로 남긴다.그냥 pdf를 다운받아서 올리면 되는 줄 알았는데, Latex으로 제출해야 한다. 나는 Overleaf에서 논문을 작성했었는데, 이를 기준으로 순서를 정리하자면, 0. 먼저 오버리프 로그를 보면서 에러나 워닝은 최대한 처리해준다. 워닝의 경우 arxiv에서 그냥 넘어갈 수도 있으나,,,, arxiv 컴파일이 워낙 예민해서 오버리프에서 최대한 없애고 가는게 좋은 것 같다. 1. Overleaf 우측 상단에 보면 "Submit" 메뉴가 있다. 이걸 누른 뒤에 arXiv를 선택해준다. 그 다음에 뜨는 메뉴에서 아래 arXiv를 선택한다.2. 위 버튼을 누르면 arXiv에 제출할 수 있는 형태로 zip 파일을 생성해준다... 공감수 1 댓글수 0 2025. 3. 9.
[논문읽기] ScanQA: 3D Question Answering for Spatial Scene Understanding (CVPR 2022) 3D Scene 정보를 바탕으로 사용자가 자연어로 질문을 하면 답변을 하는 동시에 해당되는 물체를 찾아주는 ScanQA 모델을 개발하였다. 이 모델의 개발을 위해서 ScanNet 데이터와 QA pair가 결합된 ScanQA데이터셋도 새로 생성하고 공개하였다. ScanQA Dataset기존에 존재하던 3D-QA 데이터셋들이 템플릿으로 질문/대답이 이루어지는 반면에 ScanQA에서는 자연어 질의응답으로 데이터가 구성된다. (템플릿방식: (MT-EQA )“Does share same color as in ?”과 같이 정해진 형태에 단어만 갈아끼우는 방식) ScanRefer에서는 하나의 타겟 오브젝트에 대한 QA만 가능했지만 ScanQA에서는 여러 물체에 대한 질문도 가능하다. 데이터셋 생성 방식ScanR.. 공감수 1 댓글수 1 2024. 12. 19.
연구용 노트북 고민 루나레이크 vs 맥북 요즘 기존에 쓰던 젠북이 부쩍 느려져서.. 새로운 노트북을 알아보고 있다. 그동안 쓰던 젠북은 2021년에 구입한 이놈인데...ASUS 젠북 UX435EG-A5109T (SSD 1TB) : 다나와 가격비교 [다나와] ASUS 젠북 UX435EG-A5109T (SSD 1TB)최저가 0원prod.danawa.com 외장 GPU가 조그만 거라도 달려 있으면 딥러닝 모델도 돌려보고 이리저리 유용하지 않을까 했는데,, 사실 거의 쓸일이 없다. 게임같은 거 하면 그래픽이 더 좋아지려나. 근데 게임도 안하니 소용 없고, 배터리만 많이 먹어서 휴대성만 안좋아지는 것 같다. 작업시간은 체감상 5시간정도?? 줌미팅 같은 거 하면 2시간 정도를 못버틴다ㅠㅠ 사실 다른 거는 대강 감수하며 쓰겠는데 배터리 오래 못가는 거는 가.. 공감수 5 댓글수 6 2024. 12. 17.
[논문읽기] Perceiver: General Perception with Iterative Attention 2021년 ICML에서 DeepMind가 발표하였던 Perceiver 논문을 읽어보았다. Multimodal 데이터를 효과적으로 처리할 수 있다는 점에 관심이 생겨 읽어보게 되었다. 입력값이 어떤 형태로 들어오든 같은 구조로 처리할 수 있다는 부분이 골자이다.주된 아이디어는 어떤 Input이 들어오든 이를 Cross Attention을 통해 latent space로 잘 맵핑하겠다는 것이다. 이때 latent space의 표현력이 부족할 수도 있기 때문에 Attention을 여러번 반복함으로써 이를 상쇄한다. 모델 구조주요 특징은 아래와 같다.일반적인 Transformer 모델은 Self-attention을 많이 사용하는데, 이 연구에서는 Latent space를 가정하고 Latent array와 Inpu.. 공감수 1 댓글수 0 2024. 12. 1.
[논문읽기] 3D-LLM: Injecting the 3D world into Large Language Models MIT IBM Watson 랩 및 Umass Amherst 등 여러 대학 출신들로 구성된 연구팀에서 진행중인 연구로 2024년 NeurIPS에 Spotlight로 발표되었다. ( 이름에서 바로 알 수 있듯이 3D 데이터와 LLM을 연결시켜 여러 가지 작업들을 할 수 있도록 하는 연구이다. 요즘 Vision Language Model (VLM)들이 많이 나오고 있는데, 이의 3D 버전이라고 생각하면 편할 듯 하다. 현재 Arxiv에 올라와 있는 논문은 NuerIPS에 제출되기 전 버전인 듯 하다. 아래 링크에서 보는 게 정확할듯...NeurIPS Poster 3D-LLM: Injecting the 3D World into Large Language Models 아래는 이 모델을 트레이닝하기 위해 직접 생.. 공감수 3 댓글수 4 2024. 11. 29.
논문읽기: Visual Instruction Tuning (LLAVA) VLM (Vision Language Model)중 유명한 LLAVA를 발표한 논문이다. 지난 CVPR에서 저자로 참여하신 이용재 교수님이 톡을 하셨는데 뜨거운 인기를 확인할 수 있었다. 이 논문 이후로도 여러 후속 연구들이 나온 것으로 아는데, 그 시작점인 LLAVA를 한번 읽고 정리해본다. GPT-assisted visual instruction data generationCOCO 데이터셋에서는 Caption과 Bounding Box가 함께 제공된다. Text-Image pair가 같이 제공된다는 점에서 긍정적이기는 하나, 대화의 형태는 아니므로, 인간의 질문에 대답하는 등의 Task를 수행하기는 쉽지 않다. 따라서 저자들은 GPT-4를 활용하여 Caption을 대화형태로 바꾸었다. 구체적으로는 GP.. 공감수 1 댓글수 0 2024. 11. 26.
NVCC 관련 에러 새로 구성된 GPU 클러스터에서 Tensorflow 코드를 돌리려고 하니 아래와 같은 에러 발생:2024-11-22 01:08:36.644679: W tensorflow/compiler/xla/stream_executor/gpu/asm_compiler.cc:109] Couldn't get ptxas version : FAILED_PRECONDITION: Couldn't get ptxas/nvlink version string: INTERNAL: Couldn't invoke ptxas --version2024-11-22 01:08:36.645637: I tensorflow/tsl/platform/default/subprocess.cc:304] Start cannot spawn child process: N.. 공감수 0 댓글수 0 2024. 11. 22.
논문읽기: GigaPose: Fast and Robust Novel Object Pose Estimation via One Correspondence (CVPR 2024) 6D Pose estimation 중 초기 자세 추정 (Coarse pose estimation)에 관한 논문으로 빠른 inference speed와 Detection/Segmentation 에러에 강건하다는 점을 장점으로 소개하고 있다.아래는 대표 그림인데, 빠른 Inference 속도와 Occlusion이 있는 상황에서도 정확한 추정이 가능한 점이 눈에 띈다. MethodsGenerating templates처음에 생성되는 템플릿의 갯수를 줄이기 위하여, 6DoF Object pose는 out-of-plane rotation, in-plane rotation, 3D translation으로 나누어서 접근하였다. 템플릿은 out-of-plane rotation을 정확하게 추정하는데 초점을 맞추어 .. 공감수 0 댓글수 0 2024. 8. 19.
논문읽기: FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects (CVPR 2024) 이 논문은 6D Pose estimation에 관한 논문으로 BOP Challenge - Model-based unseen tasks on unseen objects(6D Localization)에서 1위에 올라가 있다. (24년 8월 9일 기준) BOP: Benchmark for 6D Object Pose Estimation (cvut.cz) BOP: Benchmark for 6D Object Pose EstimationModel-based 6D localization of unseen objects – BOP-Classic-Core This leaderbord shows the overall ranking for Model-based 6D localization of unseen objects on .. 공감수 1 댓글수 0 2024. 8. 12.
논문읽기: Open-Vocabulary 3D Semantic Segmentation with Foundation Models (CVPR 2024) 이번에 CVPR 학회에 다녀왔는데 그 중 흥미로워보이는 논문 몇 개를 골라 찬찬히 읽어보았다. 본 논문에서는 다양한 VLM(Vison-Language Model), VFM(Vision Foundaion Model)을 적극적으로 이용하여 3D semantic segmentation을 weak supervised 형식으로 학습하는 방법론을 제시하였다. 3D-Text multimodal을 제공하는 VLM은 없기 때문에 2D VLM을 징검다리 삼아 학습 파이프라인을 구성한 점이 특징이다. 논문링크:Jiang_Open-Vocabulary_3D_Semantic_Segmentation_with_Foundation_Models_CVPR_2024_paper.pdf (thecvf.com) 방법론1. Mapping Im.. 공감수 1 댓글수 0 2024. 6. 30.
WSL2에서 쿠다 사용 현재 개인 작업용으로 윈도우 PC를 사용하고 있는데, 여기에는 NVIDIA RTX3090이 설치되어 있다.사실 PC에서도 모델 학습, 테스트를 하고자 GPU 달린 것으로 샀는데 윈도우에서 뭔가 하기에는 좀 답답한 면이 많아서 잘 안쓰고 있었다. 그런데 최근에 WSL2 (Windows Service for Linux)가 굉장히 원활하게 잘 작동한다고 해서 이걸 써보기로 했다. CUDA on WSL (nvidia.com) CUDA on WSL6.1. Notice This document is provided for information purposes only and shall not be regarded as a warranty of a certain functionality, condition, or q.. 공감수 1 댓글수 1 2024. 5. 30.
Tensorflow GPU를 잘 인식하지 못하는 경우 Anaconda를 이용해서 Tensorflow를 설치하였는데, GPU가 안잡히는 문제가 발생하였다.설치를 하고, 아래와 같이 명령어를 입력했을 때 GPU 리스트가 떠야 하는데, 빈 리스트만 나오는 문제가 발생..(PyTorch를 쓰면, 명령어가 잘 정리되어 있는데.. Tensorflow는 좀 난잡하게 되어 있어서 이런 문제가 상대적으로 잦은 것 같다.)python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))"2024-05-06 22:21:44.368198: I tensorflow/core/util/port.cc:113] oneDNN custom operations are on. You may see slightly.. 공감수 0 댓글수 2 2024. 5. 6.
timm 사용가능한 pretrained model weights 리스트 timm (PyTorch Image Models) 에서는 사전 학습된 model weights를 쉽게 다운받아서 활용할 수 있다. 이때 어떤 Pretrained model weights가 사용가능하고, 원하는 Weights를 사용하기 위해서 어떤 keyword를 사용해야 하는지를 간단하게 적어본다. 먼저, 사용가능한 Pretrained model weights 리스트를 뽑기 위해서는 아래와 같이 입력해주면 된다. import timm print(timm.list_models(pretrained=True)) 모델은 아래와 같이 생성할 수 있다. model = timm.create_model('efficientnet_b0.ra_in1k', pretrained=True) 자세한 내용은 공식 Documentat.. 공감수 0 댓글수 2 2024. 1. 26.
Distributed learning이 시작되지 않는 경우 Tensorflow docker를 새로 생긴 A100 GPU 서버에 옮겨놓고 코드를 돌려보려고 하는데트레이닝이 시작이 안되고... 계속 멈춰 있는 현상이 발생하였다.(강제 종료도 안되고... ㅠㅠ) Tensorflow에서 다음과 같이 Mirrored strategy를 사용했는데, NCCL (CUDA에서 GPU간 커뮤니케이션 관련 라이브러리인듯) 을 기본으로 사용한다고 한다. 그런데 NCCL 설정에 문제가 있으면 이런 현상이 발생한다고 한다. mirrored_strategy = tf.distribute.MirroredStrategy() 코드 실행하기 전에 Shell에서 다음과 같이 설정을 바꾸어주니 돌아가는 것 같다.export NCCL_P2P_DISABLE="1"export NCCL_IB_DISABLE=.. 공감수 2 댓글수 0 2023. 11. 28.
Low Power Computer Vision 후기 / 1위팀 코드 리뷰 다른 연구실 홈페이지를 구경하다보니, LPCV (Low Power Computer Vision) 이라는 경진대회에 참여했길래 관심이 생겨 이번에 나도 도전해 보게 되었다. 간단하게 얘기하면, 저전력으로 최대한 정확하게 동작하는 컴퓨터 비전 알고리즘을 찾는 경진대회라고 보면 된다. 매년 세부적인 주제는 바뀌는데, 올해(2023년)에는 Jetson Nano (2GB)정도의 저사양 장비에서 드론으로 촬영한 재난 장면을 Semantic segmentation하는 주제로 진행되었다. 샘플 이미지 하나만 보면 아래와 같다. 대회와 관련한 자세한 내용은 아래를 참고하면 된다. LPCV - Low Power Computer Vision LPCV - Low Power Computer Vision lpcv.ai 데이터는 .. 공감수 1 댓글수 1 2023. 10. 11.
논문읽기: Diverse Branch Block: Building a Convolution as an Inception-like Unit (CVPR 2021) 요약 여러 branch를 갖는 diverse branch block으로 학습을 한 뒤, Inference 시에는 KxK kernel로 대체하여 효율성을 높였다. Diverse branch는 KxK kernel로 변환이 가능한 형태들을 조합하여 만들었다. 방법론 설명 아래 그림에서와 같이 트레이닝시에는 왼쪽과 같이 여러 Branch를 가지도록 하고, Inference 시에는 오른쪽 그림과 같이 단순한 구조로 바꿔준다. 여러 Block을 보면 아래와 같은 구조가 된다. 아래 그림과 같이 각 Branch에 사용할 수 있는 후보군은 총 6개를 고려하였고, 각각은 모두 KxK kernel로 치환할 수 있음을 설명하고 있다. 실험 결과 CIFAR-10 / CIFAR-100 / ImageNet에서 DBB를 활용하면 .. 공감수 0 댓글수 2 2023. 9. 12.
Torch Cuda compiler version mismatch Anaconda를 이용하여 아래와 같이 torch, cudatoolkit, cudnn 등을 설치하였다. conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia 그리고 나서 Torch에서 cuda로 작성된 custom module을 컴파일하려고 하니 다음과 같은 에러가 발생하였다. The detected CUDA version (12.0) mismatches the version that was used to compile PyTorch (11.7). Please make sure to use the same CUDA versions Anaconda에서 cuda 관련된 .. 공감수 1 댓글수 1 2023. 9. 12.
Jetson Nano SDK manager 활용하여 설치 일반적으로 Jetson nano에 처음 세팅을 할때 SD card image를 하나 구워서 끼워 넣는 방식으로 많이 사용했었다. 그런데 이번에 JetPack 4.3버전으로 세팅해야 할 일이 생겼는데 JetPack 4.3은 SD Image를 제공하지 않아서 SDK manager를 이용하여 세팅을 해야했다. SD card image를 사용할 때는 세팅하는게 상당히 간단했었는데... SDK manager를 이용하려니 정보도 파편화되어있고, 하드웨어 세팅도 까다로워서 쉽지가 않았다. 공식 홈페이지에 설명이 어느 정도 되어 있긴 한데, Jetson을 Host computer와 연결하는 것이 문서에 쓰인 것처럼 간단하지만은 않아서 시행착오가 있었다. Install Jetson Software with SDK Man.. 공감수 0 댓글수 1 2023. 3. 22.
MMSegmentation 활용기 이번에 정보통신산업진흥원(NIPA)에서 주관하는 2022 인공지능 경진대회에 연구실원들과 함께 참가하게 되었다. 총 10개의 Task 중 하나를 골라서 다른 참가자들과 경진을 하면 되는 것이었다. 우리가 선택한 과제는 "준지도학습 기반의 항만 구조물 객체 분할 문제" 이었는데, 항만에서 촬영한 사진중에서 트럭, 지게차, 컨테이너 집는기계?, 배 가 있는 부분을 따로 표시해 주는 과제였다. 즉, Semantic segmentation 문제로 보면 되고, 준지도(Semi-supervised) 학습 기반이기 때문에 일부 이미지에 대해서만 레이블이 제공되었다. (Labeled는 200장이 안되었던 것 같고, Unlabeled는 1600장 정도였던 것 같다.) 또 Pretrained model chekpoint를.. 공감수 0 댓글수 2 2022. 7. 24.
논문읽기: SemiFL: Communication Efficient Semi-Supervised Federated Learning with Unlabeled Clients 이 논문은 FedMatch와 비슷하게 Semi-Supervised Federated Learning에 대해 연구한 논문이다. 21년 6월에 아카이브에 올라왔고, 아직 학회에 억셉은 안된 것으로 보인다 https://arxiv.org/abs/2106.01432v2 SemiFL: Communication Efficient Semi-Supervised Federated Learning with Unlabeled Clients Federated Learning allows training machine learning models by using the computation and private data resources of many distributed clients such as smartphones an.. 공감수 0 댓글수 1 2022. 1. 7.
논문읽기: FedMatch(FEDERATED SEMI-SUPERVISED LEARNING WITHINTER-CLIENT CONSISTENCY & DISJOINT LEARNING) Federated Learning과 Semi-supervised learning을 결합한 FSSL(Federated Semi-Supervised Learning)에 대한 연구이다. 우리나라 카이스트에서 나온 논문이다. https://arxiv.org/abs/2006.12097 Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning While existing federated learning approaches mostly require that clients have fully-labeled data to train on, in realistic settings, data obtained at the clie.. 공감수 0 댓글수 0 2022. 1. 5.
논문 요약: Survey of Quantization Methods for Efficient Neural Network Inference Quantization의 최근 트렌드를 파악해보기 위해 구글링을 하던 중 서베이 논문이 있어 간단히 정리해본다. https://arxiv.org/abs/2103.13630 A Survey of Quantization Methods for Efficient Neural Network Inference As soon as abstract mathematical computations were adapted to computation on digital computers, the problem of efficient representation, manipulation, and communication of the numerical values in those computations arose. Strongly.. 공감수 1 댓글수 0 2022. 1. 3.
RTX 3090에 맞는 Tensorflow 설치(Anaconda이용) 최근에 대학원에서 RTX3090을 새로 설치하면서 이를 활용해보고자 했는데 Tensorflow 버전 때문에 잘 작동하 않았다. 조금 알아보지 Tensorflow 최신버전에서만 잘 작동하는 것 같다. RTX3090을 쓰기 위한 몇가지 버전 관련한 요구사항은 아래와 같다. Tensorflow 2.5 이상 cudatoolkit 11.2 이상 cudnn 8.1이상 다음 링크에서 확인할 수 있다: https://www.tensorflow.org/install/source#tested_build_configurations 이를 설치하기 위하여 아래 커맨드를 실행해 주었다. cudatoolkit, cudnn 버전을 특정해주지 않았는데, 2021년 9월 30일 기준으로 cudatoolkit은 11.3.1, cudnn은.. 공감수 1 댓글수 0 2021. 9. 30.
머신러닝 일반 - 질의응답3 1. CNN이 Fully connected NN에 비해 이미지를 처리하는데 더 좋은 이유를 3가지 이상 설명하시오. CNN에서 kernel을 사용하여 Locality를 더 잘 감안할 수 있다. Parameter를 Sharing하는데, 이미지의 한 부분에서 학습이 이뤄지면 다른 부분에도 적용이 가능하다. CNN이 Fully connected NN에 비해 더 적은 파라미터를 사용하므로, 빠른 Training이 가능하다. 2. K-means clustering을 할 때 적절한 k를 선택하는 방법에 대해 설명하시오. Rule of thumb(sqrt(n/2))를 사용하거나 Elbow method를 사용한다. Elbow method는 각 k별로 Diameter를 그래프로 나타낸 후 감소폭이 줄어드는 k를 선택하면.. 공감수 0 댓글수 0 2021. 9. 21.
머신러닝 일반 - 질의 응답2 1. Dimension Reduction에 쓰이는 PCA와 Random forest에 대하여 설명하고, 장단점을 쓰시오. PCA PCA는 Principal Component Analysis의 약자로, 주어진 Data의 분산을 가장 잘 유지하는 직교축들을 선택하여 Dimension을 줄이는 기법이다. Data로부터 Covariance Matrix를 생성한 후 Covariance Matrix의 가장 큰 Eigenvector를 k개만큼 선택하고, 원본 데이터를 이 Eigenvector로 이루어진 Vector space로 Projection하는 방식으로 이루어진다. 장점 변수들간의 상관관계 즉 다중공선성을 제거할 수 있고, Noise를 제거할 수 있다. 숨은 latent vecotr를 찾는 효과가 있다. 단점 .. 공감수 0 댓글수 1 2021. 9. 21.
머신러닝 스터디 - Support Vector Machine(SVM) Support vector machine(SVM)은 N차원 공간상에서 데이터를 구분하는 Hyperplane(N-1차원의 평면)을 그림으로써 데이터 분류를 하는 알고리즘이다. Support vector machine을 다루기에 앞서 Maximal margin classifier, Support vector classifier에 대해 알면 좋다. Maximal margin classifier 아래와 같이 Data가 2차원 평면상에 분포되어 있다고 할 때, Data를 분류할 수 있는 선(1차원)을 그을 수 있다. 이 때 H2, H3 둘 다 데이터를 두개의 그룹으로 나눠주고 있다.(H1의 경우 정확하게 분류를 못하고 있다.) 그렇지만 직관적으로 봐도 H3가 H2보다는 더 잘 분류하고 있는 것을 알 수 있다. 이.. 공감수 0 댓글수 1 2021. 9. 20.
머신러닝 일반 - 질의응답1 1. Feature scaling이란 무엇인가? 데이터가 주어졌을 때 각 Feature마다 범위가 다를 수 있다. 예를 들면 아이스크림 판매량을 예측한다고 할 때 설명변수로 온도, 광고비가 주어진다고 하면 온도는 기껏해야 수십 단위로 변하는 반면 광고비는 수억단위로 변한다. 이렇게 되면 온도의 영향은 거의 반영할 수 없을 것이다. 따라서 모든 Feature의 영향이 골고루 반영될 수 있도록 비슷한 범위로 맞춰 주는 것을 Feature scaling이라고 한다. Min-Max scaling, Normal scaling, Robust scaling 등 여러 가지 Scaling 방법을 활용할 수 있다. 2. Gradient descent에 대해 설명하고, Gradient descent가 잘 동작하기 위해 주의.. 공감수 0 댓글수 0 2021. 9. 12.
머신 러닝 스터디 - Boosting Boosting은 일반적인 기법이지만 Decision tree와 결합되어 자주 사용된다. 앞서 설명한 Bagging과 다른 점은 Boosting은 순차적(Sequential)이라는 점이다. Bagging에서 각 데이터셋을 독립적으로 부트스트랩(Bootstrap)한 후 트리를 적합하고 이들을 결합하였다. 여기에서 이번에 만든 트리가 다음 트리를 만드는데 영향을 미치지 않는다. Boosting은 이와 다르게 작은 트리(일반적으로 1개의 분할만 있는 그루터기, Stump)를 순차적으로 계속 생성한다. 이번에 생성한 트리가 제대로 예측하지 못한 데이터에 대해 좀 더 집중하는 방식으로 다음 트리를 생성한다. 또한 샘플에 대한 Bootstrap도 수행하지 않는다. 분류트리 생성 절차(Adaboost 방식) 1. 훈.. 공감수 0 댓글수 0 2021. 9. 5.
Tistory 블로그에 수식 넣기 1. 오른쪽 위의 작성 모드를 "기본모드" 에서 "HTML"로 변경 2. HTML 코드의 맨 윗부분에 아래 코드 추가. 3. 수식을 Latex 형태로 작성 후 $$ ... $$으로 둘러싸 준다. 줄바뀜이 일어나는데 Inline으로 하는 방법은 잘 모르겠다. 온라인에서 Latex작성을 쉽게 하려면 아래 사이트를 활용할 수 있다! https://latex.codecogs.com/eqneditor/editor.php Online LaTeX Equation Editor - create, integrate and download latex.codecogs.com 또는 아래 코드블럭을 위와 동일한 부분으로 붙여넣어준 후 출처: https://forestunit.tistory.com/35 [미니도넛의 정보저장소] 수.. 공감수 0 댓글수 0 2021. 9. 5.
머신러닝 스터디 - Bagging, Random forest Bagging Decision tree는 훈련 데이터셋과 다른 데이터셋에 대해서 예측 성능이 낮다.(Variance가 크다.) 이러한 단점을 극복하기 위하여 원본 데이터셋으로부터 Bootstrap을 이용하여 B개의 Training dataset을 생성한 후 B개의 Decision tree를 만들고 그 예측 결과들을 평균할 수 있다. 이러한 방법을 Bagging이라고 한다. 만약 분류 문제인 경우 평균 대신 투표(Voting)을 사용한다. 장점 단일 Decision tree에 비해 분산을 낮출 수 있다. 각 변수별로 지니 계수 또는 엔트로피가 감소하는 양을 관측함으로써 변수의 중요도를 파악할 수 있다. 단점 결과 모델을 해석하기 어렵다. Random Forest 원본 데이터셋으로부터 Bootstrap을 이.. 공감수 0 댓글수 0 2021. 9. 3.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.