티스토리
관련 서비스
  • Symbols스토리 홈바로가기바로가기
  • 브런치브런치스토리바로가기바로가기
  • 카카오스토리카카오스토리바로가기바로가기

컴퓨터와 수학, 몽상 조금
검색하기
블로그 홈

블로그 홈

컴퓨터와 수학, 몽상 조금

skyil.tistory.com/m
신고

컴퓨터공학, 딥러닝, 수학 등을 다룹니다.

구독자
91
방명록 방문하기
구독하기

주요 글 목록

  • 거대 언어 모델(LLM) 찍먹하기: GPT, LLaMA을 중심으로 오늘날 거대 언어 모델(Large Language Models; LLM)은 기술의 최첨단부터 일반 사용자까지 사회 전반에 영향을 주고 있습니다. ChatGPT의 사용자수는 이제 1억 8천만 명에 달하며, CVPR 2024에 공개된 논문 중 LLM 관련 단어가 제목에 들어간 논문만 40편에 달합니다. NVIDIA의 CEO 젠슨 황은 한 인터뷰에서 2023년 AI 분야의 가장 큰 성과가 LLaMA2라고 발언하기도 했습니다. 이제 더 이상 "내 연구분야와는 다른 분야니까"라고 치부하기에는 LLM의 영향력이 커지고 있는만큼, 지금까지 LLM의 발전을 간단히 되짚어보고, CloseAI 형태로 전환한 GPT를 대체할만한 오픈소스 LLM인 LLaMA를 정리해 보도록 하겠습니다. 본 글은 Zhao et al.의 A S.. 공감수 43 댓글수 2 2024. 3. 12.
  • 로지스틱 회귀 모델의 비용 함수 미분해보기 로지스틱 회귀는 입력을 두 가지의 범주로 분류하는 선형 이진 분류 모델이다. 선형 회귀 식에 로지스틱 함수를 씌워 출력값을 0-1 사이의 확률 값으로 만들어 분류를 수행한다. $$ \hat p = h_\theta (\mathbf{x}) = \sigma(\theta^\top_\mathbf{x})\\ \sigma(t) = \frac{1}{1+\exp(-t)}$$ 입력 $\mathbf x$에 대한 예측 $\hat y$는 다음과 같다. $$\hat y = \begin{cases} 0 &\text{if }\hat p < 0.5 \\ 1 & \text{if } \hat p \geq 0.5 \end{cases}$$ 로지스틱 회귀의 비용 함수는 다음과 같다. $$ J(\theta) = -\frac{1}{m}\sum^m.. 공감수 0 댓글수 0 2023. 12. 18.
  • 서포트 벡터 머신(SVM)의 최적화 본 포스팅은 고려대학교 강필성 교수님의 강의를 참고하여, SVM의 최적화 방법을 다룬 포스팅입니다. SVM의 기본 정의만 궁굼하신 분은 제 이전 포스팅을 참고해주세요! 서포트 벡터 머신은 두 데이터 집합을 나누는 결정 경계의 마진(margin)이 최대화 되는 결정 경계 $wx+b=0$를 탐색하는 모델이다. 마진이란 결정 경계와 가장 가까운 샘플인 서포트 벡터와 결정 경계의 거리를 의미한다. 위 그림에서, 파란색 샘플들의 클래스가 $y_i=1$이고 빨간색 샘플들의 클래스가 $y_i=-1$이라고 하면, 모든 샘플이 $y_i(wx+b) \geq 1$을 만족한다. 자료에 따라 결정 경계와 서포트 벡터의 거리 $\frac{1}{||w||^2}$를 마진으로 보기도 하고 서포트 벡터와 서포트 벡터의 거리 (즉, 앞선.. 공감수 0 댓글수 0 2023. 12. 13.
  • 연구 인생 첫 논문 서베이를 마치며 (서베이 팁) 연구실에 들어온 지 7개월, 마침내(?) 말로만 듣던 첫 서베이를 수행하게 되었다. 서베이(survey)란 어떤 분야의 연구나 프로젝트를 본격적으로 시작하기에 앞서, 해당 분야의 선행 연구 논문들을 조사하고 정리하는 과정이다. 서베이를 통해 기존 기술의 수준과 연구 방향을 파악하고, 우리가 진행할 연구의 방향이나 목표 수준을 설정하게 된다. 예를 들어 내가 새로운 치킨 양념을 개발하고자 한다면, 먼저 기존에 어떤 맛의 양념이 유행인지, 양념의 정량적인 지표가 어디까지 달성되었는지 알아야 한다. 시장에서 달콤한 양념이 유행인데 뜬끔없는 짠 양념을 연구한다거나, 이미 3000 스코빌의 매운맛 양념이 개발되었는데, 2800 스코빌의 매운맛 양념을 개발한다면 연구가 주목받기 어려울 것이다. 혹은 기존에 어떤 기.. 공감수 10 댓글수 1 2023. 7. 17.
  • 예제로 보는 트랜스포머/어텐션 (Attention is All You Need) 트랜스포머 모델의 중요성은 딥러닝 분야에 대해 공부하거나, 적어도 관심을 가지고 있는 사람이라면 구태여 설명할 필요가 없을 것이다. 2017년 NeurIPS에 소개된 이 모델은 그 논문의 도발적인 제목인 "Attention Is All You Need"(어텐션만 있으면 됨)에 걸맞는 파급력을 보였다. 해당 논문의 등장 이후로 트랜스포머가 제안된 자연어 처리 분야의 연구 방향은 기존의 순환 신경망(Recurrent Neural Nets, RNNs) 기반 방법론에서 어텐션 기반의 방법론으로 완전히 선회하였고, 이윽고 최근 엄청난 주목을 받고 있는 GPT까지 발전하였다. 자연어 처리 뿐만 아니라, 합성곱 신경망 이외에 대안이 없어 보였던 컴퓨터 비전 분야에서도 Vision Transformer(ViT)가 등장.. 공감수 9 댓글수 2 2023. 5. 31.
  • Video-to-Video Retrieval 맛보기 이 글은 다음 논문들의 내용을 조금씩 포함합니다. 제목을 클릭하면 각 논문의 자세한 리뷰를 볼 수 있습니다. Near-Duplicate Video Retrieval by Aggregating Intermediate CNN Layers Near-Duplicate Video Retrieval with Deep Metric Learning ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning What is Video Retrieval? Video Retrieval은 직역하면 영상 검색으로, 가지고 있는 전체 영상들의 DB에서 검색을 위해 제시된 쿼리(query)와 유사한 영상들을 찾아내는 Task이다. 쿼리는 다양한 형태로 주어질 수 있는데, 만약 쿼리.. 공감수 3 댓글수 0 2023. 5. 1.
  • Retrieval Task와 Metric Learning Retrival은 검색이라는 뜻으로, 입력된 쿼리(query)와 가장 유사한 샘플을 데이터베이스(DB)로부터 찾는 Task이다. Query와 DB의 종류에 따라 여러가지로 분류할 수 있는데, Text to Video Retrieval, Video to Video Retrieval과 같이 다양한 조합이 있을 수 있다. 우리가 흔히 사용하는 유튜브 검색은 단순히 생각하면 Text to Video라고 볼 수 있지만, 사실 검색에 영상과 텍스트 정보 뿐 아니라 메타 데이터를 비롯한 다양한 정보가 활용되므로 Multimodal Video Retrieval이라 할 수 있겠다. Metric Learning 머신러닝 모델을 통해 우리는 어떤 데이터를 어떤 parameter space에 임베딩하게 된다. Retrieva.. 공감수 0 댓글수 0 2023. 3. 24.
  • Multimodal Object Detection via Probabilistic Ensembling(ProbEN) 요약 객체 인식은 자율주행 차량 등 다양한 분야에서 활용되고 있다. 이때, 자율주행 차량과 같은 시스템들은 밤, 낮, 우천 시 등 다양한 환경에서 Object Detection을 수행해야 하는데, 이를 위해 일반적인 RGB 카메라 뿐만 아니라 열화상(Thermal) 카메라 등이 사용된다. 이 논문에서는 RGB와 Thermal 이미지와 같은 멀티모달 환경에서 모델 내부에서의 특성 융합(feature fusion)이 아닌, 독립된 모델들의 앙상블 방법을 통해 강건한 모델을 만드는 ProbEn 방법을 소개한다. 이 방법을 KAIST PD, FLIR 등의 데이터에서 테스트한 결과, 이전의 다른 방법들을 13% 이상의 차이로 앞서는 결과를 보였다. Introduction 일반적으로 열화상 이미지는 RGB 이미지에 비해.. 공감수 0 댓글수 0 2023. 2. 9.
  • M2Det: SSD based on Multi-Level FPN 요약 다양한 크기의 물체들을 인식하기 위해서는 다양한 해상도의 feature map들을 활용하는 것이 중요하다. Feature Pyramid Network는 다양한 해상도의 feature map을 적은 연산양으로 만들면서도, 합성곱 신경망 앞쪽에서 생성되어 자칫 low-level 정보가 부족할 수 있는 feature map들에도 뒤쪽 layer의 feature 들을 전달하여 여러 SOTA 모델들에서 활용되어 왔다. (DSSD, RetinaNet, RefineDet, Mask R-CNN 등) FPN이 좋은 성과를 많이 낸 것은 사실이지만, 객체 분류를 위해 사전학습된 backbone network에서 feature를 추출하는 한계 상 FPN은 객체의 간단한 정보들밖에 뽑아내지 못하는 문제가 있다. M2Det에서.. 공감수 0 댓글수 0 2023. 2. 2.
  • FPN (Feature Pyramid Network) 요약 Object Detection에서, Feature Pyramid는 다양한 크기의 물체들을 탐지하기 위한 주효한 방법 중 하나이지만, 많은 (당시) 최근 모델들이 다양한 scale의 feature map들을 만드는 데 컴퓨팅 성능이 너무 많이 요구되기에 feature pyramid를 만드는 접근을 피해왔다. FPN은 적절한 수준의 연산을 통해 Feature Pyramid를 생성하여 Faster R-CNN에 적용한 결과 COCO 데이터셋 SOTA를 달성하였고, 6FPS 속도를 보였다. Feature Pyramid Feature Pyramid란 객체 인식에 필요한 feature 들을 담고 있는 다양한 스케일의 feature map들을 말한다. 이미지에 포함된 객체들의 크기에 따라 다른 해상도의 feature .. 공감수 1 댓글수 1 2023. 2. 1.
  • YOLO v2(YOLO9000: Better, Faster, Stronger) 요약 Object Detection 모델이 딥러닝에 접목되면서 정확도와 속도 모든 측면에서 꽤 많은 발전이 있었지만, 여전히 Detection 모델을 학습시키기 위한 데이터셋은 모자라고 성능도 만족스럽지 않았다. YOLOv2는 PASCAL VOC 2007 데이터셋에서 67FPS, 76.8 mAP의 성능을 보였고, 40FPS에서는 78.6 mAP로 SOTA를 달성하였다. 또한, 이 논문에서는 Classification을 위한 데이터셋을 활용하여 Detection 모델을 학습시키는 방법을 제안하였는데, 이를 통해 ImageNet 데이터셋에서 학습된 YOLO9000 모델은 실시간으로 9000개의 클래스를 detection 할 수 있게 되었다. 논문은 제목처럼 YOLOv2의 개선점을 Better(정확도), Faste.. 공감수 1 댓글수 0 2023. 1. 30.
  • FPPI, LAMR, MR: Object Detection을 위한 지표들 머신러닝 Task가 복잡해질수록, 모델의 성능을 정확하게 측정하고 비교하기 위한 정밀한 지표들이 요구된다. Object Detection 분야에서는 일반적으로 Precision, Recall, Average Precision(AP), mean Avrage Precision(mAP) 등의 지표가 등장하는데, 오늘은 이에 더하여 FPPI, LAMR 등 조금 생소한 지표들도 다뤄보겠다. Precision (정밀도) Precision은 어떤 클래스에 속한다고 예측한 샘플 중, 실제로 해당 클래스에 속한 샘플의 비율을 의미한다. $$ \text{precision} = \frac{TP}{TP+FP} $$ precision을 높이기 위해서는 True Positive를 늘리는 것도 중요하지만, False Positiv.. 공감수 1 댓글수 0 2023. 1. 26.
  • R-FCN: Object Detection via Region-based Fully Convolutional Networks 요약 대부분의 Object Detection 모델들이 Image Classification을 위해 학습된 VGG 등의 사전학습된 모델들을 가져와 backbone network로 사용한다. 그런데, 이때 Image Classification과 Object Detection Task의 차이 때문에 Translation Invariance 딜레마가 발생한다. R-FCN은 이 딜레마를 해결하여 성능을 향상시킨 2-stage detector이다. Translation Invariance Dilemma Image Classification Task에서는 이미지 안에 존재하는 어떤 객체 하나의 클래스를 출력한다. 모델이 이미지 안에서 객체가 어떤 위치에 존재하던 같은 결과를 내는, Translation Invariance.. 공감수 0 댓글수 0 2023. 1. 20.
  • SSD: Single Shot MultiBox Detector 요약 앞선 글에서 SSD 논문을 전체적으로 읽고, 전체 내용을 번역하며 정리해봤었다. 이번 글에서는 SSD 논문과 모델이 제시한 새로운 기여들을 중심으로, 깔끔하게 논문을 요약 정리해보겠다. 서론 SSD 이전의 딥러닝 기반 Object Detection 모델은 R-CNN에서 파생된 2-stage 모델과, OverFeat, YOLO 등의 1-stage 모델이 있었다. 2-stage 모델은 별도의 영역 제안(Region Proposal) 과정을 통해 객체가 있는 것으로 판별되는 ROI(Region of Interest)들을 만들고, 이를 통해 Detection을 수행하는 두 단계의 방식으로 구성되어 일반적으로 높은 정확도와 느린 속도를 보였다. 1-stage 모델은 영역 제안 과정과 Detection을 구분하여 .. 공감수 0 댓글수 0 2023. 1. 11.
  • YOLO: You Only Look Once 부수기 [백 병장의 CV 부수기 6편] 드디어 백 병장의 CV 부수기 마지막 편이다. 마지막으로 살펴볼 CV 논문은 YOLO라는 약칭으로 유명한 You Only Look Once: Unified, Real-Time Object Detection이다. 이름에서 알 수 있듯이 1-stage Object Detection 모델이고, CV를 배우기 전부터 여러 차례 들은 기억이 있을 정도로 파급력이 있는 모델이다. 저자들을 보는데 Ross Girshick님이 3저자로 있는게 눈에 띄었다. 이 분은 어째 굵진한 CV 논문에 빠지는 일이 없는 것 같다. 대단하다. YOLO 소개 R-CNN으로 대표되는 기존 Object Detection 모델들은 Classification 모델을 활용하여 Detection을 수행한다. 이미지를 여러 개의 영역으로 나누고(.. 공감수 2 댓글수 0 2022. 12. 11.
  • OHEM 부수기 [백 병장의 CV 부수기 5편] 오늘은 Training Region-based Object Detectors with Online Hard Example Mining 논문에서 제안된 OHEM을 배워보자. 기존 2-stage Object Detection 모델들에서는 분류하여야 하는 클래스에 해당하지 않는 영역들에 배경(background) 클래스를 부여함으로써, Region Proposal 된 영역 중 잘못 제안된 영역들을 제거하였다. 그런데 이 방법을 사용하면 당연하게도, 제안된 수천 개의 Region들 중 다른 클래스에 비해 배경 클래스의 region들이 훨씬 많아져서 클래스 불균형 문제가 생긴다. 이를 해결하기 위해 Hard Negative Mining이라는 방법을 통해 적당한 region들을 골라 배경 클래스로 학습시켰는데, 이.. 공감수 0 댓글수 1 2022. 12. 10.
  • Faster R-CNN 부수기 [백 병장의 CV 부수기 4편] 이전 글에서 R-CNN(Regions with CNN features)와 이를 개선한 Fast R-CNN을 살펴보았다. Fast R-CNN은 R-CNN에 Spatial Pyramid Pooling을 활용한 ROI Pooling을 적용하여 학습과 실행 속도를 대폭 개선하고, 모델을 한 번에 end-to-end 학습이 가능하도록 하였다. 그러나, 여전히 Region Proposal을 CPU상에서 Selective Search 알고리즘으로 수행하여, 이미지별로 2천개의 ROI를 만드는 데 많은 시간이 소요되는 단점이 있었다. Faster R-CNN은 비로소 이 문제마저 해결하여, R-CNN을 매우 빠르게 동작하게 만든 모델이다. 논문 제목에서 부터 「Regional Proposal Network를 활용한 실시.. 공감수 1 댓글수 0 2022. 12. 4.
  • Fast R-CNN 부수기 [백 병장의 CV 부수기 3편] 백 병장의 CV 부수기, 전역(완결)까지 11일 남은 오늘은 Fast R-CNN을 부숴보겠다. Fast R-CNN은 이름에서 짐작할 수 있듯이 이전에 나도 리뷰한 적 있는 대표적인 2-stage Object Detection 모델인 R-CNN을 더욱 빠르게 개선한 모델이다. Fast R-CNN을 다루기 전에 R-CNN의 특징을 복습해보자. Regions with CNN Features 복습 R-CNN은 아래의 과정을 통해 이미지 속 객체를 분류한다. Region Proposal by Selective Search Feature Extraction by CNN Classification by SVM, Bounding Box Regression by Regressor model 사전 학습된 CNN을 통해 특.. 공감수 0 댓글수 0 2022. 12. 3.
  • OverFeat 부수기 [백 병장의 CV 부수기 2편] 지난번 R-CNN에 이어, 이번에는 컴퓨터 비전, Object Detection 분야의 초기 논문 중 하나인 OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks를 읽고 정리해보겠다. 이 논문에서는 sliding window 방식을 ConvNet에 효율적으로 적용하고, 객체 바운더리를 예측하는 Localization 문제를 위한 딥러닝 방식을 제시한다. 더불어 Bounding Box의 정확도를 올리기 위한 적층(accumulate) 방법을 소개하고, 하나의 신경망을 여러 개의 Task를 위해 동시에 학습시키는 법을 소개한다. 더불어, 이 논문에서 새로운 사전 학습 특성 추출기(feature extr.. 공감수 1 댓글수 0 2022. 11. 28.
  • R-CNN 부수기 [백 병장의 CV 부수기 1편] 오늘부터 차근차근 Computer Vision 분야에 입문하기 위한 프로젝트로 [백 병장의 CV 부수기]를 시작합니다. 많은 관심 부탁드립니다. CV라고는 합성곱 신경망 밖에 몰랐던 내게 R-CNN이 뭐냐고 물으면 Recurrent CNN 아니냐고 답할 때가 있었다. 그나마 최근에야 R-CNN이 Object Detection 분야의 기초 모델 중 하나인 Regions with CNN features 임을 알았다. 오늘은 R-CNN을 이론적으로 공부하고 정리해보았다. (R-CNN이 소개된 논문 Rich feature hierarchies for accurate object detection and semantic segmentation을 읽고 리뷰하는 것이 아닌, R-CNN 모델 자체에 대한 공부만 진행한.. 공감수 3 댓글수 0 2022. 11. 27.
  • Introduction to spiking neural networks: Information processing, learning and applications 스파이킹 신경망 개론: 정보의 처리, 학습과 적용 Introduction to spiking neural networks: Information processing, learning and applications Filip Ponulak, Andrzej kasinski Acta neurobiologiae experimentalis, 2011 survey 출처 : https://europepmc.org/article/med/22237491 Abstract 신경 정보neural information가 뉴런의 발사 주기firing rate로 인코딩 된 정보라는 관점은 수년간 신경생물학의 지배적 패러다임이었다. 이 패러다임은 또한 인공신경망artificial neural networks:ANN 이론에도 적용되었.. 공감수 9 댓글수 0 2020. 1. 4.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.