개발새발

Hugging Face 기반 파인튜닝 및 모델 배포 완벽 가이드

[수업 정리: 모델 평가 및 업로드 과정]1. 데이터 출처 및 개요본 실습에서는 Hugging Face의 사전 학습된 모델과 IMDB 감성 분석 데이터셋을 활용하여 파인튜닝을 진행합니다.데이터 출처:IMDB 데이터셋: 영화 리뷰에 대한 감성 분석 데이터셋 (긍정/부정 라벨 포함)Hugging Face Hub에서 제공하는 사전 학습된 모델을 활용하여 파인튜닝 진행실습 개요:사전 학습된 모델을 불러와 추가 학습(Fine-tuning)학습된 모델을 평가하고 최적의 하이퍼파라미터 탐색학습된 모델을 Hugging Face Hub에 업로드하여 공유 및 배포업로드된 모델을 활용하여 감성 분석 수행2. 사전 준비 및 모델 불러오기2.1. 필요한 라이브러리 임포트from transformers import Trainer..

BERT 활용한 NLP 모델 예측 및 토큰화 완벽 가이드 (코드 포함)

1. 2개로 분류하는 모델 사용하기자연어 처리를 수행할 때, 긍정/부정을 분류하는 모델을 사용할 수 있습니다. 여기서는 Hugging Face의 AutoModel 계열 클래스를 활용하여 보다 고도화된 모델 사용법을 익힙니다. pipeline 기능은 간단하게 사전 학습된 모델을 로드하여 예측을 수행하는 데 적합합니다. 하지만, 특정 도메인(예: 도마뱀 종류를 분류하는 앱)에 특화된 모델을 사용하려면 Fine-tuning(모델 재학습) 또는 데이터 프리프로세싱(입력 데이터 조정)이 필요할 수 있습니다.   이러한 경우,  AutoModelForSequenceClassification 같은 Auto 계열 클래스를 활용하면 모델을 세밀하게 조정할 수 있습니다. from transformers import Aut..

허깅 페이스(Hugging Face)로 오브젝트 디텍션: 소화전 탐지 모델 만들기 A to Z

1. 오브젝트 디텍션(Object Detection)이란?오브젝트 디텍션은 이미지(또는 영상) 안에서 특정 물체가 어디에 있는지(바운딩 박스)와 무엇인지(클래스)를 찾아내는 기술입니다. 예를 들어, 사진 속 사람, 개, 자동차 등을 인식하고 위치를 표시해주는 기능이 대표적입니다.최근에는 Faster R-CNN, YOLO, SSD 등 유명 모델에서 나아가, DETR, DINO 등 Transformer 기반 모델이 속속 등장하여 높은 정확도와 다양한 응용 가능성을 보여주고 있습니다.2. 허깅 페이스(Hugging Face)에서의 오브젝트 디텍션허깅 페이스는 원래 NLP(자연어 처리) 분야로 유명했지만, 지금은 컴퓨터 비전 모델도 활발하게 지원하고 있습니다.DETR 시리즈YOLOS, DINOOWL-ViT (오..