강아지로 살고싶다

목차  영화 리뷰 데이터를 이용해 긍정/부정을 예측하는 인공지능 모델을 만드는 과정입니다.모델은 Hugging Face의 DistilBERT 모델을 사용하여 Fine-tuning하고, 학습된 모델을 배포하는 방법까지 다루겠습니다. 1. 프로젝트 소개 🎯영화 리뷰에서 긍정과 부정을 예측하는 모델을 개발하려면, 텍스트 분류 모델을 사용해야 합니다. 이를 위해 Hugging Face에서 제공하는 DistilBERT 모델을 활용하여 Fine-tuning을 진행하고, 학습된 모델을 실제 데이터에 적용하여 예측을 수행합니다.2. 필요한 라이브러리 설치 📦먼저, 필요한 라이브러리를 설치합니다. datasets 라이브러리를 사용하여 IMDb 데이터셋을 다운로드하고, transformers 라이브러리를 사용해 모델을..

목차 1. 토크나이저란? 🤖토크나이저는 NLP 파이프라인의 핵심 구성 요소 중 하나입니다. 토크나이저의 주요 역할은 텍스트를 모델이 처리할 수 있는 데이터로 변환하는 것입니다. 모델은 숫자만 처리할 수 있기 때문에, 토크나이저는 텍스트 입력을 숫자로 변환해야 합니다.예를 들어, "Jim Henson was a puppeteer"이라는 문장을 토크나이징하면 ** ['Jim', 'Henson', 'was', 'a', 'puppeteer'] **와 같이 나누어질 수 있습니다. 그러나 더 복잡한 언어적 규칙에 따라 subword tokenization 방식으로 "language"라는 단어를 "lan"과 "guage"로 나눠서 처리할 수도 있습니다.2. 토크나이저의 역할 🛠️토크나이저의 역할은 단순히 텍스트를..

Fine-tuning은 머신러닝, 특히 딥러닝에서 중요한 기법 중 하나입니다. 기존에 훈련된 모델을 사용하고, 이를 특정 작업에 맞게 재훈련하는 과정이 바로 Fine-tuning입니다. Hugging Face의 Transformers 라이브러리는 이러한 Fine-tuning을 손쉽게 구현할 수 있는 도구를 제공하며, 이미 훈련된 모델을 자신의 데이터에 맞게 맞춤화할 수 있습니다.  1. Fine-Tuning이란? 🔄이미 사전 훈련된 모델을 사용하여, 특정 작업을 위해 모델의 파라미터를 조금 더 조정하는 과정입니다.이 과정은 대규모 데이터셋에서 학습된 모델이 다른 데이터셋에 대한 작업에 더 잘 적응할 수 있도록 합니다.사전 훈련된 모델은 일반적으로 대규모 데이터셋을 사용해 훈련됩니다. 이후 Fine-tu..

목차1. Pipeline이란? 📊Transformers 라이브러리에서 가장 기본적인 함수입니다.이 함수는 모델과 필요한 전처리 및 후처리 단계를 연결한 것이며, 예측하고싶은 데이터를 넣어주기만 하면 된다.이 과정을 몇 줄의 코드로 처리할 수 있습니다.pipeline은 다음과 같은 주요 기능을 제공합니다:감정 분석질문 응답텍스트 요약번역음성 텍스트화 등2. pipeline 사용하기주요 기능중에 감정분석, 문장생성, 번역, 이미지분류를 해보겠습니다.Google Colab에서 트랜스포머 라이브러리를 기본으로 제공해주기 때문에 설치하지 않아도 된다.from transformers import pipeline2-1. 감정 분석 💬이미 학습이 되어있는 인공지능을 가져온다.# 허깅페이스의 디폴트 감정 분석 모델 ..

목차  최근 AI 분야에서 가장 주목받고 있는 플랫폼 중 하나가 바로 Hugging Face입니다. 이 플랫폼은 주로 자연어 처리(NLP) 분야에서 강력한 도구를 제공하고 있으며, 머신러닝 모델을 쉽게 사용하고 공유할 수 있는 환경을 제공합니다. Hugging Face는 특히 Models, Datasets, Spaces라는 핵심 기능을 통해, 개발자들이 더욱 쉽게 고성능 AI 모델을 사용하고 배포할 수 있게 도와줍니다. 이번에는 Hugging Face의 주요 기능과 그 활용 방법에 대해 자세히 알아보겠습니다.https://huggingface.co/ Hugging Face – The AI community building the future.The Home of Machine Learning Create..

목차 최근 머신러닝 및 시계열 분석 분야에서 Prophet 라이브러리를 활용한 예측 모델링이 주목받고 있습니다. Facebook(현재 Meta)에서 개발한 Prophet은 계절성, 추세, 휴일 효과 등을 손쉽게 반영하여 시계열 데이터를 예측할 수 있는 강력한 도구입니다. 이번 포스트에서는 Prophet을 활용하여 실제 매출 데이터를 기반으로 미래 매출을 예측하는 과정을 단계별로 소개하고자 합니다.1. Prophet 라이브러리 소개Prophet은 다음과 같은 특징을 가지고 있습니다.쉬운 사용법: 복잡한 시계열 모델을 단 몇 줄의 코드로 구현 가능자동화된 계절성 및 추세 분석: 주간, 월간, 연간 등 다양한 계절성을 자동으로 반영휴일 효과 반영: 특정 이벤트나 휴일의 효과를 손쉽게 추가 가능Robust: 결..

목차  최근 머신러닝, 데이터 분석, 딥러닝 등 다양한 분야에서 파이썬을 활용한 실습이 활발히 이루어지고 있습니다. 이와 함께, 구글 Colab(Google Colaboratory)은 클라우드 기반의 Jupyter Notebook 환경을 무료로 제공하여 손쉽게 파이썬 코드를 작성하고 실행할 수 있는 강력한 도구로 자리 잡았습니다. 오늘은 구글 Colab의 기본 사용법과 함께, 작업 중 필요한 데이터 파일을 쉽게 관리할 수 있도록 구글 드라이브 연동 방법을 소개하려고 합니다.1. 구글 Colab 소개구글 Colab은 웹 브라우저만 있으면 어디서든 파이썬 코드를 실행할 수 있는 환경을 제공합니다.주요 특징무료 GPU 및 TPU 지원별도의 설치 없이 바로 사용 가능협업 및 공유가 용이한 문서 기반의 인터페이스..