데이터 엔지니어링 과정/python(19)
-
[52일차] 다양한 분류 알고리즘
1. 로지스틱 회귀 💻 데이터 준비 import pandas as pd fish = pd.read_csv('https://bit.ly/fish_csv_data') 📍 read_csv() : pandas의 CSV 파일을 데이터프레임으로 변환해주는 함수 📌 k-최근접 이웃 분류기의 단점 : 훈련 세트의 범위를 벗어나면, 예측이 불가하다. 📍 unique() 함수 : 열이 갖고 있는 값을 중복값을 제외하고 알 수 있음 💻 생선의 종류 확인 # 어떤 종류의 생선 있는지 확인 print(pd.unique(fish['Species'])) >>> ['Bream' 'Roach' 'Whitefish' 'Parkki' 'Perch' 'Pike' 'Smelt'] 💻 종류를 제외한 나머지를 훈련 데이터로 넘파이 배열로 생성 ..
2023.03.08 -
[51일차] 회귀 알고리즘과 모델 규제
1. k-최근접 이웃 회귀 2. 선형 회귀 3. 특성 공학과 규제 1. k-최근접 이웃 회귀 1. k-최근접 이웃 회귀 지도 학습 알고리즘 분류 : 샘플을 몇 개의 클래스 중 하나로 분류 회귀 : 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 숫자 예측 k-최근접 이웃 알고리즘 : 예측하려는 샘플에 가장 가까운 샘플 k개를 선택 ➡ 샘플들의 클래스 확인하여 다수 클래스를 새로운 샘플의 클래스로 예측 k-최근접 이웃 회귀 : 예측하려는 샘플에 가장 가까운 샘플 k개 선택 ➡ 이웃한 샘플들의 평균을 구해 수치 예측 2. 데이터 준비 💻 (농어 데이터) 훈련 데이터 준비 후 산점도 import numpy as np perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17..
2023.03.07 -
[50일차] 나의 첫 머신러닝 & 데이터 다루기
1. 인공지능과 머신러닝, 딥러닝 2. 코랩과 주피터 노트북 3. 마켓과 머신러닝 4. 훈련 세트와 테스트 세트 5. 데이터 전처리 1. 인공지능과 머신러닝, 딥러닝 1. 인공지능 : 사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술 📌퍼셉트론 : 로지스틱 회귀의 초기 버전 2. 머신러닝 규칙을 일일이 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 학습하는 알고리즘 연구 ➡ 스스로 규칙을 찾음 📌사이킷런 ➡ 파이썬 API를 사용하는데 파이썬 언어는 배우기 쉽고 컴파일하지 않아도 되기 때문에 사용하기 편리 3. 딥러닝 : 머신러닝 알고리즘 중 인공 신경망을 기반으로 한 방법들을 통칭 📌AlexNet : 이미지 분류하는 모델 📌텐서플로 : 구글의 딥러닝 라이브러리 2. 코랩과 주피..
2023.03.06 -
[47일차] 데이터 분석하기
1. 파이썬의 표준 GUI tkinter 라이브러리 내부에 있는 Tk 클래스의 객체를 생성해 만듦 텍스트, 이미지, 버튼, 엔트리 등 위젯이라고 부름 import tkinter help(tkinter) 🔎help() : 괄호 안의 정보를 알아볼 수 있음 tkinter은 패키지. 패키지 안에 있는 모듈을 부르는 3가지 방법은 from 패키지 import 모듈 # 패키지 중 특정 모듈만 사용하고 싶을 때 from 패키지.서브패키지 import 모듈 # 패키지에 서브패키지가 있을 때 1 from 패키지 import 서브패키지 # 패키지에 서브패키지가 있을 때 2 📌 객체 : 클래스가 instance화 과정을 거친 것 메모리를 적게 사용하려고 만들었음. 하나의 클래스가 갖고 있는 메모리로 하여금 여러 개로 만들..
2023.02.28 -
[15일차] 실전 데이터 분석 프로젝트
목차 1. 데이터 분석 프로세스 2. 데이터 획득, 처리, 시각화 심화 1. 데이터 분석 프로세스 주제 선정 분석의 목표와 목적 확립 데이터 수집 주제에 맞는 데이터 수집, 수집 방법 및 저장 관리, 원하는 데이터가 없을 시 직접 수집, 국내외의 다양한 사이트 적극적으로 활용 데이터 처리 데이터 분석이 가능하도록 데이터를 처리, 수정 및 제거(누락, 잘못된 값, 필요없는 값 등) 데이터 분석 통계적 분석 방법, 머신러닝 분석 방법 등을 이용해 각종 분석 및 예측 정보 도출 도출된 결과에서 유의미한 결론 및 앞의 과정 검증 2. 데이터 획득, 처리, 시각화 심화 1. 깃허브에서 파일 내려 받기 깃허브 : 소스코드 버전 관리를 위한 호스팅 서비스 import requests # 깃허브의 파일 URL url ..
2023.01.11 -
[14일차] 웹 API
목차 1. 웹 API의 이해 2. 정부의 공공 데이터 가져오기 1. 웹 API의 이해 API (Application Programming Interface) : 응용 프로그램에서 사용할 수 있도록 기능을 제어할 수 있게 만든 인터페이스 웹 API : 웹 어플리케이션 개발에서 다른 서비스에 요청을 보내고 응답을 받기 위해 정의된 명세 (www.programmableweb.com/category/all/apis) 1. 웹 API의 데이터 획득 과정 정보를 요청하면 원하는 데이터를 전송한다. REST (Representational State Transfer) API = 요청하면 응답 후 연결을 끊음 Streaming API = 강제로 연결을 끊기 전까지 연결함 2. 웹 API의 인증 방식 인증이 필요한 경우..
2023.01.09