지금은마라톤중

데이터 규모에 따른 스킬들 - 엑셀 : 사용 간편 : 데이터 100만개 : 만들어진 기능만 사용가능 : 속도 느림 - 파이썬 : 파이썬문법 : 데이터 RAM 용량만큼 : 기능을 만들어서 사용가능 : 속도 빠름 - 파이썬 : 가상메모리 : DASK - 데이터베이스 : SQL문법 : 데이터 SSD(HDD) 용량만큼 : 속도 빠름 - 빅데이터 : 여러개의 컴퓨터를 1대의 컴퓨터처럼 사용 : SPARK : scala, python 3. 연산자 : CPU를 사용하는 방법 - 산술 : +, - , =, , =, d2 # 출력 : (False, True, True)..

2023년 1월 2일 새해가 되고 첫 수업이었다. 오늘은 컴퓨터의 전체적인 개요와 파이썬에 대해 배웠다. 수업시간에 배운 내용과 수업에서 언급했지만 설명이 없었던 부분들을 추가적으로 공부하여 정리하였다. 컴퓨터 구조 1. 컴퓨터 : 계산을 수행하는 기계, 2진수 사용, 2GHz는 1초에 2번 0,1 판단할 수 있다 2. 컴퓨터 구조 : 중앙처리장치(CPU) - 연산수행, 주기억장치(RAM) - 저장된 파일을 메모리로 복사/ CPU와 SSD를 연결, 보조기억장치(SSD, HDD) - 파일 저장 3. OS : 물리적 장치를 컨트롤하는 소프트웨어, CPU를 할당 4. 프로그래밍 : OS에서 물리적 장치를 사용해 컴퓨터에게 연산과제를 수행하게 하는 것을 말함, 컴퓨터와 의사소통하는 수단, APP을 만드는 방법 ..

1. crawler : 기는 것, 파충류 -> 웨베 사이트를 기어다니면서 정보를 모아준다. 2. web crawling : 크롤러를 사용해 웹 페이지의 데이터를 추출해 내는 행위 3. 터미널에 install을 이용해서 설치 가능 ex) pip install requests * requests : 크롤링하기 위해 요청하는 모듈 4. 함수 : 자주 사용하는 것을 모아서 사용할 수 있게 해놓은 것, ex) 조립기계, construct_machine(green, blue) 5. 모듈 : 함수들을 모아놓은 파일, 남들이 만들어놓은 것을 사용 가능, import로 제시해야 사용 가능 ex) requests. 6. get 함수 : return 응답값(응답값을 처리 후 돌려준다). 7. # : 주석, 코드로 인식하지 ..

멋쟁이사자처럼 AI스쿨 8기가 시작되었다. 저작권 문제로 코드를 직접적으로 올리지 못해서 내용 위치의 TIL을 작성해보려고 한다. 1일씩 포스팅하면 너무 많은 것 같고 1주일씩 포스팅하면 너무 적은 것 같아. 2~3일씩 묶어서 포스팅을 해보려고 한다. TIL가 오늘 배운 내용을 정리하는 것이지만 2~3일 분량인 것은 비밀~🤫 그럼 이제 포스팅 시작! 파이썬 기초 문법 1. 변수 설정 : < = 는 퇴화되고 = 사용 2. list와 dict 차이 : list [] 사용, dic {} 사용 3. dict 구조 : {”key” : “value” } 4. 반복문 : for 과 while 1) for : range 안에 임의의 x값을 하나씩 불러서 반복 2) while : Trued일 경우 무한 반복, break..

Titanic - 11. Feature engineering - Change string to categorical and Pearson coefficient https://youtu.be/9GmeGAoBM7M 이번에는 문자열을 그래도 사용하면 인식의 오류가 있어서 숫자열로 바꿔주는게 좋다. map 과 딕셔너리를 이용하여 숫자의 값으로 표현하여 효율성을 높이는 작업을 했다. df_train['Initial'] = df_train['Initial'].map({'Master':0, 'Miss':1, 'Mr': 2, 'Mrs': 3, 'Other': 4}) df_test['Initial'] = df_test['Initial'].map({'Master':0, 'Miss':1, 'Mr': 2, 'Mrs': 3, ..

Titanic 9. Feature engineering - Fill Null in Age https://youtu.be/qVknmB5OElE * Feature Engineering : Feature Engineering은 머신러닝 알고리즘을 작동하기 위해 데이터에 대한 도메인 지식을 활용하여 특징(Feature)를 만들어내는 과정이다. 다른 정의를 살펴보면, 머신러닝 모델을 위한 데이터 테이블의 컬럼(특징)을 생성하거나 선택하는 작업을 의미한다. Feature Engineering은 모델 성능에 미치는 영향이 크기 때문에 머신러닝 응용에 있어서 굉장히 중요한 단계이며, 전문성과 시간과 비용이 많이 드는 작업이다. - Feature가 중요한 이유 머신러닝은 입력 데이터의 함수이며 선형 또는 비선형의 형태를..

파이썬 스터디 중에 여러 질문이 들어왔다... 선형대수도 모르고 여러모로 모르는게 많은 초심자라 정신이 없었다ㅜㅜ 그래서 멘토님이 주신 과제!! -시간복잡도와 공간복잡도 공부하기- 우선 시간복잡도와 공간복잡도는 알고리즘의 성능을 판단하는데 쓰인다. 그래서 좋은 알고리즘인지를 확인한다. 시간복잡도와 공간복잡도 모두 작은 것이 효율적이고 좋은 알고리즘을 의미한다. 1. 시간복잡도(Time Complexity) : 알고리즘을 수행하는데 걸리는 시간을 분석한 결과를 말한다. - 시간복잡도는 '실행시간'이 아닌 '연삿횟수'를 센다. - 만약 '실행시간'으로 시간복잡도 계산하면 1) 모든 컴퓨터(ex. 일반 컴퓨터, 슈퍼 컴퓨터)에서 동일한 결과를 산출하지 못한다. 2) 측정을 위한 완성된 프로그램이 필요하다. -..

캐글 타이타닉 Titainic 7. EDA - FamilySize https://youtu.be/TjcAtKuzVrg df_train['FamilySize']= df_train['SibSp']+df_train['Parch'] + 1 - pandas 시리즈끼리 사칙연산이 가능하다. - +1은 자신을 의미한다. print('Maximum size of Family:', df_train['FamilySize'].max()) print('Minimum size of Family:', df_train['FamilySize'].min()) f, ax = plt.subplots(1,3,figsize=(40,10)) sns.countplot('FamilySize', data= df_train, ax=ax[0]) ax[..