본문 바로가기

프로그래밍 언어10

[파이썬] 학습하면서 팁들 정리 NLP에서 데이터 정제를 하려고 합니다.pandas를 쓰면서 자주 사용하지는 않지만, 알면 도움이 되는 내용을 정리해 보았습니다. pandas로 csv파일 읽어올 때, 필요한 행만 불러오기# 'nrows' 옵션 사용data = pd.read_csv("/data/Reviews.csv", nrows=100000) 중복 제거# pandas 함수인 'drop_duplicates()'를 사용하여 중복을 쉽게 제거할 수 있다!data.drop_duplicates(subset = ['Text'], inplace=True) 오래걸리는 일들 프로세스 시각화하기사용 모듈: tqdmclean_summary = []# tqdm을 사용하여 진행 상황 표시for i in tqdm(data.index, desc="Preproces.. 2024. 8. 13.
[파이썬] Lambda 람다, map, reduce 함수, 일급객체 함수 1. lamda 함수한 줄만으로 익명의 함수를 만들 수 있음!(lambda 매개변수 : 리턴값)(인수) 타이타닉 캐글을 해보면서 이렇게 데이터를 전처리 하는 부분이 있어서 가져와 보았습니다.df_train['Fare'] = df_train['Fare'].map(lambda i: np.log(i) if i > 0 else 0) 의미는 df_train 데이터 셋에서 'Fare' 열의 데이터를 lambda함수를 사용하여 log를 취하는데 i가 0보다 큰 경우에만 로그를 씌우고, 그렇지 않으면 0으로 처리하는 부분 입니다.  2. map 함수특별한 처리를 할 때 사용하는 함수map(적용시킬 함수, 적용할 값들)# 표현 방식map(함수, 리스트 or 튜플)  3. filter함수함수를 통과시킬 때 사용하는 .. 2024. 5. 21.
[파이썬] 코딩도장 이터레이터 문제 (39.6 - 39.7) 이터레이터가 감이 잡히지 않아, JUNG퍼실님께 코딩도장을 추천 받아 방문하였는데처음에는 아예 감도 잡히지 않았지만, 이론을 먼저 학습하고 이터레이터를 클래스로 구현해보면서 감을 잡기 좋았습니다!코딩도장 파이썬 100제도 시간날때마다 조금씩 풀었더니 레벨도 4로 올라가더군요. 39.6 연습문제: 배수 이터레이터 만들기 코드# class 정의class MultipleIterator: # 초기화 def __init__(self, stop, multiple): self.current = 0 # 현재 숫자 유지, 0부터 지정된 숫자 직전까지 반복 self.stop = stop # 반복을 끝낼 숫자 self.multiple = multiple # __iter_.. 2024. 5. 20.
[파이썬] 이터레이터, 제너레이터, 데코레이터 이터레이터, 제너레이터, 데코레이터 이름이 비슷해서 헷갈려 내가 보려고 정리하는 글 입니당. 특징 및 차이점  1. 이터레이터  2. 제너레이터  3. 데코레이터 사용법  1. 이터레이터  2. 제너레이터  3. 데코레이터 특징 및 차이점 이터레이터이터레이터는 여러번 사용 가능 반복 가능한 객체를 다루는 데 사용되는 개념'next()' 메서드를 사용하여 다음 요소로 이동  next() 메서드를 통해 모든 요소를 다 진행했을 때 StopIteration' 예외를 발생 이터레이터는 필요할 때만 메모리를 사용하여 메모리 효율에 좋은 장점제너레이터제너레이터는 이터레이터를 생성해주는 함수return 대신 yield 사용모든 함수를 한꺼번에 실행하는 것이 아닌 필요할 때만 실행하는 방식(느긋한 계산법, lazy .. 2024. 5. 20.
[파이썬] 리스트, 튜플, 집합, 딕셔너리 오늘도 리스트 투플 집합을 정리하면서 포스팅을 해보려고 합니다. 리스트, 튜플, 집합은 모두 파이썬에서 사용하는 자료형 입니다. 리스트 특징생김새는 이렇게 생겼습니다. (대괄호 [ ] 를 사용합니다.)list1 = [1, 2, 3]list2 = ['a', 'b', 'c']순서가 있습니다. 리스트 인덱싱 및 슬라이싱이 가능합니다.리스트끼리 수정이 가능합니다. (리스트 = 리스트 + 튜플은 불가능)+기호는 리스트를 합칩니다. ex) list1+list2*기호는 리스트를 반복합니다. ex) list*2del 키워드로 원소 삭제 가능 ex) del list2[1:3] 튜플생김새는 괄호() 기호를 사용하며, 생략도 가능합니다.tuple = 1, 2, 3tuple2 = (4, 5, 6)순서가 있습니다.튜플만 수정이.. 2024. 5. 16.
머신러닝을 위한 파이썬 정리 파이썬에는 여러가지 규칙이 존재하는데, 하나씩 차근차근 정리해보려고 합니다. 식별자식별자(identifier)는 이름을 붙일 때 사용하게 됩니다.식별자에게도 규칙이 있습니다.예약어는 사용할 수 없습니다. (예약어: 파이썬에서 공식적으로 사용하는 여러가지 규칙 언어들 - ex) def return True, False, while, and, or, not 등)특수문자는 _ 만 가능!숫자로 시작 금지식별자 내에 공백을 포함할 수 없음 산술 연산자산술 연산자의미예**거듭 제곱2 ** 4 = 16//몫 계산10 // 3 = 3%나머지 계산10 % 3 = 1  문자열 만들기' (따옴표)"" (쌍따옴표)''' (따옴표 3개)""" (쌍따옴표 3개) Escape Code표시의미예시결과기타\n개행하기print('뀨\n.. 2024. 5. 16.

티스토리툴바