[Pandas] 데이터 셀렉션과 Null, 중복 데이터 처리하기

💡 Index

 

1. 데이터 셀렉션

1) 데이터 프레임의 [  ] 연산자

(1) 컬럼(col)을 기준으로 데이터를 셀렉션 하는 경우

# 하나의 col에 대해 셀렉션 하는 경우
df['col_name']

# 두개 이상의 Col에 대해 셀렉션 하는 경우
# -> Col들을 리스트형태로 묶는다고 생각하면 [[]]와 같이 사용하는 이유를 이해하기 편하다.
df[['col_name1','col_name2']]


# Series 형태는 인덱스가 부여되어 프린트된다는 것이 리스트와는 다른 점이다.
type(df['col_name']) # output: pandas.core.series.Series

# 특정 조건을 부여하고 싶은 경우
df[df['col_name']== 2]] # col_name의 값이 2인 조건을 만족하는 행 추출

(2) 로우(row)를 기준으로 데이터를 셀렉션 하는 경우

# row 슬라이싱
df[0:4] # 0부터 3까지의 행 프린트

 

2) 데이터 프레임의 iloc 연산자 

iloc는 흔히 우리가 0부터 인덱스를 부여하는 값을 기준으로 셀렉션한다고 보면된다. 다만 주의할 점은 현재 데이터프레임에 지정되어있는 인덱스를 기준으로 하는 것은 아니다.(데이터프레임의 지정된 인덱스 기준은 loc) 인덱스는 문자일수도, 숫자일수도 있고 또 그 값이 숫자일지라도 0부터 정렬이 잘 되어있지 않을 수도 있기때문이다. 따라서 iloc는 컴퓨터가 알아서 지정한 0부터 시작하는 인덱스로 생각하면 이해가 빠르다. (Like 행의 번호)

 

# 특정 데이터 값 가져오기
df.iloc[4,5] # 4번째 행의 5번째 컬럼의 값

# iloc에 인덱싱을 사용하지 않을 경우 => 에러
df.iloc[0,'name'] # 이와 같이 숫자가 아닌 문자형을 입력하면 에러가 뜬다.

# 슬라이싱 이용하여 추출
df.iloc[:5,[0,2]] # 처음부터 5번째까지의 데이터와 1,3번쨰 열 추출

 

 

3) 데이터프레임의 loc 연산자

loc는 앞서 말한 것 처럼 현재 데이터프레임에 설정되어있는 인덱스를 기준으로 추출한다.

# 특정 데이터 추출하기
df.loc[1,'Name'] # iloc와 달리 인덱스가 아닌 값을 입력할 수 았다.

# 슬라이싱 이용하기
df.loc[2:4] # 2 ~ 4번째 행 추출

# df의 인덱스가 문자형으로 되어있을 경우 추출
df.loc['g'] # 인덱스가 숫자형이 아닌 문자형일 경우에는 숫자를 이용해 loc를 사용할 수 없다. 

df.loc['c:'] # 인덱스가 c인 행에서부터 끝까지 다 추출

 

2. 특정 컬럼(col) 데이터 살펴보기

1 ) Unique값 확인하기

# 방법 1
col_name.unique() # unique한 값들을 array 형태로 반환

col_name.unique()[2] # unique 값들 중에서 3번째 값 반환

# 방법 2
np.unique(list(df['col_name']))

 

 

3. 특정 조건 만족하는 데이터 추출하기 ; 데이터 필터링

1 ) 특정 조건 만족하는 컬럼 가져오기

# 컬럼 a의 값이 3 이상인 데이터 중에서 a, c열만 출력
df[df['a'] >= 3][['a','c']]

# 조건 만족 유무를 bool 값으로 출력(저장)하기
_a = (df['a'] >= 3) & (df['b'] < 16) # 각 행이 이를 만족하는 지에 대한 True, False 값

# a 가 3 이상이고, b 가 16 미만이거나 c 가 30 인 데이터를 출력
df[(df['a'] >= 3) & ((df['b'] < 16) | (df['c'] == 30))]

 

2 ) 특정 조건 만족하는 컬럼 인덱스 가져오기 

df[df['name'] > 20].index

# 응용 -> 해당 조건 만족하는 컬럼을 삭제하고 싶은 경우, 해당 인덱스를 저장하고 df.drop(인덱스 리스트)

 

3 ) 복수 조건 만족하는 데이터 추출 (AND, OR, NOT)

조건	식
AND	&
OR	|
NOT	~

• AND

df[(df['col1'] < 100) & ~df['col2'] == 'pass')]
# col1의 값이 100 미만이고 col2의 값이 pass가 아닌 row 탐색

• OR

df[(df['col1'] < 100) | ~df['col2'] == 30)]
# col1의 값이 100 미만이거나 col2의 값이 30인 탐색

• 조건을 3개이상 사용하는 경우

        → 연산자 우선 순위를 주의해야한다. NOT > AND > OR 순으로 높음.

        따라서 순서에 따라 리턴되는 값이 다르다. 

 

4 ) Isin으로 특정 데이터만 가져오기

isin의 주의할 점은, 주어진 값과 정확히 일치하는 값에 대해서만 데이터를 가져온다는 것이다. 

df[df['name'].isin['Heikkinen, Miss. Laina','Dooley, Mr. Patrick']

만일 특정 문자열, 기호 등을 포함하는 데이터를 찾고싶다면 방법은 아래와 같다. 

 

5 ) Contains로 특정 문자열을 가진 데이터 가져오기

df[df['name'].str.contains('H')]
# name 컬럼에 H가 들어가는 경우를 모두 반환