[Pandas] 데이터 프레임의 기본과 생성, 수정, 삭제

 

💡 Index

 

 

 

일단 가장 기본인 pandas를 import 해준다.

import pandas as pd

1. 데이터 프레임 불러오기

1) Encoding 지정해주기

한글 파일 폰트가 깨지는 것을 방지하기 위해 인코딩을 설정해준다.

아래 인코딩 방식은 Mac 운영체제에서 한글이 깨짐없이 잘 적용되었다.

encoding = 'utf-8'

df = pd.read_csv('./data/train.csv', encoding = 'utf-8')

2) 숫자 구분 기호 없이 데이터 불러오기

숫자에 콤마(,)로 천 단위 구분이 되어있는 경우, 데이터 프레임으로 불러왔을 때 Object형으로 인식하게 된다. 이 경우 콤마 때문에 한 번에 숫자형으로 변환되지 않는다. 따라서 초반에 콤마를 제거하여 데이터 프레임으로 불러오도록 한다.

**thousands = ","

df = pd.read_csv('./data/train.csv',thousands="," )

3) 컬럼명을 변경하여 데이터 불러오기

names에 컬럼명을 순서대로 작성하여 이름을 변경한다.
names = ['col1', 'col2']

df = pd.read_csv('./data/train.csv',  names= ['품목', '크기', '금액', '수수료'])

4) 첫 번째 열을 인덱스로 가져오기

index_col = 1

df = pd.read_csv('./data/train.csv',  index_col = 1)

5) 특정 원하는 컬럼만 데이터에서 가져오기

usecols = ['col1', 'col2']

df = pd.read_csv('./data/train.csv',  usecols=['품목', '크기'])

6) 데이터 프레임 csv 파일로 저장하기

인코딩에 주의하도록 한다.

df.to_csv('.csv', encoding = 'utf-8-sig')

2. 데이터프레임 생성

1) list와 array를 이용한 생성

import numpy as np

col_name1 = ['col1']
list1 = [1,2,3]
array1 = np.array(list1)
print('array1 shape: ', array1.shape)

# 리스트를 이용해 DataFrame 생성
df_list1 = pd.DataFrame(list1, columns=col_name1)
print('1차원 리스트로 만든 DataFrame: \n', df_list1)

# 넘파이 ndarray를 이용해 DataFrame 생성 
df_array1 = pd.DataFrame(array1, columns=col_name1)
print('1차원 array로 만든 DataFrame: \n', df_array1)

위 코드의 출력물은 다음과 같다.

2) Dictionary를 이용한 생성

dict = {'col1': [1,11], 'col2':[2,22], 'col3': [3,33]} # key는 문자열 칼럼명으로 매핑, Value는 리스트형 칼럼 데이터로 매핑
df_dict = pd.DataFrame(dict)
print('딕셔너리로 만든 DataFrame: \n', df_dict)

3) List를 이용한 생성

a = [[1, 4, 7], [2, 5, 8], [3, 6, 9]]
df3 = pd.DataFrame(a)

4) Nan 결측값 넣어서 생성

import numpy as np
a =  {'company' : ['abc', '회사', 123], '직원수' : [400, 10, 6], '위치' : ['Seoul', np.NaN, 'Busan']}
df4 = pd.DataFrame(a)

위 코드에 대한 결과물은 다음과 같다.

3. 데이터 프레임 복사하기

1) Shallow Copy

단순히 데이터 프레임의 값을 복제하는 방식으로, 하나의 데이터 프레임을 수정할 경우 복제한 데이터 프레임 역시 동일하게 값이 변경된다.

df = pd.DataFrame({'a': [1, 2, 3], 'b' : [4, 5, 6], 'c' : [7, 8, 9]})
df2 = df # df dataframe을 복제

위와 같은 방식에서 동일하게 변경이 적용되는 이유는 왼쪽 그림과 같이 하나의 객체를 변수 이름 두개로 공유하기 때문이다.

400

따라서 이를 해결하기 위해서는 아래와 같은 deep copy 방식을 사용한다.

2) Deep Copy

df = pd.DataFrame({'a': [1, 2, 3], 'b' : [4, 5, 6], 'c' : [7, 8, 9]})

# 방법 1
import copy
df2 = copy.deepcopy(df)

# 방법 2
df2 = df.__deepcopy__()

4. Column, Row 의 추가와 수정

1) Column ; 컬럼 추가하기

(1) 동일한 값을 넣어 컬럼 생성하기

간단하게 컬럼명을 지정하고 그 안에 동일한 값으로 채워넣을 수 있다 .

df['col_1'] = 0  #모든 데이터 값이 0으로 할당된 시리즈가 기존 데이터 프레임에 추가

(2) 기존 데이터 프레임의 컬럼을 활용하여 생성하기

기존 컬럼이 가지고 있는 값을 변형하여 생성할 수 있다.

titanic_df['Age_by_10'] = titanic_df['Age'] * 10
titanic_df['Family_no'] = titanic_df['SibSp'] + titanic_df['Parch'] + 1

(3) 특정 위치에 컬럼 생성하기

insert(삽입할 위치, 컬럼 이름, 컬럼 안에 들어갈 데이터)

df.insert(2, 'col_name', 'No.') 

2) Row 추가하기

inplace = True를 지정해야 기존 데이터프레임에 저장됨에 주의한다.

# 방법 1
df.append({'a' : 7, 'b' : 8, 'c' : 9}, ignore_index = True)

# 방법 2
df.loc[6] = [7, 8, 9]

위 코드에 대한 결과는 다음과 같다.

3) Column ; 컬럼 이름 변경하기

(1) 컬럼 전체의 이름 변경하기

컬럼의 수에 맞추어 전체의 이름을 지정해주어햐 한다.

df..columns = ['A','B','C','D','E','F',"G",'H',"I",'J','K','L']

(2) 특정 단일 컬럼 이름 변경하기

rename(columns={'기존 컬럼 이름' : '변경할 컬럼 이름})

df.rename(columns={'Name':'name'}, inplace=True)

5. 데이터프레임의 삭제

Drop( )

axis = 0 은 row 방향, axis = 1은 col 방향을 의미한다.
inplace = True를 해주어야 원본 데이터가 변경된다.

1) 컬럼 삭제하기

(1) column 이름을 통해 삭제하기

df.drop('col_name', axis=1, inplace=True)

(2) index 범위를 통해 삭제하기

idx = [x for x in range(3,5)]
titanic_df.drop(titanic_df.columns[idx], axis=1)

2) Row 삭제하기

(1) index 통해 삭제하기

인덱스 번호를 통해 행을 삭제한다.

df.drop([0,1,2], axis=0)

(2) 조건에 맞는 index 통해 삭제하기

df.drop(df[(df['a'] < 3) & (df['c'] == 4)].index)

6. Index의 설정

1) 인덱스 객체 추출하기

# 인덱스 객체 추출
indexes = titanic_df.index
print(indexes)
# Index 객체를 실제 값 array로 변환
print('Index 객체 array값: \n', indexes.values) # index 데이터는 식별성 데이터를 1차원 array로 가지고 있다. 

# ndarray와 유사하게 단일 값 반환 및 슬라이싱 가능
print(indexes.shape)
print(indexes[:5].values)
print(indexes.values[:5])

2) reset index

새롭게 인덱스를 연속 숫자형으로 할당하고 기존 인덱스는 'index'라는 새로운 칼럼 명으로 추가된다.

df.reset_index(inplace=False) 

3) set index

기존 컬럼을 인덱스로 변환하기

df.set_index(['col1', 'col2'], inplace = False)