유무디

이번 포스팅에서는 pandas의 기본 사용 방법에 대해서 이야기해보겠습니다.

파이썬 데이터 분석에는 pandas 사용 빈도가 매우 높습니다.

pandas는 기복적으로 python에서 데이터를 읽어와서 손쉽게 활용할 수 있게 해주는 모듈입니다.

이때 불러온 데이터를 데이터 프레임(Data Frame)이라고 합니다.

Series는 pandas의 가장 기본적인 자료형입니다.

list 형태로 데이터를 구성하여 data frame을 간단하게 만들 수 있습니다.

날짜 데이터 생성하기

data_range() 함수를 이용하여 날짜를 생성/수정할 수도 있습니다.

시작할 기본 날짜를 지정하고 periods옵션을 이용해 며칠간의 데이터를 발생시킬 것인지 지정해 줄 수 있습니다.

Data Frame 직접 생성하기

데이터 프레임을 직접 생성할 때 필요한 여러 가지 옵션들에 대해 간단히 정리하겠습니다.

첫 번째 인자에는 데이터 프레임을 채울 데이터가 입력됩니다.

iterable 자료구조로 만들어 낼 수 있습니다.(member를 하나씩 차례로 반환 가능한 object - list, str, tuple...)
index 옵션은 데이터 프레임의 인덱스로 지정할 값을 지정합니다.
columns 옵션은 데이터 프레임에서 사용할 컬럼들이 list 형태로 지정됩니다.

index 란 데이터 프레임의 행마다 순서대로 붙어있는 구분자를 의미합니다.

head() 함수를 사용하여 원하는 데이터만 확인할 수 있습니다.

데이터 프레임의 정보 확인하기

index : 데이터 프레임의 인덱스 확인

columns : 데이터 프레임의 컬럼 확인

values : 데이터 프레임의 내부 값 확인하기

info() : 데이터 프레임의 간단한 개요 확인하기

describe() : 통계적 개요 확인하기

데이터 개수 (count), 평균 (mean), 최솟값(min), 최댓값(max) 등

데이터 정렬(sort)

sort_values() 함수를 사용해 정렬을 할 수 있습니다.

이때 필요한 옵션은

by : 정렬 기준으로 삼을 컬럼을 지정
ascending : 내림차순(False), 오름차순(True) 지정

데이터 선택 확인

Data Frame에 원하는 컬럼 이름을 넣으면 Series 형태로 해당 컬럼의 데이터가 보입니다.

슬라이스 기법을 활용해서 출력 데이터 범위 지정하기

slice( [ start : end : step ] )을 데이터 프레임에 적용하면 원하는 범위의 데이터를 손쉽게 확인할 수 있습니다.

오프셋이 아닌 인덱스의 이름으로도 슬라이스가 가능합니다.

특정 위치의 데이터 확인하기 loc

특정 위치(location)의 데이터만 확인하고 싶을 때는 loc 함수를 사용할 수 있습니다.
loc 함수는 데이터 분석에서 정말 많이 이용되는 함수입니다.
첫 번째 인자는 행(row)을 뜻하고, 두 번째 인자는 열(column)을 뜻합니다.

dates 변수의 첫 번째 값을 활용해 해당하는 위치의 값 보기

직접 날짜를 지정해서 해당 날짜의 데이터를 확인하기

loc를 이용해 Mon, Wed 컬럼의 데이터들만 확인해 보겠습니다

이번에는 행에다가도 범위를 지정해 보겠습니다

물론 날짜를 직접 지정해 볼 수도 있습니다

또는, 인덱스를 생성할 때 정의했던 변수를 사용해 볼 수도 있습니다

loc는 데이터의 값을 사용, iloc은 행과 열의 번호를 이용할 수 있습니다.

데이터 프레임이 가지고 있는 정확한 행, 열 이름을 정확히 모를 때는 번호(오프셋)를 사용해서 범위를 지정할 수 있습니다.

컬럼 선택을 다음과 같이도 할 수 있습니다.

데이터를 복사할 때는 copy() 함수를 사용

파이썬은 모두 객체죠?

할당과 복사를 다시 떠올려 보세요.

' = ' 만 사용하면 기존 객체가 변수에 할당됩니다.
따라서 copy() 메소드를 활용해 복사를 해야 합니다.

데이터 존재 유무 판단할 때는 isin 함수를 사용

현재 다루고 있는 데이터 프레임에 데이터가 존재하는지, 존재하지 않는지 True, False로 구분할 수 있습니다.
추후 데이터 분석 시에 조건으로써 활용될 수 있습니다.

isin을 조건으로써 활용하여 조건에 맞는 데이터만 가지고 와 보겠습니다

데이터 프레임에서 간단한 통계 형태로 데이터를 확인할 때는 apply() 함수를 활용

numpy 모듈과 같이 사용하면 간단하게 여러 통계적 데이터를 확인할 수 있습니다.

꼭 numpy 모듈이 아니더라도 우리가 직접 람다 함수를 만들어서 결과물을 확인 할 수도 있습니다.

최댓값 - 최솟값 ( 데이터들의 거리 ) 구하기

파이썬 데이터 분석을 위한 데이터 프레임을 pandas를 사용하여 간단하게 활용해보았습니다.

다음 포스팅에서 본격적으로 데이터 분석을 시작해 보겠습니다.

CCTV와 서울시 인구현황 예제로 시작하겠습니다

이번 포스팅에서는 Pandas를 활용한 파이썬에서 csv, excel 파일 읽어오는 방법에 대해서 알아보도록 하겠습니다.

pandas를 이용해 csv 파일을 불러오기 위해서는 아래와 같이 pandas를 먼저 import 해야 합니다.

pandas 모듈을 불러와서 pd 앨리어스를 붙여줍니다.

read_() 함수로 불러오기

엑셀 또는 csv파일을 읽어 올 때는 pandas 모듈의 read_csv나 read_excel 함수를 사용 하면 됩니다.

한글 데이터가 존재한다면 encoding-'utf-8'옵션으로 한글이 깨지지 않도록 신경 써 주어야 합니다.

제일 첫 행을 column이라고 합니다.

pandas를 이용해 불러온 데이터의 컬럼을 확인하기 위해 column을 사용할 수 있습니다.

컬럼명 변경하기

위의 데이터 예제에서 컬럼명이 '기관명' 보다는 '구별' 로 변경하는 것이 더욱 구분하기 쉬운 명칭으로 보입니다.
이때, rename 함수를 사용해 컬럼의 명칭을 바꿀 수 있습니다.
inplace = True 옵션까지 설정하면 pandas로 읽어온 데이터의 컬럼명이 바뀌게 됩니다.

엑셀 파일 불러오기

CSV 파일을 읽어 온 것과 동일하게, 엑셀 파일은 read_excel 함수로 불러옵니다.

마찬가지로 한글이 들어있기 때문에 인코딩 옵션(encoding='utf-8')을 주겠습니다.

case 1 . 데이터의 내용이 좀 이상한 거 같아요...

첫 세줄의 모양새가 조금 이상합니다.

왜냐 하면 원본 엑셀 파일이 저렇게 되어 있기 때문입니다.

전처리가 필요한 이유 중에 가장 큰 이유가 여기서 나타납니다.

내가 원하는 데이터를 가진 파일이네? 불러오기만 하면 끝이다! BUT 모든 원본 데이터가 완벽하다고 생각하는 것은 큰 오산입니다.

값이 없거나, 중간중간 숫자가 아닌 한글이 들어가 있거나, 컬럼이 두줄로 존재하는 등 데이터를 다루기 쉽지 않은 파일들이 존재합니다.

그렇기 때문에 전처리과정이 중요하고 어떤 방식으로 해결하는지 알아보도록 합시다.

원하는 행(row)부터 데이터를 읽어 오기 위해서 header 옵션을 사용하고,
원하는 열(column)을 선택해서 읽어 오기 위해 parse_cols를 사용합니다.

Data Frame column명 바꾸기

다시 한번 rename 함수를 이용해서 불러온 데이터의 컬럼명을 바꿔줍니다.

Pandas 를 이용하여 여러줄의 코드가 아닌, 손쉽게 데이터를 읽고, 편집할 수 있습니다.

다음 포스팅에서 본격적으로 pandas의 기본 사용 방법에 대해 이야기 해 보겠습니다.