유무디

이번 포스팅에서는 Pandas를 활용한 파이썬에서 csv, excel 파일 읽어오는 방법에 대해서 알아보도록 하겠습니다.

pandas를 이용해 csv 파일을 불러오기 위해서는 아래와 같이 pandas를 먼저 import 해야 합니다.

pandas 모듈을 불러와서 pd 앨리어스를 붙여줍니다.

read_() 함수로 불러오기

엑셀 또는 csv파일을 읽어 올 때는 pandas 모듈의 read_csv나 read_excel 함수를 사용 하면 됩니다.

한글 데이터가 존재한다면 encoding-'utf-8'옵션으로 한글이 깨지지 않도록 신경 써 주어야 합니다.

제일 첫 행을 column이라고 합니다.

pandas를 이용해 불러온 데이터의 컬럼을 확인하기 위해 column을 사용할 수 있습니다.

컬럼명 변경하기

위의 데이터 예제에서 컬럼명이 '기관명' 보다는 '구별' 로 변경하는 것이 더욱 구분하기 쉬운 명칭으로 보입니다.
이때, rename 함수를 사용해 컬럼의 명칭을 바꿀 수 있습니다.
inplace = True 옵션까지 설정하면 pandas로 읽어온 데이터의 컬럼명이 바뀌게 됩니다.

엑셀 파일 불러오기

CSV 파일을 읽어 온 것과 동일하게, 엑셀 파일은 read_excel 함수로 불러옵니다.

마찬가지로 한글이 들어있기 때문에 인코딩 옵션(encoding='utf-8')을 주겠습니다.

case 1 . 데이터의 내용이 좀 이상한 거 같아요...

첫 세줄의 모양새가 조금 이상합니다.

왜냐 하면 원본 엑셀 파일이 저렇게 되어 있기 때문입니다.

전처리가 필요한 이유 중에 가장 큰 이유가 여기서 나타납니다.

내가 원하는 데이터를 가진 파일이네? 불러오기만 하면 끝이다! BUT 모든 원본 데이터가 완벽하다고 생각하는 것은 큰 오산입니다.

값이 없거나, 중간중간 숫자가 아닌 한글이 들어가 있거나, 컬럼이 두줄로 존재하는 등 데이터를 다루기 쉽지 않은 파일들이 존재합니다.

그렇기 때문에 전처리과정이 중요하고 어떤 방식으로 해결하는지 알아보도록 합시다.

원하는 행(row)부터 데이터를 읽어 오기 위해서 header 옵션을 사용하고,
원하는 열(column)을 선택해서 읽어 오기 위해 parse_cols를 사용합니다.

Data Frame column명 바꾸기

다시 한번 rename 함수를 이용해서 불러온 데이터의 컬럼명을 바꿔줍니다.

Pandas 를 이용하여 여러줄의 코드가 아닌, 손쉽게 데이터를 읽고, 편집할 수 있습니다.

다음 포스팅에서 본격적으로 pandas의 기본 사용 방법에 대해 이야기 해 보겠습니다.

pandas는 dataframe을 주로 다루기 위한 라이브러리이며, dataframe을 자유롭게 가공할 수 있습니다.

이번 포스팅에서는 파이썬을 활용한 데이터 분석에서 가장많이 활용되는 Data Analysis Library인 pandas에 대해서 알아보도록 하겠습니다. (DataFrame 생성, 정제 및 준비, 삭제, Data 내보내기)

pandas는 크게 세가지의 자료구조를 지원하고 있습니다.

1차원 자료구조인 Series, 2차원 자료구조인 DataFrame, 그리고 3차원 자료구조인 Panel을 지원하는데 그 중, 2차원 자료구조로 행과 열이 있는 테이블 데이타(Tabular Data)를 공부해 봅시다.

• Data 분석을 위한 lib

• DataFrame Create

• CRUD in Dataframe

CRUD는 대부분의 컴퓨터 소프트웨어가 가지는 기본적인 데이터 처리 기능인 Create(생성), Read(읽기), Update(갱신), Delete(삭제)를 묶어서 일컫는 말이다.

사용자 인터페이스가 갖추어야 할 기능(정보의 참조/검색/갱신)을 가리키는 용어로서도 사용된다.

주로 Database 에서 사용되는 말이지만, 생각해보면 입력된 데이터로부터 어떤 처리과정을 거쳐도 CRUD는 다 적용되는것 같아서 저는 모든 프로그밍 언어를 배울때 중요한 기본기로 봅니다.

# CREATE

# UPDATE

# DELETE

• 키값 or 연속적인 키값을 도출하기

• df.head() / df.tail() -> sample data 출력하기

보기의 예제는 data의 크기가 작아서 한눈에 보기가 쉽지만, big data를 가져오면 10000개가 넘는 row를 가진 dataframe들이 많습니다. 그때, 가장 기본적으로 확인해야하는것이 sample data를 출력하여 data가 가진 정보를 분석하는 것입니다.

• df = pd.DataFrame(c).T 전치행렬, 컬럼명 변경

   

   

Pandas를 이용한 DATA 내보내기

• DataFrame 생성하여 쉼표로 구분된 형식의 새로운csv파일 만들기

• 파일을 생성하는 방법

숫자를 수로 사용 - 파일을 분리 혹은 수정본을 위해 구분하여 사용합니다.

숫자 순차를 사용하는 이유 - 외부에 있는 파일을 읽을떄 일반적으로 많이 사용합니다.

• 파일을 생성하지 않고 Test

• ...,None,... 사이에 None 값 replace

• DataFrame 안에 값이 없을 경우

NaN 값으로 대체되어 출력

DATA 정제 및 준비

• 결측데이터 여부 확인

• 결측데이터가 있을때 결측치 채우기

• 누락된 데이터 골라내기

• 데이터 변형

• 데이터 치환

데이터를 분석하기에 앞서, 데이터를 시각화해서 보는 것은 데이터를 이해하는데 필수적인 요소라고 생각합니다.

이번 포스팅에서는 파이썬 기반 시각화 라이브러리인 matplotlib에 대해서 알아보도록 하겠습니다.

matplotlib은 다양한 데이터를 많은 방법으로 그래프를 만들고 변화를 줄 수 있도록 하는 파이썬 라이브러리입니다.

matplotlib을 사용하기 위해서는 먼저 아래와 같이 matplotlib을 설치하고 import를 해주어야 합니다.

• matplotlib 환경 설정

         File → setting → matplotlib install을 해주면 준비 완료!

• import matplotlib 하는 3가지 방법

• plot 의 종류

• Graph title

• Data List

• Plot 인수값 plt.plot( [y 축], [x 축] )

        ** 주의 **

        인수값이 맞지 않을 경우 >> ValueError: x and y must have same first dimension, but have shapes (5,) and (4,)

        인수값의 차원은 맞춰주어야 한다.

• Graph grid

  격자의 순서는 show()에서 적용되기 때문에 show() 입력 전엔 꼭 적어야 한다

         plt.grid() 의 default 값은 false입니다. 그러므로, True값은 꼭 입력해 주어야 한다.

• x label y label 지정하기

• range를 사용한 인수값

  range 를 가용하여 시작과 끝 값을 설정할 수 있지만, 인수 길이는 같도록 주의해야 합니다.

• Line colour

• Graph range with Line colour

• Graph tick mark

위와 같은 tick mark를 사용할때는  .-  혹은   - v- 와같이 뒤에 '-'를 붙여사용 합니다.

., ov^<> w1234 sp*hH+xDd로 예시를 봅시다.

• Graph Line Style

• Graph line detail Style

  선 색깔 굵기 스타일, 마커 종류 크기, 마커 선 색 굵기, 마커 내부 색을 바꿀 수도 있습니다.

• Graph x/y 축 유효 범위

  plt. x/y lim(start, end)을 사용하여 x축과 y축의 값을 지정할 수 있습니다.

• x / y ticks ( x, y의 눈금자 표시 범위 )

• x / y ticks with rotation

  길이가 긴 범례의 경우, tick 값의 각도를 회전시키면 더욱 보기가 좋습니다.

• 인수값, 범례의 label 명과 legend 위치 지정하기

위의 범례의 위치에 따른 값을 사용하여 데이터에 맞도록 설정할 수 있습니다.

• 배경 색상

  colour : 0-255까지 사용 가능합니다. 각 색상당 (명도를 나타냄)
  • # 10진수 255를 이용 / 16 진수를 이용 / 비례 값 ex) 0.0(0) - 1.0(255)

• 출력 그래프 (Window) 창 크기 조절

  figure ( figsize= )를 이용하여 표가 나타나는 window 창의 크기를 조절할 수 있습니다.

• plot 그래프를 여러 개 나타내는 것

  subplot ( plot 가로 값, 세로 값, 창 순번의 위치 값 )
  • 단, 그래프가 겹쳐지지 않게끔 조절해주어야 합니다.

• y 축 2개 사용 (나이에 따른 age와 height)

  twinx()를 사용하여 y축의 값을 추가할 수 있습니다.

• Capture 결괏값을 저장할 때 그림파일로 바로 저장하기

        gcf() 를 통해 Figure 객체를 얻어 사용합니다. (변수값부터 얻어 사용)

        그다음, fig.savefig('파일명')으로 파일을 저장합니다.

• Bar chart ( bar )

• Horizontal Bar chart ( barh )

• align = 'center' / 'edge'

  차트의 축(=눈금선) 위치를 가운데 또는 끝에 맞출 수 있습니다.

• Bar 차트 속성

ctrl+b를 통해 bar의 default 값을 알 수 있습니다.

또는, 오른쪽 마우스+GO to..+declaration or usages

확인해보면, 아래와 같은 순서로 default값들이 나열되므로, 원하는 값으로 맞춰서 사용하면 간략하고 쉽게 나타낼 수 있습니다.

# x, height, width = 0.8, bottom = None(기준값의 밑바닥), *, align = 'center' 속성 사용, data = None, ** kwargs 가변 인수 값 처리):

# alpha = 막대 색깔과 배경과 섞이는 정도를 의미합니다. <- alpha blending 

지금까지 간단하게 matplotlib를 이용하여 기본 그래프를 그리는 방법에 대해서 알아보았습니다.
모든 코드를 외우려 하지 말고 표현하고자 하는 의미를 알아두고 응용부터 시작해 봅시다.

위의 모든 default값을 외우고 있는 사람은 거의 없고 다들 한마음 한뜻으로 찾아본다고 조심스럽게 생각합니다.

저는 외우지 못해서 기록하기 위한 Yuja_smoothie의 노트였습니다~!