파이썬 크롤링) 인코딩 오류 해결하기

크롤링 외주를 진행 중에 데이터의 개수는 정확하게 틀어맞지만 한국말이 아닌 외계어, 특수문자로 저장이 되어 있는 것을 확인하였습니다.

 

제 데이터를 예를 들어, �����������������Ȧ �� 이런 식의 특수 기호가 저장되어 있었습니다.

 

경험상 이 부분은 인코딩 문제라고 판단하여 구글링을 해보았는데, 자료가 많지 않아 공유드립니다.

조치법

res = requests.get(url, headers=headers)

res.encoding = 'euc-kr' #3번 주목

krtext = res.text

soup = BeautifulSoup(krtext, 'lxml')

# 프로그램 구동

 

위 조치법이 안되면 3번째 줄의 코드에 

'euc-kr'을 'cp949', 'utf-8' 등으로 바꿔서 시도를 하시면 됩니다.