파이썬30 파이썬 크롤링) 인코딩 오류 해결하기 크롤링 외주를 진행 중에 데이터의 개수는 정확하게 틀어맞지만 한국말이 아닌 외계어, 특수문자로 저장이 되어 있는 것을 확인하였습니다. 제 데이터를 예를 들어, �����������������Ȧ �� 이런 식의 특수 기호가 저장되어 있었습니다. 경험상 이 부분은 인코딩 문제라고 판단하여 구글링을 해보았는데, 자료가 많지 않아 공유드립니다. 조치법 res = requests.get(url, headers=headers) res.encoding = 'euc-kr' #3번 주목 krtext = res.text soup = BeautifulSoup(krtext, 'lxml') # 프로그램 구동 위 조치법이 안되면 3번째 줄의 코드에 'euc-kr'을 'cp949', 'utf-8' 등으로 바꿔서 시도를 하시면 됩니다. 2023. 7. 29. 셀레니움) 스크롤 끝까지 내리기 모든 정보를 다 갖고 오게 하기 위해 스크롤을 끝까지 내려야 할 상황이 있습니다. options = webdriver.ChromeOptions() options.add_argument("headless") browser = webdriver.Chrome("./chromedriver",options=options) url = '크롤링할 url' browser.get(url) before_h=browser.execute_script("return window.scrollY") while True : browser.find_element(by=By.CSS_SELECTOR, value="body").send_keys(Keys.END) #맨 아래로 스크롤 내린다 time.sleep(0.5) #스크롤 하는 동안의 .. 2023. 1. 28. Matplotlib) 데이터 시각화 8편, 여러가지 그래프 그리기 import matplotlib.pyplot as plt import matplotlib import pandas as pd import numpy as np matplotlib.rcParams['font.family'] = 'Malgun Gothic' matplotlib.rcParams['font.size'] = 15 matplotlib.rcParams['axes.unicode_minus'] = False # 여러 그래프 df = pd.read_excel('score.xlsx') df['학년'] = [3,3,2,1,1,3,2,2] #2x2개의 plots을 보여줌 fig, axis = plt.subplots(2,2,figsize = (15,10)) fig.suptitle('여러 그래프') axis[0,0.. 2023. 1. 17. Matplotlib) 데이터 시각화 7편, 산점도 그래프 나도코딩 유튜브를 참고하여 코드를 만들었습니다. import matplotlib.pyplot as plt import matplotlib import pandas as pd import numpy as np matplotlib.rcParams['font.family'] = 'Malgun Gothic' matplotlib.rcParams['font.size'] = 15 matplotlib.rcParams['axes.unicode_minus'] = False # 산점도 그래프 df = pd.read_excel('score.xlsx') df['학년'] = [3,3,2,1,1,3,2,2] sizes = df['학년'] *500 #1학년 500 2학년 1000 3학년 1500 #c로 학년 나누고 cmap으로 학년.. 2023. 1. 17. Matploblib) 데이터 시각화 6편, 원 그래프, 도넛 모양 원 그래프 나도코딩 유튜브를 참고하여 적었습니다! plt.plot(x,y)를 통해 꺾은선 그래프를 그렸습니다. plt.bar(x,y)를 통해 막대그래프를 그렸습니다. 원 그래프를 그리는 실습을 진행하겠습니다. 1. 원 차트 그리기 # 원 그래프 values = [30,25,20,13,10,2] labels = ['python','java','javascript','c','c++','etc'] plt.pie(values,labels=labels,autopct = '%.1f%%',startangle = 90, counterclock=False) #autopct : 백분율 계산해줌 plt.show() explode 함수를 적용하면 좀 더 강조 효과를 낼 수 있습니다. # 원 그래프 values = [30,25,20,13.. 2023. 1. 17. 이전 1 2 3 4 ··· 6 다음 반응형
