반응형 코딩테스트/Python2 [데이콘] 기초 파이썬 lv.0 1. colab에 데이터 불러오기 2. 필요한 라이브러리 불러오기 => 데이터 분석을 위해 pandas, 학습시킬 머신러닝 모델을 위해 sklearn을 import 한다 3. pd.read_csv()로 DataFrame형식으로 불러옴 데이터를 pandas의 기본 데이터 형식인 DataFrame형식으로 불러온다. 4. head()와 shape를 통해 일부 데이터의 구조를 파악하고 행/열 정보를 확인한다. 5. 결측치 확인 일반적으로 값이 없을 때는 Null이라고 하는 값이 판다스에서는 NaN이라고 하고, 결측치라고 말한다. 판다스에서는 결측치를 확인하기 위해 info()함수로 한 눈에 결측치를 알아볼 수 있다. 6. 데이터 전처리 dropna() 를 사용해 train 데이터는 결측치를 제거하고 fillna.. 2022. 7. 26. 간단한 파이썬 웹 크롤러 구현 간단한 파이썬 웹 크롤러 구현 : 지금은 간단한 hTML 태그를 이용하여 웹사이트 에서 크롤링 이것은 매우 간단 -> 응용하여 고급 크롤링 프로그램을 만드는 것은 더 공부해야지!! ex) 네이버 웹 사이트 뉴스 기사 가져온다고 할 때 웹사이트 접속 --> html 데이터 가져오기 --> parsing(분류/분리) 뉴스 , 날씨, 증권,,, 수시로 데이터가 바뀌니까 특정 사이트의 내용을 계속 가져와야하기 때문에 주기적으로 호출할 때 크롤링이 필요하다! 코드 설명 from urllib.request import urlopen #웹페이지 URL 을 다룰 때 사용하는 Python 라이브러리 from bs4 import BeautifulSoup #웹 페이지의 정보를 쉽게 스크랩할 수 있도록 기능을 제공하는 라이브.. 2022. 7. 25. 이전 1 다음 반응형
