Programming/AI & 머신러닝

* 파이썬이 설치되어있어야 합니다. "urllib 라이브러리" 파이썬에서 웹 사이트에 있는 데이터를 추출하기 위해 사용합니다. HTTP 또는 FTP를 사용해 데이터를 사용할 수 있게 해줍니다. "URL을 다루는 모듈을 모아 놓은 패키지" urllib 안에 있는, request 모듈은 웹사이트에 있는 데이터에 접근하는 기능을 제공합니다. "urllib.request" 라는 형식으로 사용할 수 있습니다. urllib.request 을 이용해 파일 다운로드 하기 urllib.request 모듈안에는 urlretrieve() 함수가 있습니다. 이 함수를 이용하면, 직접 파일을 다운로드 할 수 있습니다. "urllib.request.urlretrieve"라는 형식으로 사용할 수 있습니다. #라이브러리 불러오기 i..

스크래핑 (Scraping) 웹 사이트에서 특정 정보를 추출하는 기술 HTML로 이루어진 정보를 가공해서, 필요한 정보만을 가져온다. 로그인 해야만 열람할 수 있는 정보도 가져올 수 있다. 크롤링 (Crawling) 여러 웹사이트를 돌아다니며, 정기적으로 스크래핑을 하는 기술 1. 데이터 추출 2. 데이터 가공 3. 데이터 저장 파일 (csv, json, xml, yaml ... ) 데이터베이스 (mysql ... )

konlpy는 한국어 문장을, 단어 단위로 구분해서 분석해주는 파이썬 라이브러리 입니다. ( 파이썬으로 실행가능합니다 ) 영어는 공백으로 편하게 구분할 수 있지만, 한국에는 조사를 통해, 붙여진 단어들이 많기에 그런 방법은 사용이 불가능 합니다. 그래서 konlpy가 필요합니다! ( 가장 기본적인 한국어 분석기 ) 공식적인 설치 방법은, 아래의 사이트에 나와있습니다. konlpy-ko.readthedocs.io/ko/v0.4.3/install/#id2 설치하기 — KoNLPy 0.4.3 documentation 주석 설치 및 사용 도중 문제가 발생하는 경우 다음 페이지들을 참고해주세요: 리눅스. 맥 OS. 윈도우. 발생한 문제가 어디에도 없는 경우 “New Issue” 버튼을 눌러 새로운 이슈를 생성해주..