반응형 Crawling1 Crawling (크롤링, 웹 스크래핑) 크롤링 - 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술. - 이미 받아온 웹페이지에서 필요한 정보를 가져와야함. Package 설치 파이썬에서 크롤링을 위해 bs4 패키지를 설치해주자. bs4, 크롤링 기본세팅 - 크롤링 하기 쉽도록 변환해 주는 라이브러리 import requests from bs4 import BeautifulSoup # 브라우저에서 요청한 것 처럼 변경해줌 headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} #Ajax와 같은 기능 d.. 2021. 6. 13. 이전 1 다음 반응형
