반응형 웹 기초/Crawling, MongoDB9 Database 란? DB의 역할 - 책장의 역할. 꽂아논 책을 나중에 잘 찾을 수 있다. - 데이터를 쌓고, 데이터를 잘 찾아오기 위해서 사용한다. SQL - RDBMS(SQL) 행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사 - 데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기가 불편하다. - Column을 추가해야 하기 때문이다. - 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이할 수 있습니다. - ex) MS-SQL, My-SQL 등 No-SQL (Not only SQL) - 딕셔너리 형태로 데이터를 저장해두는 DB - 딕셔너리 형태이기에 데이터 하나 하나 마다 같은 값들을 가질 필요가 없게 된다. - 자유로운 형태의 데이터 적재에 유리하다. - 일관성이 부족하다 - 따라서.. 2021. 6. 13. Crawling (크롤링, 웹 스크래핑) 크롤링 - 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술. - 이미 받아온 웹페이지에서 필요한 정보를 가져와야함. Package 설치 파이썬에서 크롤링을 위해 bs4 패키지를 설치해주자. bs4, 크롤링 기본세팅 - 크롤링 하기 쉽도록 변환해 주는 라이브러리 import requests from bs4 import BeautifulSoup # 브라우저에서 요청한 것 처럼 변경해줌 headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} #Ajax와 같은 기능 d.. 2021. 6. 13. Mongo DB 설치 Mongo DB 다운로드 및 설치 몽고 DB를 활용할것이기 때문에 MONG DB를 설치해주자. C드라이브에 data폴더를 만들고, db 폴더를 생성한다. Mongo DB 사이트에서 Mongo DB를 설치한다. MongoDB Community Download Download the Community version of MongoDB's non-relational database server from MongoDB's download center. www.mongodb.com 설치 과정 중 Custom 화면에서 Browse 경로를 수정한다. Install MongoDB Compass 선택을 해제하고 Next를 클릭한다. 아래와 같이 메시지가 뜬다면 ignore을 선택해준다. 몽고DB를 위한 환경변수 설정을 .. 2021. 6. 13. 이전 1 2 다음 반응형
