"전체 글" 관련 글 109

웹크롤링(Web crawling)_selenium(셀레니움)
WEB 2021. 5. 3. 10:06
컴퓨터가 컴퓨터를 제어하자!¶ Selenium 모듈 >> 웹페이지를 제어하기 위한 모듈¶ In [136]: #selenium 설치 !pip install selenium Collecting selenium Downloading selenium-3.141.0-py2.py3-none-any.whl (904 kB) Requirement already satisfied: urllib3 in c:\users\smt003\anaconda3\lib\site-packages (from selenium) (1.25.8) Installing collected packages: selenium Successfully installed selenium-3.141.0 In [165]: #webdriver >> 웹을 통제하기 위..
웹크롤링(web crawling)_영화관람객 리뷰 수집
WEB 2021. 5. 3. 10:03
영화 관람객 리뷰 수집¶ In [1]: import requests as req from bs4 import BeautifulSoup as bs import pandas as pd In [2]: # 영화 반도 검색 url bando_url = "https://movie.naver.com/movie/bi/mi/point.nhn?code=185917" In [3]: bando_res = req.get(bando_url) In [4]: bando_text = bando_res.text In [5]: bando_soup = bs(bando_text,'lxml') In [6]: bando_soup.select('div.score_reple') Out[6]: [ 질주하는 소녀와 미쳐버린..
웹크롤링(web crawling)_20210506기준 네이버영화 랭킹페이지
WEB 2021. 5. 3. 09:56
영화 랭킹페이지에서 제목, 평점 수집¶ In [18]: import requests as req from bs4 import BeautifulSoup as bs import pandas as pd In [29]: movie_url = "https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=cur&date=20210503" In [30]: movie_res = req.get(movie_url) In [31]: movie = movie_res.text In [32]: movie_soup = bs(movie, 'lxml') In [33]: movie_title = movie_soup.select("div.tit5") In [34]: movie_rate ..
웹크롤링(web crawling)_ request, beautifulSoup, 예제
WEB 2021. 5. 3. 09:48
resquest 사용법¶ In [17]: #requests는 서버에 페이지 정보를 요청할때 사용하는 라이브러리 import requests as req#원래 라이브러리의 길이가 길어서 별칭으로 대체 'as' In [18]: naver_url = "http://www.naver.com" res = req.get(naver_url) #response[200]은 데이터가 잘 넘어왔다는 뜻. In [19]: res Out[19]: In [20]: # 요청한 페이지의 정보를 텍스트 형태로 보고자 할때 res.text[:1000] Out[20]: '\n NAVER
웹크롤링(web crawling) 입문,기본
WEB 2021. 5. 3. 09:35
파이썬을 이용해 크롤링을 하는 이유? : 코드작성이 쉬워서(읽고 사용하기 편리함) : 비동기식 코딩방식(=인터프리터언어) >> 작성한 코드를 한줄한줄 실행시키는 것. 빅데이터 : 5V >> Volumn, Velocity, Variety, Veracity(정확성), Value : 디지털 환경에서 생성되는 수치, 문자, 이미지, 영상을 모두 포함하는 데이터. 데이터의 형태 >> 정형: 데이터베이스, 엑셀, CSV, 연산이 가능한 데이터 >> 반정형: HTML 문서와 같은, 어떤 패턴이나 규칙은 존재하지만 연산이 불가능함 >> 비정형: SNS, 음악, 이미지같은 파일의 특정 형식이 없는 데이터 웹 기초지식 request와 response가 존재함. 접근할 웹 페이지의 데이터를 요청, 응답받기 위해 사용하는 함..
admin

티스토리툴바