웹 크롤링(Web crawling)_ 크롬창 안띄우고 크롤링(headless option)

크롬창이 안보이게 코드 실행(headless 옵션 추가)¶

In [5]:

from selenium import webdriver as wb
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup as bs
import pandas as pd
import time

In [6]:

options = wb.ChromeOptions()
options.add_argument('headless')
options.add_argument('window-size=1920x1080')
options.add_argument("disable-gpu")

In [7]:

yt_url = "https://www.youtube.com/results?search_query=%EC%9B%A8%EC%9D%B4%ED%8A%B8+%ED%8A%B8%EB%A0%88%EC%9D%B4%EB%8B%9D"

In [8]:

driver = wb.Chrome('C:/Users/SMT049/Google 드라이브/웹 크롤링/chromedriver.exe',chrome_options = options)
driver.get(yt_url)

C:\Users\SMT049\anaconda3\lib\site-packages\ipykernel_launcher.py:1: DeprecationWarning: use options instead of chrome_options
  """Entry point for launching an IPython kernel.

In [9]:

yt_soup = bs(driver.page_source,'lxml')

In [10]:

yt_title = yt_soup.select('a#video-title')

In [11]:

for i in yt_title :
    print(i.text.strip())

웨이트 트레이닝 입문 하기전 꼭 해야되는 6가지 운동
근육이 안생겨도 웨이트 트레이닝 운동을 반드시 해야하는 과학적 이유
최고의 전신 근력운동 BEST5
반드시보세요!! 헬스장이 처음 이신 분들을 위한 완벽 루틴 정리(헬린이와 운동초보자분들을 위해)
웨이트 트레이닝 하면서 꼭 피해야 할 4가지 운동습관
제 하루를 솔직하고 리얼하게 담아보았습니다!
세르히오 라모스의 웨이트 트레이닝법 분석(축구선수 웨이트)
레전드! 피트니스 리더 황철순 & 김준호가 보여주는 헬스의 정석!
살먼저빼고 운동시작할까요? 웨이트를 병행할까요? (과체중다이어트,슬림한꿀답)
IFBB 장성엽선수 선수레슨 (이완의중요성)
벌크업 빠르게 하는 방법 - 웨이트 트레이닝 근육 성장
맨몸운동 홈트레이닝 시작할때 "강력 추천" 하는 9가지 초보자 전신운동
집에서 하는 유산소운동 다이어트 [칼소폭] 30 MIN FULL BODY WORKOUT
제가 3대 500 가능하냐고요?
당신의 근육을 더 강하게 성장시킬 10가지 식품 - 웨이트 운동 식단
웨이트트레이닝에 경고!!(feat.그레이쿡형님)
헬스장 처음이면 뭘 어떻게 할까요?초보자를 위한 완벽가이드 영상
헬스와 웨이트 트레이닝 - 운동할 때 근육을 잃어버리는 습관 10가지
웨이트 트레이닝은 하루 몇시간을 해야할까?  운동시간에 대해 알려준다!
요즘 인싸 여성은 '웨이트 트레이닝' 필수! 3대 중량 보니 숙연한 마음이...
Adidas - I GOT THIS   린다 - 웨이트트레이닝,다이어트 동기부여 동영상
[운동자극]NFL 선수의 야외&웨이트 트레이닝

In [ ]: