파이썬 셀레니움 크롤링 (1) : 가상환경 세팅과 selenium 설치

python의 selenium을 이용하여 웹 페이지의 이미지를 크롤링하는 방법 1편입니다.

 

코드를 작성하기 전 준비 사항으로는 

 

1. 파이썬 가상환경 세팅

2. selenium 설치 및 브라우저 세팅

3. selenium 으로 활용할 웹 브라우저 세팅

 

꼭 가상환경에서 진행해야 하는 것은 아닙니다.

---

1. 파이썬 가상환경 세팅

 

다른 버전의 파이썬을 사용하고 싶을때 가상환경을 이용해 편하게 다른 버전의 파이썬을 사용할 수 있게 해줍니다.

 

https://docs.python.org/ko/3/library/venv.html

venv — Creation of virtual environments

해당 주소에서 '가상 환경 만들기' 항목을 참조하여 

Terminal 창에 명령을 실행합니다.

 

python -m venv /path/to/new/virtual/environment

 

여기서

/path/to/new/virtual/environment

부분은 설치될 위치이므로 자신이 원하는 위치로 주소를 수정하면 되겠습니다.

 

  1-1. 가상 환경 들어가는 방법

 

cd (가상환경 설치 폴더)\Script

를 입력하여 가상환경을 생성한 Script폴더로 이동합니다.

 

activate

명령어를 한번 더 입력하여 가상환경을 실행합니다.

 

그러면 사진과 같이 ()안에 자신이 설정한 가상환경으로 들어간 것을 확인할 수 있습니다.

 

()표시가 붙은 상태로 파이썬 코드를 실행하거나 패키지를 설치하면 

()의 가상환경 내에서 실행되고 설치되는 것이기 때문에

다른 프로젝트와 독립적인 환경에서 개발을 할 수 있게 됩니다.

 

 

 

---

2. selenium 설치 및 브라우저 세팅

 

 

pip3 install selenium 명령을 통해 selenium을 설치합니다.

여기서 pip3는 python 3 버전의 패키지 매니저 이므로 

python 3 이상부터는 pip3를 사용하고 그 이하의 버전일 경우 pip를 사용하면 되겠습니다.

 

pip3 install selenium

 

selenium 뒤의 == 숫자는 버전 명입니다.

원하는 버전을 찾아 입력하거나,

최신 버전을 사용하실 경우 ==를 제거하고  selenium까지만 입력 하시면 되겠습니다.

 

※ 최신 버전의 selenium을 사용하지 않을 경우

valueerror: timeout value connect was <object object at>... 오류가 발생 할 수 있습니다.

 

저도 조코딩님의 유튜브를 따라하려고 selenium 3.141 버전을 다운 받았었는데 오류가 발생했습니다.

새로운 버전은 코드도 달라져서 구글링을 통해 코드를 찾으셔야 겠습니다.

 

 

---

3. selenium 으로 활용할 웹 브라우저 세팅

 

브라우저는 chrome 을 활용할 것입니다. 

 

구글에 chromedriver를 검색해 줍니다.

 

그 중 자신이 사용하는 크롬 버전을 선택합니다.

 

그 중에서 운영체제에 맞는 드라이버를 다운받습니다.

 

다운 받은 파일의 압축을 풀어서 VScode의 자신이 만든 폴더 안쪽에 넣어주면

VScode에서 해당 웹 브라우저를 활용할 준비가 됩니다.