Memorial Sea

概述#

• 本文记录一些有关python高阶爬虫selenium+浏览器爬虫操作的踩坑记录.

• selenium

  本质是一个为了自动化测试而诞生的工具,但没想到ta自身作为一个爬虫也是极具优势的.

  selenium简单的说就是通过各种webdirver驱动去控制浏览器去访问网站,完成各种操作,从而达到爬取数据的目的.可以有效的规避多数反爬虫机制,列如用js动态生成的网站

Start#

python version:3.5+

browser

webdriver

platform 10

1. 首先安装selenium包

   1
   pip install selenium

2. 在命令行中尝试引入selenium库,如果不报错证明安装成功

   1
   import selenium

3. 依据你准备选用的浏览器下载对应版本的webdriver.本文以chrome浏览器为例,依据chrome浏览器版本下载对应的chromedriver

   chromedriver download

   • 关于webdriver的配置.

     webdriver事实上是一个可执行文件,为了能够让程序调用它,所以需要配置其环境变量.win下最偷懒的方法自然是把ta丢进system32里.

     当然有高阶操作可以装载指定目录中的webdriver,以及可以指定浏览器可执行文件目录等,这部分操作参见自定义webdriver以及浏览器可执行文件

4. 让我们开始第一个例子打开百度首页

   1
   #-*- coding:utf-8 -*-
   2
   # 从selenium包中导入webdriver
   3
   from selenium import webdriver
   4
   
   5
   # 声明一个chrome对象
   6
   dirver=webdriver.Chrome()
   7
   
   8
   # 用chrome打开百度首页
   9
   driver.get("https://www.baidu.com/")

5. 更多基础操作

   容我偷个懒

Advance#

其实也就是一系列踩坑行为

1. 自定义webdriver以及浏览器可执行文件#

   1
   #-*- coding:utf-8 -*-
   2
   from selenium import webdirver
   3
   
   4
   # 声明一个chrome设置对象
   5
   options=webdriver.ChromeOptions()
   6
   
   7
   # 指定浏览器可执行文件路径
   8
   options._binary_location="./Application/chrome.exe"
   9
   
   10
   # 利用chrome设置对形象作为参数初始化webdriver对象,executable_path即webdriver路径
   11
   chrome=webdriver.Chrome(chrome_options=options,executable_path="./chromedriver.exe")
   12
   
   13
   # 打开百度首页
   14
   chrome.get("https://www.baidu.com/")

• 不指定浏览器可执行文件目录,默认启动系统浏览器.个人拙见为了软件的移植性下载32位版本的二进制可执行文件放在脚本下属目录,使用参数指定浏览器可执行文件路径

1. 设置浏览器启动参数#

   • 普通参数

     1
     #-*- coding:utf-8 -*-
     2
     from selenium import webdirver
     3
     
     4
     # 声明一个chrome设置对象
     5
     options=webdriver.ChromeOptions()
     6
     
     7
     # 禁用gpu加速
     8
     options.add_argument("--disable-gpu")
     9
     # 允许加载不安全内容
     10
     options.add_argument('--allow-running-insecure-content')
     11
     # 禁用插件
     12
     options.add_argument('--disable-extensions')
     13
     # 使用无头浏览器,即不显示浏览器图形化界面,适用于没有图形化界面的服务器
     14
     options.add_argument('--headless')
     15
     
     16
     chrome=webdriver.Chrome(chrome_options=options)

   • 实验性参数

     1
     appState = {
     2
         "recentDestinations": [ {
     3
             "id": "Save as PDF",
     4
             "origin": "local"
     5
         } ],
     6
         "selectedDestinationId": "Save as PDF",
     7
         "version": 2
     8
     }
     9
     
     10
     profile = {
     11
         'printing.print_preview_sticky_settings.appState': json.dumps(appState)
     12
     }
     13
     
     14
     options.add_experimental_option("prefs",profile)

   • 更多启动参数设置参见文档

2. 执行JavaScript脚本

   1
   #-*- coding:utf-8 -*-
   2
   from selenium import webdirver
   3
   
   4
   
   5
   chrome=webdriver.Chrome()
   6
   # 设置js代码执行超时时间
   7
   chrome.set_script_timeout(30)
   8
   chrome.get("http://www.baidu.com/")
   9
   
   10
   # 异步执行js代码
   11
   chrome.execute_script("alert("Halloworld");")
   12
   # 阻塞执行js代码
   13
   chrome.execute_async_script("alert("halloworld");")

   • execute_script函数是异步执行js代码.
   • execute_async_script是阻塞执行,即会等待js执行完成再执行接下来的程序.
   • set_script_timeout是设置js执行超时时间,对于阻塞执行的js代码,在timeout设定的时间内没有能够完成将强行终止.这个timeout值默认是30s