最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

天天视点！Python教程：selenium模块用法教程

来源：博客园

1.介绍

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

from selenium import webdriverbrowser=webdriver.Chrome()browser=webdriver.Firefox()browser=webdriver.PhantomJS()browser=webdriver.Safari()browser=webdriver.Edge()

2.安装

有界面浏览器

selenium+chromedriver


(资料图片仅供参考)

安装：selenium+chromedriver

pip3 install selenium

下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2.38，并非2.9国内镜像网站地址：http://npm.taobao.org/mirrors/chromedriver/2.38/最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads

验证安装

C:\Users\Administrator>python3Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32Type "help", "copyright", "credits" or "license" for more information.>>> from selenium import webdriver>>> driver=webdriver.Chrome() #弹出浏览器>>> driver.get("https://www.baidu.com")>>> driver.page_source

注意：selenium3默认支持的webdriver是Firfox，而Firefox需要安装geckodriver下载链接：https://github.com/mozilla/geckodriver/releases

无界浏览器

PhantomJS不再更新

selenium+phantomjs：

安装：selenium+phantomjs

pip3 install selenium

下载phantomjs，解压后把phantomjs.exe所在的bin目录放到环境变量下载链接：http://phantomjs.org/download.html

验证安装

C:\Users\Administrator>phantomjsphantomjs> console.log("egon gaga")egon gagaundefinedphantomjs> ^CC:\Users\Administrator>python3Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 18:41:36) [MSC v.1900 64 bit (AMD64)] on win32Type "help", "copyright", "credits" or "license" for more information.from selenium import webdriverdriver=webdriver.PhantomJS() #无界面浏览器driver.get("https://www.baidu.com")driver.page_source

在 PhantomJS 年久失修, 后继无人的节骨眼Chrome 出来救场, 再次成为了反爬虫 Team 的噩梦

自Google 发布 chrome 59 / 60 正式版 开始便支持Headless mode

这意味着在无 GUI 环境下, PhantomJS 不再是唯一选择

selenium+谷歌浏览器headless模式

#selenium:3.12.0#webdriver:2.38#chrome.exe: 65.0.3325.181（正式版本） （32 位）from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionschrome_options = Options()chrome_options.add_argument("window-size=1920x3000") #指定浏览器分辨率chrome_options.add_argument("--disable-gpu") #谷歌文档提到需要加上这个属性来规避bugchrome_options.add_argument("--hide-scrollbars") #隐藏滚动条, 应对一些特殊页面chrome_options.add_argument("blink-settings=imagesEnabled=false") #不加载图片, 提升速度chrome_options.add_argument("--headless") #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败chrome_options.binary_location = r"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" #手动指定使用的浏览器位置driver=webdriver.Chrome(chrome_options=chrome_options)driver.get("https://www.baidu.com")print("hao123" in driver.page_source)driver.close() #切记关闭浏览器，回收资源

3.基本使用

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素browser=webdriver.Chrome()try:    browser.get("https://www.baidu.com")    input_tag=browser.find_element_by_id("kw")    input_tag.send_keys("美女") #python2中输入中文错误，字符串前加个u    input_tag.send_keys(Keys.ENTER) #输入回车    wait=WebDriverWait(browser,10)    wait.until(EC.presence_of_element_located((By.ID,"content_left"))) #等到id为content_left的元素加载完毕,最多等10秒    print(browser.page_source)    print(browser.current_url)    print(browser.get_cookies())finally:    browser.close()

4.选择器

1.基本用法

#官网链接：http://selenium-python.readthedocs.io/locating-elements.htmlfrom selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素import timedriver=webdriver.Chrome()driver.get("https://www.baidu.com")wait=WebDriverWait(driver,10)try:    # 所有方法    # 1、find_element_by_id    # 2、find_element_by_link_text    # 3、find_element_by_partial_link_text    # 4、find_element_by_tag_name    # 5、find_element_by_class_name    # 6、find_element_by_name    # 7、find_element_by_css_selector    # 8、find_element_by_xpath    # 强调：    # 1、上述均可以改写成find_element(By.ID,"kw")的形式    # 2、find_elements_by_xxx的形式是查找到多个元素，结果为列表    # 示范用法    # 1、find_element_by_id    print(driver.find_element_by_id("kw"))    # 2、find_element_by_link_text    # login=driver.find_element_by_link_text("登录")    # login.click()    # 3、find_element_by_partial_link_text    login=driver.find_elements_by_partial_link_text("录")[0]    login.click()    # 4、find_element_by_tag_name    print(driver.find_element_by_tag_name("a"))    # 5、find_element_by_class_name    button=wait.until(EC.element_to_be_clickable((By.CLASS_NAME,"tang-pass-footerBarULogin")))    button.click()    # 6、find_element_by_name    input_user=wait.until(EC.presence_of_element_located((By.NAME,"userName")))    input_pwd=wait.until(EC.presence_of_element_located((By.NAME,"password")))    commit=wait.until(EC.element_to_be_clickable((By.ID,"TANGRAM__PSP_10__submit")))    input_user.send_keys("18611453110")    input_pwd.send_keys("xxxxxx")    commit.click()    # 7、find_element_by_css_selector    driver.find_element_by_css_selector("#kw")    # 8、find_element_by_xpath    time.sleep(5)finally:    driver.close()

2.xpath

#官网链接：http://selenium-python.readthedocs.io/locating-elements.htmlfrom selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素import timedriver=webdriver.PhantomJS()driver.get("https://doc.scrapy.org/en/latest/_static/selectors-sample1.html")# wait=WebDriverWait(driver,3)driver.implicitly_wait(3) #使用隐式等待try:    # find_element_by_xpath    #//与/    # driver.find_element_by_xpath("//body/a")  # 开头的//代表从整篇文档中寻找,body之后的/代表body的儿子，这一行找不到就会报错了    driver.find_element_by_xpath("//body//a")  # 开头的//代表从整篇文档中寻找,body之后的//代表body的子子孙孙    driver.find_element_by_css_selector("body a")    #取第n个    res1=driver.find_elements_by_xpath("//body//a[1]") #取第一个a标签    print(res1[0].text)    #按照属性查找,下述三者查找效果一样    res1=driver.find_element_by_xpath("//a[5]")    res2=driver.find_element_by_xpath("//a[@href="image5.html"]")    res3=driver.find_element_by_xpath("//a[contains(@href,"image5")]") #模糊查找    print("==>", res1.text)    print("==>",res2.text)    print("==>",res3.text)    #其他    res1=driver.find_element_by_xpath("/html/body/div/a")    print(res1.text)    res2=driver.find_element_by_xpath("//a[img/@src="image3_thumb.jpg"]") #找到子标签img的src属性为image3_thumb.jpg的a标签    print(res2.tag_name,res2.text)    res3 = driver.find_element_by_xpath("//input[@name="continue"][@type="button"]") #查看属性name为continue且属性type为button的input标签    res4 = driver.find_element_by_xpath("//*[@name="continue"][@type="button"]") #查看属性name为continue且属性type为button的所有标签            time.sleep(5)finally:    driver.close()

3.获取标签属性

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素browser=webdriver.Chrome()browser.get("https://www.amazon.cn/")wait=WebDriverWait(browser,10)wait.until(EC.presence_of_element_located((By.ID,"cc-lm-tcgShowImgContainer")))tag=browser.find_element(By.CSS_SELECTOR,"#cc-lm-tcgShowImgContainer img")#获取标签属性，print(tag.get_attribute("src"))#获取标签ID，位置，名称，大小（了解）print(tag.id)print(tag.location)print(tag.tag_name)print(tag.size)browser.close()

5.等待元素被加载

1、selenium只是模拟浏览器的行为，而浏览器解析页面是需要时间的（执行css，js），一些元素可能需要过一段时间才能加载出来，为了保证能查找到元素，必须等待

2、等待的方式分两种：

  • 隐式等待：在browser.get（"xxx"）前就设置，针对所有元素有效
  • 显式等待：在browser.get（"xxx"）之后设置，只针对某个元素有效

隐式等待

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素browser=webdriver.Chrome()#隐式等待:在查找所有元素时，如果尚未被加载，则等10秒browser.implicitly_wait(10)browser.get("https://www.baidu.com")input_tag=browser.find_element_by_id("kw")input_tag.send_keys("美女")input_tag.send_keys(Keys.ENTER)contents=browser.find_element_by_id("content_left") #没有等待环节而直接查找，找不到则会报错print(contents)browser.close()

显式等待

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素browser=webdriver.Chrome()browser.get("https://www.baidu.com")input_tag=browser.find_element_by_id("kw")input_tag.send_keys("美女")input_tag.send_keys(Keys.ENTER)#显式等待：显式地等待某个元素被加载wait=WebDriverWait(browser,10)wait.until(EC.presence_of_element_located((By.ID,"content_left")))contents=browser.find_element(By.CSS_SELECTOR,"#content_left")print(contents)browser.close()

6.元素交互操作

点击，清空

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素browser=webdriver.Chrome()browser.get("https://www.amazon.cn/")wait=WebDriverWait(browser,10)input_tag=wait.until(EC.presence_of_element_located((By.ID,"twotabsearchtextbox")))input_tag.send_keys("iphone 8")button=browser.find_element_by_css_selector("#nav-search > form > div.nav-right > div > input")button.click()import timetime.sleep(3)input_tag=browser.find_element_by_id("twotabsearchtextbox")input_tag.clear() #清空输入框input_tag.send_keys("iphone7plus")button=browser.find_element_by_css_selector("#nav-search > form > div.nav-right > div > input")button.click()# browser.close()

Action Chains

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By  # 按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys  # 键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait  # 等待页面加载某些元素import timedriver = webdriver.Chrome()driver.get("http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable")wait=WebDriverWait(driver,3)# driver.implicitly_wait(3)  # 使用隐式等待try:    driver.switch_to.frame("iframeResult") ##切换到iframeResult    sourse=driver.find_element_by_id("draggable")    target=driver.find_element_by_id("droppable")    #方式一：基于同一个动作链串行执行    # actions=ActionChains(driver) #拿到动作链对象    # actions.drag_and_drop(sourse,target) #把动作放到动作链中，准备串行执行    # actions.perform()    #方式二：不同的动作链，每次移动的位移都不同    ActionChains(driver).click_and_hold(sourse).perform()    distance=target.location["x"]-sourse.location["x"]    track=0    while track < distance:        ActionChains(driver).move_by_offset(xoffset=2,yoffset=0).perform()        track+=2    ActionChains(driver).release().perform()    time.sleep(10)finally:    driver.close()

在交互动作比较难实现的时候可以自己写JS（万能方法）

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素try:    browser=webdriver.Chrome()    browser.get("https://www.baidu.com")    browser.execute_script("alert("hello world")") #打印警告finally:    browser.close()

frame的切换

frame相当于一个单独的网页，在父frame里是无法直接查看到子frame的元素的，必须switch_to_frame切到该frame下，才能进一步查找

from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import By #按照什么方式查找，By.ID,By.CSS_SELECTORfrom selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait #等待页面加载某些元素#学习中遇到问题没人解答？小编创建了一个Python学习交流群：489111204try:    browser=webdriver.Chrome()    browser.get("http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable")    browser.switch_to.frame("iframeResult") #切换到id为iframeResult的frame    tag1=browser.find_element_by_id("droppable")    print(tag1)    # tag2=browser.find_element_by_id("textareaCode") #报错，在子frame里无法查看到父frame的元素    browser.switch_to.parent_frame() #切回父frame,就可以查找到了    tag2=browser.find_element_by_id("textareaCode")    print(tag2)finally:    browser.close()

7.其他

模拟浏览器的前进后退

import timefrom selenium import webdriverbrowser=webdriver.Chrome()browser.get("https://www.baidu.com")browser.get("https://www.taobao.com")browser.get("http://www.sina.com.cn/")browser.back()time.sleep(10)browser.forward()browser.close()

cookies

from selenium import webdriverbrowser=webdriver.Chrome()browser.get("https://www.zhihu.com/explore")print(browser.get_cookies())browser.add_cookie({"k1":"xxx","k2":"yyy"})print(browser.get_cookies())# browser.delete_all_cookies()

选项卡管理

选项卡管理：切换选项卡，有js的方式windows.open,有windows快捷键：ctrl+t等，最通用的就是js的方式

import timefrom selenium import webdriverbrowser=webdriver.Chrome()browser.get("https://www.baidu.com")browser.execute_script("window.open()")print(browser.window_handles) #获取所有的选项卡browser.switch_to_window(browser.window_handles[1])browser.get("https://www.taobao.com")time.sleep(10)browser.switch_to_window(browser.window_handles[0])browser.get("https://www.sina.com.cn")browser.close()

异常处理

from selenium import webdriverfrom selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameExceptiontry:    browser=webdriver.Chrome()    browser.get("http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable")    browser.switch_to.frame("iframssseResult")except TimeoutException as e:    print(e)except NoSuchFrameException as e:    print(e)finally:    browser.close()

关键词： 交互操作 异常处理 谷歌浏览器