跳至主要内容

python 之 网页自动化测试


https://opensourceforu.com/2017/10/splinter-easy-way-test-web-applications/

https://splinter.readthedocs.io/en/latest/index.html

https://sites.google.com/a/chromium.org/chromedriver/home
下载谷歌浏览器版本对应的chromedriver.exe并将其加入环境变量path中


Anaconda3 (64-bit)
打开Anaconda Prompt，运行以下命令
jupyter nbconvert --to html your_notebook_name.ipynb
可将ipynb格式文件转换为html格式
(base) C:\Users\DZL>jupyter nbconvert --to html Untitled40.ipynb
[NbConvertApp] Converting notebook Untitled40.ipynb to html
[NbConvertApp] Writing 361412 bytes to Untitled40.html


当我打开Jupyter Notebook（以前为IPython）时，默认为C:\Users\USERNAME
打开当前工作目录，中间有空格
(base) C:\Users\DZL>start .

或者在Jupyter Notebook开python页面中输入pwd 或者cd

jupyter notebook --help-all


txt = ",,,,,rrttgg.....banana....rrr"
x = txt.strip(",.grt")
print(x)

>>> banana
  1. from selenium import webdriver
  2. # 添加驱动
  3. driver = webdriver.Chrome(r'D:\chromedriver')
  4. driver.get('https://www.kuaikanmanhua.com/web/topic/1338/')
  5. #driver.page_source
  6. #TopicItem cls
  7. from bs4 import BeautifulSoup
  8. import requests
  9. import time
  10. import os
  11. soup = BeautifulSoup(driver.page_source, 'lxml')
  12. #x=soup.select_one('.TopicList').get('TopicItem cls')
  13. for i in soup.find_all("div", class_="title fl"):
  14.     if i.a['href'] !='javascript:void(0);':
  15.         name = i.text.strip()
  16.         url = 'https://www.kuaikanmanhua.com/'+ i.a['href']
  17.         os.mkdir(r'C:\Users\DANG\Pictures\海贼王\{}'.format(name))
  18.         driver.get(url)
  19.         soup = BeautifulSoup(driver.page_source, 'lxml')
  20. #soup.find_all('img')
  21.         imglist = soup.select_one(".imgList")
  22.         # enumerate返回可迭代对象，元素为两元元组，进而可以用切片获取
  23.         for img in enumerate(imglist, start=1):
  24.             id_num = img[0]
  25.             imgurl = img[1].get('data-src')
  26.             headers ={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}
  27.             res = requests.get(imgurl, headers=headers)
  28.             with open(r'C:\Users\DANG\Pictures\海贼王\{}\{}.jpg'.format(name, id_num), 'wb') as f:
  29.                 f.write(res.content)
  30.             time.sleep(3)

# 打开图片
from PIL import Image
Image.open("test.jpg")

    for i in soup.find_all(class_="ListPicM"):
        img_name = re.sub('[?:\\\/\n]', ' ', i.text)
        img_url = i.img.get('src')
#      img_name = img_url.split('/')[-2]
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'}
        try:
            res = requests.get(img_url, headers=headers, timeout=500)
        except requests.exceptions.ConnectionError:
            print('图片{}因超时无法下载，链接为：{}'.format(img_name, img_url))
            continue


  1. from splinter import Browser
  2. # 如果您没有为该Browser功能提供任何驱动程序参数，则默认firefox将使用
  3. with Browser('chrome') as browser:
  4.     # Visit URL
  5.     url = "http://www.google.com"
  6.     browser.visit(url)
  7.     browser.fill('q', 'splinter - python acceptance testing for web applications')
  8.     # Find and click the 'search' button
  9.     button = browser.find_by_name('btnG')
  10.     # Interact with elements
  11.     button.click()
  12.     if browser.is_text_present('splinter.readthedocs.io'):
  13.         print("Yes, the official website was found!")
  14.     else:
  15.         print("No, it wasn't found... We need to improve our SEO techniques")
  16.  
  17.  
  18.  
  19. # imports the Browser library for Splinter
  20. from splinter import Browser
  21.  
  22. # takes the email address from user as input to login to his/her Facebook account
  23. user_email = input("enter users email address:")
  24.  
  25. # takes the password from user as input to login to his/her Facebook account
  26. user_pass = input("enter users password:")
  27.  
  28. # loads the Chrome browser browser= Browser('chrome')
  29. # stores the URL for Facebook in url variable
  30. url = "https://www.facebook.com/"
  31.  
  32. # navigates to facebook website and load that in the Firefox browser
  33. browser.visit(url)
  34.  
  35. # checks if Facebook web page is loaded else prints an error message
  36. if browser.is_text_present('www.facebook.com'):
  37.  
  38.     # fills the user’s email ID and password in the email and password field of the facebook login section
  39.     # Inbuilt function browser.fill uses the tag name for Email and Password input box i.e. email and pass respectively to identify it    
  40.     browser.fill('email', user_email)    
  41.     browser.fill('pass', user_pass)
  42.      
  43.     # selects the login button using its id value present on the Facebook page to click and log in with the given details    
  44.     button = browser.find_by_id('u_0_d')    
  45.     button.click()
  46.  
  47. else:
  48.     print("Facebook web application NOT FOUND")
标签：

评论

发表评论

此博客中的热门博文

Mongo 入门

https://pymongo.readthedocs.io/en/stable/tutorial.html https://www.mongodb.com/languages/python https://zhuanlan.zhihu.com/p/51171906 https://www.runoob.com/python3/python-mongodb.html https://blog.baoshuo.ren/post/luogu-spider/ https://hub.docker.com/_/mongo 安装 MongoDB $ docker search mongo 启动一个mongo服务器实例 $ docker run --name some-mongo -d mongo:tag some-mongo是您要分配给容器的名称，tag是指定您想要的 MongoDB 版本的标签 MongoDB 的默认数据目录路径是/data/db 如下： $ docker run -it -v mongodata:/data/db -p 27017:27017 --name mongodb --restart unless-stopped -d mongo 你应该让 MongoDB 在端口 27017 上运行，并且可以通过localhostWindows 和 Ubuntu 20.04 上的URL访问 http://localhost:27017/ -p 是 HOST_PORT:CLIENT_PORT  -P 随机端口 -p 27017:27017 :将容器的27017 端口映射到主机的27017 端口 -v mongodata:/data/db :将主机中当前目录下的db挂载到容器的/data/db，作为mongo数据存储目录 从另一个 Docker 容器连接到 MongoDB 镜像中的 MongoDB 服务器侦听标准 MongoDB 端口27017，因此通过 Docker 网络连接将与连接到远程mongod. 以下示例启动另一个 MongoDB 容器实例，并mongo针对上述示例中的原始 MongoDB 容器运行命令行客户端，从而允许您针对数据库实例执行 MongoDB 语句： $ docker run -it --network some-network --...
发表评论
阅读全文

MechanicalSoup

用于自动与网站交互的 Python 库。 MechanicalSoup 自动存储和发送 cookie，跟踪重定向，并且可以跟踪链接和提交表单。 它不执行 JavaScript。 https://github.com/MechanicalSoup/MechanicalSoup https://mechanicalsoup.readthedocs.io/en/stable/index.html https://realpython.com/python-web-scraping-practical-introduction/ pip show Mechanicalsoup 找到模块的安装位置 https://stackoverflow.com/questions/54352162/download-file-with-mechanicalsoup # Install dependencies # pip install requests # pip install BeautifulSoup4 # pip install MechanicalSoup # Import libraries import mechanicalsoup import urllib.request import requests from bs4 import BeautifulSoup import re # Create a browser object that can collect cookies browser = mechanicalsoup.StatefulBrowser() browser.open("https://www.ons.gov.uk/economy/grossdomesticproductgdp/timeseries/l2kq/qna") browser.download_link(link_text=".xls",file="D:/ONS_Data.xls" )
发表评论
阅读全文

端口映射 公网访问内网

https://portforward.com/ Holer 通过安全隧道将位于NAT和防火墙之后的本地服务器暴露给公共Internet。 Holer是一个将原型中的应用映射到公网访问的端口映射软件，支持转发基于TCP协议的报文 https://github.com/wisdom-projects/holer 方式一：使用（公告）的holer映射或者开通holer服务，通过holer客户端软件经 holer服务器实现公网访问。 公开的holer映射详情如下： 访问密钥 访问域名 公网地址 本地地址 使用场景 HOLER_CLIENT-2F8D8B78B3C2A0AE holer65530.wdom.net holer.org:65530 127.0.0.1:8080 网页 HOLER_CLIENT-3C07CDFD1BF99BF2 holer65531.wdom.net holer.org:65531 127.0.0.1:8088 网页 HOLER_CLIENT-2A623FCB6E2A7D1D holer65532.wdom.net holer.org:65532 127.0.0.1:80 网页 HOLER_CLIENT-AF3E6391525F70E4 不适用 holer.org:65533 127.0.0.1:3389 远程桌面 HOLER_CLIENT-822404317F9D8ADD 不适用 holer.org:65534 127.0.0.1:22 SSH协议 HOLER_CLIENT-27DD1389DF1D4DBC 不适用 holer.org:65535 127.0.0.1:3306 数据库 使用Java版本的holer客户端 ①java 1.7或者更高版本 ②下载holer-client.zip 修改配置文件C:\holer-client\conf\holer.conf HOLER_ACCESS_KEY=HOLER_CLIENT-2A623FCB6E2A7D1D HOLER_SERVER_HOST=holer65532.wdom.net ③建议先双击运行C:\holer-client\bin\shutdown.bat，再双击运行C:\holer-client\bin\startup.bat...
发表评论
阅读全文