跳至主要内容

python 之 Thread(线程)

http://python101.pythonlibrary.org/chapter21_thread.html
https://www.tutorialspoint.com/python3/python_multithreading.htm

  1. # Python 3 version
  2.  
  3. import os
  4. import urllib.request
  5.  
  6. from threading import Thread
  7.  
  8. class DownloadThread(Thread):
  9.     """
  10.    A threading example that can download a file
  11.    """
  12.  
  13.     def __init__(self, url, name):
  14.         """Initialize the thread"""
  15.         Thread.__init__(self)
  16.         self.name = name
  17.         self.url = url
  18.  
  19.     def run(self):
  20.         """Run the thread"""
  21.         handle = urllib.request.urlopen(self.url)
  22.         fname = os.path.basename(self.url)
  23.         with open(fname, "wb") as f_handler:
  24.             while True:
  25.                 chunk = handle.read(1024)
  26.                 if not chunk:
  27.                     break
  28.                 f_handler.write(chunk)
  29.         msg = "%s has finished downloading %s!" % (self.name,
  30.                                                    self.url)
  31.         print(msg)
  32.  
  33. def main(urls):
  34.     """
  35.    Run the program
  36.    """
  37.     for item, url in enumerate(urls):
  38.         name = "Thread %s" % (item+1)
  39.         thread = DownloadThread(url, name)
  40.         thread.start()
  41.  
  42. if __name__ == "__main__":
  43.     urls = ["http://www.irs.gov/pub/irs-pdf/f1040.pdf",
  44.             "http://www.irs.gov/pub/irs-pdf/f1040a.pdf",
  45.             "http://www.irs.gov/pub/irs-pdf/f1040ez.pdf",
  46.             "http://www.irs.gov/pub/irs-pdf/f1040es.pdf",
  47.             "http://www.irs.gov/pub/irs-pdf/f1040sb.pdf"]
  48.     main(urls)
  49. -------------------------------------------------------------
  50. import os
  51. import threading
  52. import urllib.request
  53.  
  54. from queue import Queue
  55.  
  56. class Downloader(threading.Thread):
  57.     """Threaded File Downloader"""
  58.  
  59.     def __init__(self, queue):
  60.         """Initialize the thread"""
  61.         threading.Thread.__init__(self)
  62.         self.queue = queue
  63.  
  64.     def run(self):
  65.         """Run the thread"""
  66.         while True:
  67.             # gets the url from the queue
  68.             url = self.queue.get()
  69.  
  70.             # download the file
  71.             self.download_file(url)
  72.  
  73.             # send a signal to the queue that the job is done
  74.             self.queue.task_done()
  75.  
  76.     def download_file(self, url):
  77.         """Download the file"""
  78.         handle = urllib.request.urlopen(url)
  79.         fname = os.path.basename(url)
  80.         with open(fname, "wb") as f:
  81.             while True:
  82.                 chunk = handle.read(1024)
  83.                 if not chunkbreak
  84.                 f.write(chunk)
  85.  
  86. def main(urls):
  87.     """
  88.    Run the program
  89.    """
  90.     queue = Queue()
  91.  
  92.     # create a thread pool and give them a queue
  93.     for i in range(5):
  94.         t = Downloader(queue)
  95.         t.setDaemon(True)
  96.         t.start()
  97.  
  98.     # give the queue some data
  99.     for url in urls:
  100.         queue.put(url)
  101.  
  102.     # wait for the queue to finish
  103.     queue.join()
  104.  
  105. if __name__ == "__main__":
  106.     urls = ["http://www.irs.gov/pub/irs-pdf/f1040.pdf",
  107.             "http://www.irs.gov/pub/irs-pdf/f1040a.pdf",
  108.             "http://www.irs.gov/pub/irs-pdf/f1040ez.pdf",
  109.             "http://www.irs.gov/pub/irs-pdf/f1040es.pdf",
  110.             "http://www.irs.gov/pub/irs-pdf/f1040sb.pdf"]
  111.     main(urls)






评论

此博客中的热门博文

Mongo 入门

https://pymongo.readthedocs.io/en/stable/tutorial.html https://www.mongodb.com/languages/python https://zhuanlan.zhihu.com/p/51171906 https://www.runoob.com/python3/python-mongodb.html https://blog.baoshuo.ren/post/luogu-spider/ https://hub.docker.com/_/mongo 安装 MongoDB $ docker search mongo 启动一个mongo服务器实例 $ docker run --name some-mongo -d mongo:tag some-mongo是您要分配给容器的名称,tag是指定您想要的 MongoDB 版本的标签 MongoDB 的默认数据目录路径是/data/db 如下: $ docker run -it -v mongodata:/data/db -p 27017:27017 --name mongodb --restart unless-stopped -d mongo 你应该让 MongoDB 在端口 27017 上运行,并且可以通过localhostWindows 和 Ubuntu 20.04 上的URL访问 http://localhost:27017/ -p 是 HOST_PORT:CLIENT_PORT  -P 随机端口 -p 27017:27017 :将容器的27017 端口映射到主机的27017 端口 -v mongodata:/data/db :将主机中当前目录下的db挂载到容器的/data/db,作为mongo数据存储目录 从另一个 Docker 容器连接到 MongoDB 镜像中的 MongoDB 服务器侦听标准 MongoDB 端口27017,因此通过 Docker 网络连接将与连接到远程mongod. 以下示例启动另一个 MongoDB 容器实例,并mongo针对上述示例中的原始 MongoDB 容器运行命令行客户端,从而允许您针对数据库实例执行 MongoDB 语句: $ docker run -it --network some-network --...

MechanicalSoup

用于自动与网站交互的 Python 库。 MechanicalSoup 自动存储和发送 cookie,跟踪重定向,并且可以跟踪链接和提交表单。 它不执行 JavaScript。 https://github.com/MechanicalSoup/MechanicalSoup https://mechanicalsoup.readthedocs.io/en/stable/index.html https://realpython.com/python-web-scraping-practical-introduction/ pip show Mechanicalsoup 找到模块的安装位置 https://stackoverflow.com/questions/54352162/download-file-with-mechanicalsoup # Install dependencies # pip install requests # pip install BeautifulSoup4 # pip install MechanicalSoup # Import libraries import mechanicalsoup import urllib.request import requests from bs4 import BeautifulSoup import re # Create a browser object that can collect cookies browser = mechanicalsoup.StatefulBrowser() browser.open("https://www.ons.gov.uk/economy/grossdomesticproductgdp/timeseries/l2kq/qna") browser.download_link(link_text=".xls",file="D:/ONS_Data.xls" )

端口映射 公网访问内网

https://portforward.com/ Holer 通过安全隧道将位于NAT和防火墙之后的本地服务器暴露给公共Internet。 Holer是一个将原型中的应用映射到公网访问的端口映射软件,支持转发基于TCP协议的报文 https://github.com/wisdom-projects/holer 方式一:使用(公告)的holer映射或者开通holer服务,通过holer客户端软件经 holer服务器实现公网访问。 公开的holer映射详情如下: 访问密钥 访问域名 公网地址 本地地址 使用场景 HOLER_CLIENT-2F8D8B78B3C2A0AE holer65530.wdom.net holer.org:65530 127.0.0.1:8080 网页 HOLER_CLIENT-3C07CDFD1BF99BF2 holer65531.wdom.net holer.org:65531 127.0.0.1:8088 网页 HOLER_CLIENT-2A623FCB6E2A7D1D holer65532.wdom.net holer.org:65532 127.0.0.1:80 网页 HOLER_CLIENT-AF3E6391525F70E4 不适用 holer.org:65533 127.0.0.1:3389 远程桌面 HOLER_CLIENT-822404317F9D8ADD 不适用 holer.org:65534 127.0.0.1:22 SSH协议 HOLER_CLIENT-27DD1389DF1D4DBC 不适用 holer.org:65535 127.0.0.1:3306 数据库 使用Java版本的holer客户端 ①java 1.7或者更高版本 ②下载holer-client.zip 修改配置文件C:\holer-client\conf\holer.conf HOLER_ACCESS_KEY=HOLER_CLIENT-2A623FCB6E2A7D1D HOLER_SERVER_HOST=holer65532.wdom.net ③建议先双击运行C:\holer-client\bin\shutdown.bat,再双击运行C:\holer-client\bin\startup.bat...