跳至主要内容

python 之 Thread(线程)

http://python101.pythonlibrary.org/chapter21_thread.html
https://www.tutorialspoint.com/python3/python_multithreading.htm

  1. # Python 3 version
  2.  
  3. import os
  4. import urllib.request
  5.  
  6. from threading import Thread
  7.  
  8. class DownloadThread(Thread):
  9.     """
  10.    A threading example that can download a file
  11.    """
  12.  
  13.     def __init__(self, url, name):
  14.         """Initialize the thread"""
  15.         Thread.__init__(self)
  16.         self.name = name
  17.         self.url = url
  18.  
  19.     def run(self):
  20.         """Run the thread"""
  21.         handle = urllib.request.urlopen(self.url)
  22.         fname = os.path.basename(self.url)
  23.         with open(fname, "wb") as f_handler:
  24.             while True:
  25.                 chunk = handle.read(1024)
  26.                 if not chunk:
  27.                     break
  28.                 f_handler.write(chunk)
  29.         msg = "%s has finished downloading %s!" % (self.name,
  30.                                                    self.url)
  31.         print(msg)
  32.  
  33. def main(urls):
  34.     """
  35.    Run the program
  36.    """
  37.     for item, url in enumerate(urls):
  38.         name = "Thread %s" % (item+1)
  39.         thread = DownloadThread(url, name)
  40.         thread.start()
  41.  
  42. if __name__ == "__main__":
  43.     urls = ["http://www.irs.gov/pub/irs-pdf/f1040.pdf",
  44.             "http://www.irs.gov/pub/irs-pdf/f1040a.pdf",
  45.             "http://www.irs.gov/pub/irs-pdf/f1040ez.pdf",
  46.             "http://www.irs.gov/pub/irs-pdf/f1040es.pdf",
  47.             "http://www.irs.gov/pub/irs-pdf/f1040sb.pdf"]
  48.     main(urls)
  49. -------------------------------------------------------------
  50. import os
  51. import threading
  52. import urllib.request
  53.  
  54. from queue import Queue
  55.  
  56. class Downloader(threading.Thread):
  57.     """Threaded File Downloader"""
  58.  
  59.     def __init__(self, queue):
  60.         """Initialize the thread"""
  61.         threading.Thread.__init__(self)
  62.         self.queue = queue
  63.  
  64.     def run(self):
  65.         """Run the thread"""
  66.         while True:
  67.             # gets the url from the queue
  68.             url = self.queue.get()
  69.  
  70.             # download the file
  71.             self.download_file(url)
  72.  
  73.             # send a signal to the queue that the job is done
  74.             self.queue.task_done()
  75.  
  76.     def download_file(self, url):
  77.         """Download the file"""
  78.         handle = urllib.request.urlopen(url)
  79.         fname = os.path.basename(url)
  80.         with open(fname, "wb") as f:
  81.             while True:
  82.                 chunk = handle.read(1024)
  83.                 if not chunkbreak
  84.                 f.write(chunk)
  85.  
  86. def main(urls):
  87.     """
  88.    Run the program
  89.    """
  90.     queue = Queue()
  91.  
  92.     # create a thread pool and give them a queue
  93.     for i in range(5):
  94.         t = Downloader(queue)
  95.         t.setDaemon(True)
  96.         t.start()
  97.  
  98.     # give the queue some data
  99.     for url in urls:
  100.         queue.put(url)
  101.  
  102.     # wait for the queue to finish
  103.     queue.join()
  104.  
  105. if __name__ == "__main__":
  106.     urls = ["http://www.irs.gov/pub/irs-pdf/f1040.pdf",
  107.             "http://www.irs.gov/pub/irs-pdf/f1040a.pdf",
  108.             "http://www.irs.gov/pub/irs-pdf/f1040ez.pdf",
  109.             "http://www.irs.gov/pub/irs-pdf/f1040es.pdf",
  110.             "http://www.irs.gov/pub/irs-pdf/f1040sb.pdf"]
  111.     main(urls)






评论

此博客中的热门博文

Mongo 入门

https://pymongo.readthedocs.io/en/stable/tutorial.html https://www.mongodb.com/languages/python https://zhuanlan.zhihu.com/p/51171906 https://www.runoob.com/python3/python-mongodb.html https://blog.baoshuo.ren/post/luogu-spider/ https://hub.docker.com/_/mongo 安装 MongoDB $ docker search mongo 启动一个mongo服务器实例 $ docker run --name some-mongo -d mongo:tag some-mongo是您要分配给容器的名称,tag是指定您想要的 MongoDB 版本的标签 MongoDB 的默认数据目录路径是/data/db 如下: $ docker run -it -v mongodata:/data/db -p 27017:27017 --name mongodb --restart unless-stopped -d mongo 你应该让 MongoDB 在端口 27017 上运行,并且可以通过localhostWindows 和 Ubuntu 20.04 上的URL访问 http://localhost:27017/ -p 是 HOST_PORT:CLIENT_PORT  -P 随机端口 -p 27017:27017 :将容器的27017 端口映射到主机的27017 端口 -v mongodata:/data/db :将主机中当前目录下的db挂载到容器的/data/db,作为mongo数据存储目录 从另一个 Docker 容器连接到 MongoDB 镜像中的 MongoDB 服务器侦听标准 MongoDB 端口27017,因此通过 Docker 网络连接将与连接到远程mongod. 以下示例启动另一个 MongoDB 容器实例,并mongo针对上述示例中的原始 MongoDB 容器运行命令行客户端,从而允许您针对数据库实例执行 MongoDB 语句: $ docker run -it --network some-network --...

端口映射 公网访问内网

https://portforward.com/ Holer 通过安全隧道将位于NAT和防火墙之后的本地服务器暴露给公共Internet。 Holer是一个将原型中的应用映射到公网访问的端口映射软件,支持转发基于TCP协议的报文 https://github.com/wisdom-projects/holer 方式一:使用(公告)的holer映射或者开通holer服务,通过holer客户端软件经 holer服务器实现公网访问。 公开的holer映射详情如下: 访问密钥 访问域名 公网地址 本地地址 使用场景 HOLER_CLIENT-2F8D8B78B3C2A0AE holer65530.wdom.net holer.org:65530 127.0.0.1:8080 网页 HOLER_CLIENT-3C07CDFD1BF99BF2 holer65531.wdom.net holer.org:65531 127.0.0.1:8088 网页 HOLER_CLIENT-2A623FCB6E2A7D1D holer65532.wdom.net holer.org:65532 127.0.0.1:80 网页 HOLER_CLIENT-AF3E6391525F70E4 不适用 holer.org:65533 127.0.0.1:3389 远程桌面 HOLER_CLIENT-822404317F9D8ADD 不适用 holer.org:65534 127.0.0.1:22 SSH协议 HOLER_CLIENT-27DD1389DF1D4DBC 不适用 holer.org:65535 127.0.0.1:3306 数据库 使用Java版本的holer客户端 ①java 1.7或者更高版本 ②下载holer-client.zip 修改配置文件C:\holer-client\conf\holer.conf HOLER_ACCESS_KEY=HOLER_CLIENT-2A623FCB6E2A7D1D HOLER_SERVER_HOST=holer65532.wdom.net ③建议先双击运行C:\holer-client\bin\shutdown.bat,再双击运行C:\holer-client\bin\startup.bat...

Chrome浏览器

谷歌搜索 双引号——精确搜索 冒号后加文件类型——搜索特定类型的结果 关键词 后 site:**——搜索特定网站的关键词 +、-关键词——实现特定需求筛选 Google中/——快捷键入浏览·搜索框 关键词后..——搜索特定范围(地点)关键词 intitle:关键词——搜索特定标题 用 puppeteer 直接运行 chrome 爬 https://github.com/puppeteer/puppeteer Puppeteer 是一个 Node 库,它提供了一个高级 API 来通过 DevTools 协议 控制 Chrome 或 Chromium 。Puppeteer默认 无头 运行,但可以配置为运行完整(非无头)Chrome 或 Chromium。 了解如何为 Chrome 开发扩展程序 https://developer.chrome.com/docs/extensions/mv3/ 什么是Chrome插件 https://github.com/sxei/chrome-plugin-demo Google Workspace 状态信息中心 https://www.google.com/appsstatus#hl=zh&v=status 此页面提供属于“Google Workspace”的服务的状态信息 谷歌浏览器离线下载 https://support.google.com/chrome/answer/95346?co=GENIE.Platform%3DDesktop&hl=zh-Hans 企业版 https://cloud.google.com/chrome-enterprise/browser/download 也可以在谷歌浏览器 帮助中心 中搜索chrome https://www.google.com/intl/zh-CN/chrome/?standalone=1 chrome 打开新网页时不要覆盖 鼠标 中键(滚轮)点击超链接 ,或者右击超链接,选择新标签页打开, 还有点链接的同时按下 Ctrl 键也可以 谷歌在线翻译网页 http://translate.google.com/translate?u= http://www.dropitproject.com/index.php 打开chrome浏览器按 F6 ,等同于按 ...