nginx-upload-module模块实现文件上传(multipart/form-data和断点续传)

前言



有时候我们想简单实现文件上传的功能,又不想使用额外的语言(比如PHP、Java),或者想实现文件的断点续传。这个时候Nginx的一个模块nginx-upload-module就能满足我们的需求。

模块安装



下载模块:

  1. cd /tmp
  2. wget https://codeload.github.com/vkholodkov/nginx-upload-module/zip/2.2
  3. unzip 2.2

安装模块:

  1. .configure --add-module=/tmp/nginx-upload-module-2.2/


multipart/form-data表单上传示例



nginx.conf配置:

  1. server {
  2. [...]
  3.         location /upload {
  4.                 upload_pass @uploadHandler;
  5.                 upload_store /usr/local/nginx/upload_temp 1;
  6.                 upload_set_form_field $upload_field_name.path "$upload_tmp_path";
  7.         }
  8.  
  9.         location @uploadHandler {
  10.                 proxy_pass http://backend-host;
  11.         }
  12. [...]
  13. }

这里在server里定义了upload location,这个location是上传的接口,还有@uploadHandler location,是当文件上传完成后,nginx模块会对这个location发送一些必要的信息,如文件上传的路径。
这里涉及了几个指令:

  • upload_pass @uploadHandler: 上传完成后会发送必要的数据到@uploadHandler;
  • upload_store /usr/local/nginx/upload_temp 1: 文件上传的临时目录;
  • upload_set_form_field $upload_field_name.path “$upload_tmp_path”: 设置文件上传完成后,把文件临时路径发送给upload_pass指定的location。


断点续传示例


nginx.conf配置


  1. server {
  2. [...]
  3.         location /resumable_upload {
  4.                 upload_resumable on;
  5.                 upload_state_store /usr/local/nginx/upload_temp ;
  6.                 upload_pass @drivers_upload_handler;
  7.                 upload_store /usr/local/nginx/upload_temp;
  8.                 upload_set_form_field $upload_field_name.path "$upload_tmp_path";
  9.         }
  10.  
  11.         location @resumable_upload_handler {
  12.                 proxy_pass http://localhost:8002;
  13.         }
  14. [...]
  15. }

与上一步multipart/form-data表单上传示例配置不同的地方有:

  • upload_resumable on: 开启断点续传功能;
  • upload_state_store /usr/local/nginx/upload_temp: 设置断点续传状态文件存储的目录。


上传文件第一个片段


  1. POST /upload HTTP/1.1
  2. Host: example.com
  3. Content-Length: 51201
  4. Content-Type: application/octet-stream
  5. Content-Disposition: attachment;
  6. X-Content-Range: bytes 0-51200/511920
  7. Session-ID: 1111215056
  8.  
  9. <0-51200的字节文件数据>


上传文件第一个片段服务器响应


  1. HTTP/1.1 201 Created
  2. Date: Thu, 02 Sep 2010 12:54:40 GMT
  3. Content-Length: 14
  4. Connection: close
  5. Range: 0-51200/511920
  6.  
  7. 0-51200/511920


上传文件最后一个片段


  1. POST /upload HTTP/1.1
  2. Host: example.com
  3. Content-Length: 51111
  4. Content-Type: application/octet-stream
  5. Content-Disposition: attachment;
  6. X-Content-Range: bytes 460809-511919/511920
  7. Session-ID: 1111215056
  8.  
  9. <460809-511919字节文件数据>


上传文件最后一个片段服务器响应


  1. HTTP/1.1 200 OK
  2. Date: Thu, 02 Sep 2010 12:54:43 GMT
  3. Content-Type: text/html
  4. Connection: close
  5. Content-Length: 2270
  6.  
  7. <响应的内容>


请求头说明


请求头 说明
Content-Disposition attachment, filename=“上传的文件名”
Content-Type 待上传文件的mime type,如application/octet-stream(注:不能为multipart/form-data)
X-Content-Range 待上传文件字节范围,如第一片段bytes 0-51200/511920,最后一个片段bytes 460809-511919/511920(注:文件第一个字节标号为0,最后一个字节标号为n-1,其中n为文件字节大小)
X-Session-ID 上传文件的标识,由客户端随机指定.因为是断点续传,客户端必须确保同一个文件的所有片段上传标识一致
Content-Length 上传片段的大小


Python上传demo


  1. #!/usr/bin/python
  2. # -*- coding: utf-8 -*- 
  3.  
  4.  
  5. import os.path
  6. import requests
  7. import hashlib
  8.  
  9. # 待上传文件路径
  10. FILE_UPLOAD = "/tmp/testfile"
  11. # 上传接口地址
  12. UPLOAD_URL = "http://host/drivers_upload"
  13. # 单个片段上传的字节数
  14. SEGMENT_SIZE = 1048576
  15.  
  16. def upload(fp, file_pos, size, file_size):
  17.     session_id = get_session_id()
  18.     fp.seek(file_pos)
  19.     payload = fp.read(size)
  20.     content_range = "bytes {file_pos}-{pos_end}/{file_size}".format(file_pos=file_pos,
  21.                     pos_end=file_pos+size-1,file_size=file_size)
  22.     headers = {'Content-Disposition': 'attachment;','Content-Type': 'application/octet-stream',
  23.                 'X-Content-Range':content_range,'Session-ID': session_id,'Content-Length': size}
  24.     res = requests.post(UPLOAD_URL, data=payload, headers=headers)
  25.     print(res.text)
  26.  
  27.  
  28. # 根据文件名hash获得session id
  29. def get_session_id():
  30.     m = hashlib.md5()
  31.     file_name = os.path.basename(FILE_UPLOAD)
  32.     m.update(file_name)
  33.     return m.hexdigest()
  34.  
  35. def main():
  36.     file_pos = 0
  37.     file_size = os.path.getsize(FILE_UPLOAD)
  38.     fp = open(FILE_UPLOAD,"r")
  39.  
  40.     while True:
  41.         if file_pos + SEGMENT_SIZE >= file_size:
  42.             upload(fp, file_pos, file_size - file_pos, file_size)
  43.             fp.close()
  44.             break
  45.         else:
  46.             upload(fp, file_pos, SEGMENT_SIZE, file_size)
  47.             file_pos = file_pos + SEGMENT_SIZE
  48.  
  49. if __name__ == "__main__":
  50.     main()


参考



https://www.nginx.com/resources/wiki/modules/upload/
http://www.grid.net.ru/nginx/upload.en.html

标签:Nginx 发布于:2019-11-21 22:34:07