Download manager reliability

[damajor]

I use my textual app behind reverse proxy and download manager randomly fails to push file to client.

Tested with:

• nginx reverse proxy
• frp

It also fails when the textual app is run inside container.

[damajor]

Here is a full trace without any reverse proxy:

         ╭──────────────────────────────────────────────────────────────────────────────────────────────────────── Traceback (most recent call last) ────────────────────────────────────────────────────────────────────────────────────────────────────────╮
         │ /usr/lib64/python3.12/site-packages/aiohttp/web_protocol.py:452 in _handle_request                                                                                                                                                                │
         │                                                                                                                                                                                                                                                   │
         │   449 │   │   try:                                                                             ╭─────────────────────────────────────── locals ───────────────────────────────────────╮                                                           │
         │   450 │   │   │   try:                                                                         │             exc = ValueError('task_done() called too many times')                    │                                                           │
         │   451 │   │   │   │   self._current_request = request                                          │         request = <Request GET /download/42b8688c968e44c4a26336e5dbcf2084 >          │                                                           │
         │ ❱ 452 │   │   │   │   resp = await request_handler(request)                                    │ request_handler = <bound method Application._handle of <Application 0x7ff16d40a0f0>> │                                                           │
         │   453 │   │   │   finally:                                                                     │            self = <RequestHandler connected>                                         │                                                           │
         │   454 │   │   │   │   self._current_request = None                                             │      start_time = 83763.585644833                                                    │                                                           │
         │   455 │   │   except HTTPException as exc:                                                     ╰──────────────────────────────────────────────────────────────────────────────────────╯                                                           │
         │                                                                                                                                                                                                                                                   │
         │ /usr/lib64/python3.12/site-packages/aiohttp/web_app.py:543 in _handle                                                                                                                                                                             │
         │                                                                                                                                                                                                                                                   │
         │   540 │   │   │   │   │   │   else:                                                                                                                                                                                                               │
         │   541 │   │   │   │   │   │   │   handler = await m(app, handler)  # type:                                                                                                                                                                        │
         │       ignore[arg-type,assignment]                                                                                                                                                                                                                 │
         │   542 │   │   │                                                                                                                                                                                                                                   │
         │ ❱ 543 │   │   │   resp = await handler(request)                                                                                                                                                                                                   │
         │   544 │   │                                                                                                                                                                                                                                       │
         │   545 │   │   return resp                                                                                                                                                                                                                         │
         │   546                                                                                                                                                                                                                                             │
         │                                                                                                                                                                                                                                                   │
         │ ╭────────────────────────────────────────────────────────────────────────────────────────────────────────────────── locals ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮   │
         │ │      debug = False                                                                                                                                                                                                                          │   │
         │ │     expect = None                                                                                                                                                                                                                           │   │
         │ │    handler = <bound method Server.handle_download of <textual_serve.server.Server object at 0x7ff16d3d3e00>>                                                                                                                                │   │
         │ │       loop = <_UnixSelectorEventLoop running=True closed=False debug=False>                                                                                                                                                                 │   │
         │ │ match_info = <MatchInfo {'key': '42b8688c968e44c4a26336e5dbcf2084'}: <ResourceRoute [GET] <DynamicResource 'download'  /download/{key}> -> <bound method Server.handle_download of <textual_serve.server.Server object at 0x7ff16d3d3e00>>> │   │
         │ │    request = <Request GET /download/42b8688c968e44c4a26336e5dbcf2084 >                                                                                                                                                                      │   │
         │ │       resp = None                                                                                                                                                                                                                           │   │
         │ │       self = <Application 0x7ff16d40a0f0>                                                                                                                                                                                                   │   │
         │ ╰─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯   │
         │                                                                                                                                                                                                                                                   │
         │ /home/user/.local/lib/python3.12/site-packages/textual_serve/server.py:183 in handle_download                                                                                                                                                       │
         │                                                                                                                                                                                                                                                   │
         │   180 │   │                                                                                                                                                                                                                                       │
         │   181 │   │   await response.prepare(request)                                                                                                                                                                                                     │
         │   182 │   │                                                                                                                                                                                                                                       │
         │ ❱ 183 │   │   async for chunk in self.download_manager.download(key):                                                                                                                                                                             │
         │   184 │   │   │   await response.write(chunk)                                                                                                                                                                                                     │
         │   185 │   │                                                                                                                                                                                                                                       │
         │   186 │   │   await response.write_eof()                                                                                                                                                                                                          │
         │                                                                                                                                                                                                                                                   │
         │ ╭─────────────────────────────────────────────────────────────────────────────────────────────────────────────────── locals ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ │
         │ │         chunk = b"P\xe9l\x05\x1e*\x9d\xa5\xc0C\xa53\x15\xf8\xa7t\x86\x02\xff\x94NW\xd0M\xd0x\x05\x1e*\x9d\xa6\xc0C\xa5S\x15x\xa8t\x8a\x02\x0f\x95\xc6)\xe8&\xe8d\x05>*\x9d\xa4\xc0G\xa5\x13\x15x\xa84V\x81\x87J'(\xf0P\xe9x\x05\x1e*\x1d\xa7… │ │
         │ │  content_type = 'application/gzip'                                                                                                                                                                                                     │ │
         │ │   disposition = 'attachment'                                                                                                                                                                                                                  │ │
         │ │ download_meta = Download(                                                                                                                                                                                                                     │ │
         │ │                 │   app_service=<textual_serve.app_service.AppService object at 0x7ff16b658740>,                                                                                                                                              │ │
         │ │                 │   delivery_key='42b8688c968e44c4a26336e5dbcf2084',                                                                                                                                                                          │ │
         │ │                 │   file_name='d4575f3b-c7f9-4ec5-b1e8-17918d37c34f.gz',                                                                                                                                          │ │
         │ │                 │   open_method='download',                                                                                                                                                                                                   │ │
         │ │                 │   mime_type='application/gzip',                                                                                                                                                                                      │ │
         │ │                 │   encoding='',                                                                                                                                                                                                              │ │
         │ │                 │   name='dbs/d4575f3b-c7f9-4ec5-b1e8-17918d37c34f.gz',                                                                                                                                           │ │
         │ │                 │   incoming_chunks=<Queue at 0x7ff16b695880 maxsize=0>                                                                                                                                                                       │ │
         │ │                 )                                                                                                                                                                                                                             │ │
         │ │           key = '42b8688c968e44c4a26336e5dbcf2084'                                                                                                                                                                                            │ │
         │ │     mime_type = 'application/gzip'                                                                                                                                                                                                     │ │
         │ │       request = <Request GET /download/42b8688c968e44c4a26336e5dbcf2084 >                                                                                                                                                                     │ │
         │ │      response = <StreamResponse OK GET /download/42b8688c968e44c4a26336e5dbcf2084 >                                                                                                                                                           │ │
         │ │          self = <textual_serve.server.Server object at 0x7ff16d3d3e00>                                                                                                                                                                        │ │
         │ ╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ │
         │                                                                                                                                                                                                                                                   │
         │ /home/user/.local/lib/python3.12/site-packages/textual_serve/download_manager.py:143 in download                                                                                                                                                    │
         │                                                                                                                                                                                                                                                   │
         │   140 │   │   │   if not chunk:                                                                ╭──────────────────────────────────────────────── locals ────────────────────────────────────────────────╮                                         │
         │   141 │   │   │   │   # Empty chunk - the app process has finished sending the file            │     app_service = <textual_serve.app_service.AppService object at 0x7ff16b658740>                      │                                         │
         │   142 │   │   │   │   # or the download has been cancelled.                                    │           chunk = None                                                                                 │                                         │
         │ ❱ 143 │   │   │   │   incoming_chunks.task_done()                                              │    delivery_key = '42b8688c968e44c4a26336e5dbcf2084'                                                   │                                         │
         │   144 │   │   │   │   del self._active_downloads[delivery_key]                                 │        download = Download(                                                                            │                                         │
         │   145 │   │   │   │   break                                                                    │                   │   app_service=<textual_serve.app_service.AppService object at 0x7ff16b658740>,     │                                         │
         │   146 │   │   │   else:                                                                        │                   │   delivery_key='42b8688c968e44c4a26336e5dbcf2084',                                 │                                         │
         │                                                                                                │                   │   file_name='d4575f3b-c7f9-4ec5-b1e8-17918d37c34f.gz', │                                         │
         │                                                                                                │                   │   open_method='download',                                                          │                                         │
         │                                                                                                │                   │   mime_type='application/gzip',                                             │                                         │
         │                                                                                                │                   │   encoding='',                                                                     │                                         │
         │                                                                                                │                   │   name='dbs/d4575f3b-c7f9-4ec5-b1e8-17918d37c34f.gz',  │                                         │
         │                                                                                                │                   │   incoming_chunks=<Queue at 0x7ff16b695880 maxsize=0>                              │                                         │
         │                                                                                                │                   )                                                                                    │                                         │
         │                                                                                                │ incoming_chunks = <Queue at 0x7ff16b695880 maxsize=0>                                                  │                                         │
         │                                                                                                │            self = <textual_serve.download_manager.DownloadManager object at 0x7ff16bae3830>            │                                         │
         │                                                                                                │     send_result = True                                                                                 │                                         │
         │                                                                                                ╰────────────────────────────────────────────────────────────────────────────────────────────────────────╯                                         │
         │                                                                                                                                                                                                                                                   │
         │ /usr/lib64/python3.12/asyncio/queues.py:201 in task_done                                                                                                                                                                                          │
         │                                                                                                                                                                                                                                                   │
         │   198 │   │   the queue.                                                                       ╭────────────────── locals ──────────────────╮                                                                                                     │
         │   199 │   │   """                                                                              │ self = <Queue at 0x7ff16b695880 maxsize=0> │                                                                                                     │
         │   200 │   │   if self._unfinished_tasks <= 0:                                                  ╰────────────────────────────────────────────╯                                                                                                     │
         │ ❱ 201 │   │   │   raise ValueError('task_done() called too many times')                                                                                                                                                                           │
         │   202 │   │   self._unfinished_tasks -= 1                                                                                                                                                                                                         │
         │   203 │   │   if self._unfinished_tasks == 0:                                                                                                                                                                                                     │
         │   204 │   │   │   self._finished.set()                                                                                                                                                                                                            │
         ╰───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
         ValueError: task_done() called too many times