При открытии из письма вложенных файлов они валятся в папку пользователя C:\Users\User\AppData\Local\Microsoft\Windows\INetCache\Content.Outlook. Все вложенные папки и их содержимое - мусор, который почему-то не удаляется при выходе.

Найти её можно для текущего пользователя ещё и таким образом: %LocalAppData%\Microsoft\Windows\INetCache\Content.Outlook

Вот команда для PowerShell для очистки этого кэша:

Remove-Item "C:\Users\$env:UserName\AppData\Local\Microsoft\Windows\INetCache\Content.Outlook\*" -Recurse -Force

При желании можно сделать скрипт и повесить его в групповой политике на выход пользователя.