Вообще-то, TempFileStream имеет тенденцию удалять за собой файлы, если, только, они не заняты каким-либо процессом, например, проигрыванием