Только после окончания выполнения самой итерации. Физически поток не уничтожится, он перестанет выполняться, но будет висеть в памяти. Если надо уничтожить поток после выполнения, то правильно уничтожать его нужно от синхронного события.