Не уверен. В jarsigner нет опции "удалить ключ". Можно попробовать уже подписанный подписать повторно, посмотреть что скажет. Но лучше сделать build в release-mode.