Удалить все теги с сервера git:

git ls-remote --tags --refs origin | cut -f2 | xargs git push origin --delete

Эта команда работает очень быстро, удаляет все теги сразу а не один тег за 2 секунды в цикле. Команда сработает независимо от того забирали ли вы теги предварительно с сервера:

Если нужно удалить все локальные теги:

git tag | xargs -L 1 | xargs git tag --delete