Wenn ohne jede „Vorwarnung“ direkt der Bescheid kam, ist es schon mal ein deutliches Indiz, dass die vorherigen Schreiben falsch adressiert waren. So selten kommt das nicht vor. Interessant wäre allenfalls, wie die Nürnberger an Deine gegenwärtige Anschrift gekommen sind. Dann könnte man ihnen auf die Zehen treten, weil sie damit wissen mussten, dass ihre bisherigen Schreiben Dich nicht erreicht haben. Hilft konkret aber nicht viel weiter.

Wenn Du keine Abmeldeunterlagen mehr hast und nicht einmal mehr weißt, ob Du Dich überhaupt abgemeldet hat, musst Du den Nachweis der „tatsächlichen Nichtnutzung“ eben anders erbringen. Das geht, wenn es anders überhaupt nicht möglich ist (z.B. Nachmieter, Auskunft des damaligen/jetzigen Vermieters, Plausibiltät der NW-Aufgabe usw.), ggf. durch Abgabe einer Versicherung an Eides statt (für Widerspruch gegen Steuerbescheid und zur – wenn möglich rückwirkenden - Abmeldung der Nebenwohnung beim Meldeamt).