Die Kallmünz liegt im ältesten Viertel inmitten der Kurstadt Meran, die schon 1522 von Kaiser Karl V. für sein besonderes Klima geschätzt wurde. Dieses milde Klima des Burggrafenamtes lockte aber nicht nur Aristokraten aus dem Reich der Habsburger, sondern auch aus großen Teilen Europas, aus England, Frankreich, Preußen und Russland hierher, um Ruhe und Erholung zu finden und etwas für ihre Gesundheit zu tun. Als Symbolfigur gilt dabei sicherlich Kaiserin Sissi, Elisabeth von Österreich, welche im 19. Jahrhundert wiederholte Male auf Schloss Trautmannsdorff residierte – und auch auf Besuch in Schloss Kallmünz war. Meran wird fortan für viele Menschen aus ganz Europa als Kurstadt, Garten- und Thermalstadt, als das sogenannte „Subtropische Norwegen“ geschätzt.
Mit Osias von Kallmünz stirbt die Meraner Linie der Kallmünzer aus.
Seine Tochter Anna Katharina heiratet Isaak Andreas von Heidenreich-Pidenegg, der der Kallmünz das heutige Aussehen verleiht. Deren Tochter Anna Serafine heiratet 1649 Andreas von Pock-Hausenheim.
Erzherzogin Claudia will ihren Hof von Innsbruck, wo die Pest wütet, nach Meran in die Kallmünz verlegen.
Die Kallmünz kommt an Fortunat von Enzenberg, 1685 an Dominik von Hohenhauser und von dessen Sohn 1706 an Johann Anton Graf Stachelburg. Über dem Eingang zur Kallmünz wird aus Anlass der Vermählung seines Sohnes Franz Ernst mit Maria Josefa Gräfin Schlandersperg 1720 ein Allianzwappen angebracht.
Johann Graf Stachelburg, der letzte seines Geschlechts, fällt an der Seite Andreas Hofers in der Schlacht am Berg Isel.