Der Ort Nußdorf wird bereits 1081 in einer Urkunde genannt. Damals erhielt Markgraf Leopold von Österreich in Anerkennung seiner Leistungen als Vogt des Bistums Passau von diesem 3 Höfe und 70 Hörige, darunter einen zu Nußdorf als Lehen. 1194 wird der Ort im Saalbuch von Göttweig selbst urkundlich erwähnt. Der "Nuzberc" wird 1226, der "Nuzpach", später auch Schreiberbach, wird 1297 zum erstenmal genannt. Wahrscheinlich geht der Name auf die Herren von Nuzdorf zurück, die seit Leopold dem Heiligen bis ins 13. Jhdt. markgräfliche Forstmeister waren. Schon damals war der Ort wegen seines guten Weines bekannt. Zu dieser Zeit war Nussdorf ein Teil der Pfarre Heiligenstadt. Seit dem 15. Jhdt. hatte es eine dem hl. Thomas geweihte Kapelle und einen eigenen Priester. Erst 1783 wurde Nussdorf eine eigene Pfarre, 1887 wurde die neue Kirche fertiggestellt. Die alte Thomaskapelle wurde bei dieser Gelegenheit in eine Schule umgewandelt.

In seiner ältesten Form dürfte Nussdorf ein T-förmiges Straßendorf entlang der heutigen Kahlenbergerstraße, der Greiner- und der Hackhofergasse gewesen sein. Die Hammerschmidtgasse verband es mit Heiligenstadt und die Kahlenbergerstraße mit Grinzing. Die jetzige Heiligenstädterstraße war bereits zur Römerzeit ein Verbindungsweg nach Asturis, dem heutigen Klosterneuburg gewesen. Noch im 19. Jhdt. fand man in der Gegend große Nußbaumalleen und die alten Siegel der Gemeinde zeigen einen Baumstrunk, aus dem rechts und links je ein Zweig mit Blättern und Nüssen hervorwächst. Typisch für die Ortschaft Nußdorf ist das "fränkische Reihendorf", erkennbar an den Grundstücken entlang der Kahlenbergerstraße. Sie geht zurück auf die Neubesiedlung der Gegend nach der Vertreibung der Magyaren nach 960.

Den meisten Nußdorfern ist nicht (mehr) bekannt, dass es Reste einer Stammsage gibt: Mittelalterliche Chroniken berichten von Herzogen, die in grauer Vorzeit Österreich, das damalige Tantomo oder Rarasma, von Nußdorf aus, beherrschten. Ursprünglich sollen sie Heiden gewesen sein, von 1482 v. Chr. bis 384 nach Chr. Geburt aber Juden. Ihre Grabmale sollen die "Tumuli" sein, die man nicht nur in Nußdorf und im Kahlenbergerdorf, sondern auch in Stockerau findet. Der erste dieser Herzoge, der in Nußdorf begraben worden sein soll, war Ratham, Sohn des Herzogs Saban. Er war mit Sanna, der Herzogin von Peheim (Böhmen) verheiratet. Andere Herzoge wurden "unter dem Chalmperg", andere "nyderhalb Nustorff" bestattet.

Nußdorf mit seinen Hafenanlagen - praktisch alle abwärts kommenden Schiffe mussten hier vor Wien anlegen -  hatte auch strategische Bedeutung. 1428 beschossen die Hussitten den Ort von Jedlesee aus, 1483 äscherte König Matthias Corvinus Nussdorf ein. 1529 und 1683 brandschatzten die Türken diesen Vorort Wiens. 1645 bauten die Schweden große Schanzen, 1805 und 1809 verwüsteten die Franzosen den Ort. Am 19. Dezember 1890 wurden die Vororte mit Wien vereinigt. Der letzte Bürgermeister von Nußdorf war Karl Adolf Freiherr Bachofen von Echt. Er löste am 24. April 1891 den Nußdorfer Gemeinderat auf.

1878 traten in Nussdorf zum ersten Mal die Brüder Johann und Josef Schrammel mit dem Kontragitarrist Anton Strohmayer unter dem Namen "Die Nußdorfer" auf.