Mit einem Erlass vom 31. Oktober 1518 verfügte Kaiser Maximilian I, dass Bestattungen nur noch außerhalb der Nürnberger Stadtmauern stattfinden konnten.
In Nürnberg befanden sich um die Hauptkirchen St. Sebald und St. Lorenz die beiden großen Friedhöfe, auch um St. Jakob lag ein Friedhof. Als Folgeerscheinung der Kreuzzüge stieg die Zahl der Leprakranken um 1200 enorm an und die Aussätzigen wurden in Leprosorien mit Kirchen und Friedhöfen betreut. Diese Siechenhäuser wurden entlang der Hauptverbindungswege errichtet, auch um, gemäß der christlichen Almosenlehre, möglichst viele Stiftungen und Almosen zu erhalten.
Im 14. Jh. wurde der Siechkobel in St. Johannis nach Osten um einen Pestfriedhof mit Stephanuskapelle erweitert. Diese Kapelle trug man 1506/07 ab und die Heilig-Grab-Kapelle wurde errichtet. In dieser befindet sich die Grablege der Patrizierfamilie Holzschuher. Mehrere Pestwellen hatten zur Folge, dass die Begräbnisplätze um die großen Kirchen in der Innenstadt nicht mehr ausreichten. So beschloss der Rat der Stadt Nürnberg – auch durch den Druck des kaiserlichen Erlasses – am 8. November 1518, die Begräbnisstätten innerhalb der Stadt zu schließen und nach außerhalb der Stadtmauern zu verlagern.
Für die Sebalder Stadtseite bot sich der vor dem Neutor bereits bestehende Friedhof in Johannis an. Unterhalb der Kaiserburg wohnten damals nicht nur viele Nürnberger Patrizier, hier befanden sich neben den großen Nürnberger Handelshäusern auch die Ateliers bedeutender Künstler. So verwundert es nicht, dass viele berühmte Persönlichkeiten, unter ihnen Albrecht Dürer (1528) und Willibald Pirckheimer (1530), ihre letzte Ruhestätte auf dem St. Johannisfriedhof gefunden haben.
Die beiden Friedhöfe St. Johannis und St. Rochus zeichnen sich bis heute durch die liegenden Grabsteine und die darauf befindlichen Epitaphien, metallene Namenstafeln, aus. Die Größe der Steine war von Anfang an vorgegeben. Im Tod sollten alle Bürger gleich sein. Zeitgleich entwickelte sich die kunsthistorisch bedeutende Epitaphienkunst der Nürnberger Rotgießer. Aus Messing und Bronze gefertigte Tafeln wurden auf den liegenden Grabsteinen angebracht und verwiesen so auf den Verstorbenen. Waren es in den Anfangsjahren nur Wappen und Haus- oder Handwerkerzeichen, entstanden vor allem im Barock reich ausgestattete, aufwändig gearbeitete Epitaphien. So bedeckt z.B. das Epitaph für Andreas Georg Paumgartner aus dem Jahre 1679 die gesamte Oberfläche des Grabsteins Die Grabsteine wurden in der Regel nach Osten, auf Jerusalem hin, ausgerichtet, was den Gräberfeldern ihre einheitliche Prägung verleiht.
Der St. Johannisfriedhof wurde im Laufe der Jahrhunderte mehrfach erweitert. Die größte Erweiterung erfuhr er 1856 nach Süden und Westen durch den Ankauf des benachbarten städtischen Schießplatzes. Auf dem neuen Gelände waren nun auch stehende Grabsteine erlaubt. Um die steigende Nachfrage nach exklusiven Gräbern zu befriedigen, entstand 1860 die neugotische Arkadenhalle am Westrand des Friedhofs.