Das Leinwandhaus, einer der ältesten Profanbauten der Stadt, liegt in unmittelbarer Nachbarschaft zum Dom und in Rufweite zur Kunsthalle Schirn und dem Museum für Moderne Kunst. Um 1400 errichtet, diente es über die Jahrhunderte, neben dem Tuchhandel, verschiedensten Zwecken: als Gericht und Gefängnis, Lazarett und Schlachthaus, als Herberge für Stadtschreiber und Geisteskranke, als Stadtmuseum und Kunstgalerie. 1984 wurde das Leinwandhaus als eine der letzten Kriegsruinen wieder aufgebaut. Das Gebäude steht unter Denkmalschutz.
Der Umbau des Leinwandhauses für das Caricatura Museum wurde in den Jahren 2007 und 2008 von dem Eichstätter Architekturbüro Diezinger + Kramer geplant. 2011 gewannen sie für diesen Umbau den best architect award. Der in Düsseldorf verliehene Preis wurde in dem Jahr unter 298 Einsendungen 74 Mal vergeben, darunter 12 Mal in Gold.