Das Gebäude des Museums war früher ein Getreidespeicher. Es war schon 1858 auf dem Stadtplan von Keszthely verzeichnet. Die Hauptbalken sind gut 14 m lang, nach Schatzungen müssen sie zur Zeit Rákóczis entstanden sein, damit zur Zeit von Kossuth solche Balken aus den Bäumen geschlagen werden können. Feldsteine von der bedeutendsten Festung der römischen Provinz Pannonia, der Burg Castrum, wurden in die Wand des Museums einegebaut, sowie in die südliche Stirnseite des gegenüberliegenden Gebäudes. Diese Stellen wurden anschaungshalber nicht verputzt.