Mindestens so interessant wie das Festival selbst ist das Gebäude, in dem es stattfindet. Der Architekt Hugh Stubbins hat die Kongresshalle als amerikanischen Beitrag zur Bauausstellung Interbau 1958 konstruiert: Auf einem künstlichen Hügel stehend sollte ihre beleuchtete Silhouette als „Leuchtturm der Freiheit“ in den Osten strahlen, 1980 ist die Dachkonstruktion pfuschbedingt eingestürzt, hin und wieder wurde die Halle ob ihrer futuristischen Anmutung in Science-Fiction-Filmen gezeigt.
„In Berlin sagen immer alle, das Gebäude wird »Schwangere Auster« gennant“, sagen in Berlin immer alle. Dabei nennt es in Wahrheit niemand so: Alle behaupten nur immerzu, dass es so genannt werde.