KulturØen er tegnet af det anerkendte arkitektfirma Schmidt Hammer Lassen, primært arkitekt John Lassen og designchef Lars Vejen. Den er bygget på en kunstig ø, omgivet af de privatejede lystbådehavne NyHavn 1 og NyHavn 2, og er beklædt med forpatineret zink. KulturØen blev indviet i august 2005.
Bygningen indeholder byens store og topmoderne bibliotek, Panorama Biograferne med store og moderne 3-D sale med tilhørende Oscars Kaffebar, udstillingssale, mødelokaler og endelig også turistinformationen VisitMiddelfart.