Nachdem  eine im 11. Jahrhundert errichtete Kirche abgerissen war und schwerste Zerstörungen durch die Bomben des Zweiten Weltkrieges das Gelände in Mitleidenschaft gezogen hatten, entstand zunächst ein großer Busbahnhof an diesem Ort. So kam bei Überlegungen zur Stadtplanungen der Wunsch auf,  auf dem Grundstück den Neubau der Museen Wallfraf-Richartz und Ludwig durchzuführen und daneben die Philharmonie zu errichten. Die frei bleibende Fläche dazwischen gestaltete der israelische Künstler Dani Karavan.

Mit Ende aller Baumaßnahmen 1986 erhielt der Platz seinen Namen, womit Nobelpreisträger und Kölner Ehrenbürger Heinrich Böll geehrt wurde. Böll war einer der einflußreichsten Schriftsteller seiner Generation und stets kritischer Kommentator seiner Zeit. Mit nur 67 Jahren starb er bereits am 16. Juli 1985.