Die HAB wurden am 6. Dezember 1972 gegründet, also nur drei Jahre nach dem legendären Stonewall Aufstand, der die LGBT-Bürgerrechts-Bewegung auslöste.

In den 70er Jahren mussten die HAB sich vor allem gegen Unterdrückung und Diskriminierung wehren. 1979 organisierten die HAB die erste Schwulen-Demo in Bern.
Die 80er Jahre waren geprägt vom Kampf gegen Aids. Dies führte zur Gründung der Aids Hilfe Bern unter der Federführung der HAB.
1993 zog der Verein von der Brunngasse in die Matte. Dort führte er 15 Jahre lang das Kultur- und Begegnungszentrum anderLand. 2004 wurde das anderLand aus finanziellen Gründen aufgegeben. Heute ist der Verein im Quartierzentrum Villa Stucki zuhause und zählt gegen 400 Mitglieder.