Guldbæk har oprindeligt været en gårdlandsby med den mest markante gård - Guldbækgård - nordvest for broen over bækken. I 1900-tallet er bebyggelsen udvidet med villaer.
Byens navn stammer fra vandløbet af samme navn. Vandløbet udsprang oprindeligt ved Hæsum Mose nordvest for Støvring og udmunder i Østerå nordøst for Svenstrup. Over det ca. 13 km lange løb er et fald på 36 m, overvejende på vandløbets sidste del. Trods en vandføring på kun 255 l/s har det store fald muliggjort udnyttelse af vandkraften.
Guldbæk er den mest anvendte betegnelse for vandløbet, men navnene Guldbækken og Guldbæk å ses også. Navnet forklares både ved, at vandet er rent, og ved, at der har været et højt indhold af okker, hvilket har farvet det gult.
