梁灏早年丧父，被叔父收养。少年时，拜王禹偁为师。开始因梁灏提出的问题太简单，王禹偁拒不作答，于是梁灏发愤攻读，不到一个月，再求老师答疑时，受到王禹偁的大力赞赏。梁灏初次参加科考进士不中，他便对完善科举制度提出建议。认为唐代取士科目众多，人才济济，及至五代科举衰落。宋兴科举，但唯以诗赋、策论取士，应广开科目，甄拔人才。他的奏疏呈上后，未被理睬。
梁灏中状元时，年仅22岁，被任命为大名府观察推官。雍熙四年（987），召为右拾遗，入直史馆。因马周上疏之事，与胡旦、赵昌言等被贬。不久，重新起用为知鱼台县，加大理评事。奉诏入京，迁殿中丞，复直史馆，历任开封府推官，三司关西道判官，转太常博士。
真宗初（998），梁灏出使陕西，献《听政箴》。回京后，为度支判官。不久，与杨砺同知贡举，与钱若水重修《太祖实录》。咸平二年（999），随真宗亲征，至大名，上疏论用兵赏罚不明之弊，并献骑兵奔袭之术，得到朝野交口称赞。景德元年（1004），权知开封府，六月得暴病身亡，享年42岁。
梁灏风度潇洒，博学多识，尤长于历史，有才干且与人友善。著有文集十五卷行世。
梁灏有三个儿子，长子梁固，后来也成为状元，父子大魁被传为佳话。历来有“梁灏82岁中状元”之说，经多方考证，纯属误传。