卡内基梅隆大学的两位创始人，卡内基和梅隆，均为美国近代史上举足轻重的人物。卡内基是20世纪初美国四大财阀之一，其财富在整个人类历史上居于第二位，仅次于石油大王洛克菲勒。而梅隆（Andrew Mellon)，是美国著名的银行家，梅隆金融财团的老家长，并于1921年至1932年间担任美国财政部长，历三届政府而不倒。梅隆财团是全世界最大的资产管理公司之一，于2007年与纽约银行完成并购。
1900年，安德鲁·卡内基致信给政府，愿意出资100万英镑建一所技术学院。后来政府在肖莱公园附近划出32公顷土地建成了卡内基技术学院。根据卡内基的设想，学院将为当时的匹兹堡培养3年制所需的工业专门人才。最初该学院包括科学与技术学校（培养工艺师和助理工程师）；艺术学校（培养设计师和手艺人）；培养制造业和建筑业的学徒工和熟练工学校，以及一所培训家庭主妇和秘书的玛格丽特·莫莱逊·卡内基学校。在这以后的20年中，学院还设置了硕士和博士的培养教程。
1912年，学校改名卡内基工学院(Carnegie Institute of Technology)并提供四年制学位。转制以研究为主。
1913年，银行家安德鲁·W·梅隆(Andrew William Mellon)创立梅隆工业研究所(Mellon Institute of Industrial Research)。
1917年学校设立全美第一个戏剧学院，提供了戏剧相关的学士学位，致力艺术人才的培育。
1967年，梅隆学院和卡内基学院的董事会决定交两所学院合二为一，并取名卡内基·梅隆大学。1968年，互格丽特·莫莱逊学校改成一所人文和社会科学方面的学院；同时，又新建了招研究生的学校，如工业管理学院、城市与科学方面的学院，以及近斯新建的计算机科学学院。另外一些新的研究中心（如软件工程及机器人中心）等也相继诞生。
卡内基·梅隆大学已从单一的技术学校，逐渐发展成为一所由7个学院组成的、有国际威望的大学。