神乐署位于北京天坛西门内稍南侧，坐西向东，是天坛五组大型建筑之一，是专司明清两代皇家祭天大典乐舞的机构。
　　神乐署为两重殿宇的三进院落。神乐署大门朝东，前殿五开间，明称太和殿，清康熙年间改名为凝禧殿，用于排演祭祀大典；后殿七开间，原名玄武殿明末改称显佑殿，用于供奉玄武大帝以及诸乐神；殿后还有袍服库、典礼署、奉祀堂等建筑，东跨院由通赞房、恪恭堂、正伦堂、候公堂、穆佾所等建筑，西跨院有掌乐堂、协律堂、教师房、伶伦堂、昭佾所等建筑。据史料记载，天坛神乐署除了上述建筑之外还建有大量的茶棚、酒楼、药铺等建筑，在神乐署围墙内甚至还有一座关帝庙。
　　1900年庚子之变时八国联军驱散了署中人员，据神乐署为兵站，从此神乐署开始了衰败的历史；1914年袁世凯下令迁出了神乐署中所有药铺；此后林艺试验场、燕乐研究院、传染病医院、中央防疫处、生物制作所等机构先后占用神乐署作为办公地点。1937年抗日战争爆发后，日军西村部队（1855部队）将司令部设在署中，并在这里进行细菌战的实验与研究。1949年后，神乐署的建筑逐渐被变为民房，凝禧殿成为仓库，显佑殿变为机关食堂，到2002年整个神乐署仅有凝禧殿、显佑殿、廊房、山门等为数不多的建筑遗存。
　　2002年北京市政府设立“3.3亿文物抢险修缮计划”将天坛神乐署列名其间，迁出署内所有居民，开始重建神乐署，2004年9月20日神乐署重建工程正式竣工。
　　如今，天坛神乐署作为古代音乐博物馆向公众开放，馆中陈列展示了神乐署历史、乐律、词曲、琴瑟、鼓和埙笙等乐器、中和韶乐、舞蹈服饰等，其中的展品均可以实际演奏，并且辟有盲文解说词。