奧運大樓建於一九九四年，前身名為「體育大樓」，樓高兩層設有辦公室及有蓋停車場。現為中國香港體育協會暨奧林匹克委員會(港協暨奧委會)秘書處及47個體育總會的辦事處。作為體育界的行政樞紐，奧運大樓除了提供服務給予體育行政人員、教練及各體育機構外，公眾人士及商業機構亦可租用本大樓的賽馬會演講廳、會議室及各有關會議設施，以舉辦不同的活動。

奧運大樓於二零零四年十二月正式由港協暨奧委會管轄的相關聯公司－奧運大樓管理有限公司 (管理公司) 接管，並於二零零五年七月十一日由國際奧委會會長羅格伯爵主禮，將體育大樓正式改名為奧運大樓。

除了為各體育總會提供一個理想的辦公室、會議設施及服務外，管理公司亦擔起保護環境的責任，並鼓勵各租戶、場地使用者及體育界更重視環境保護。此外管理公司亦因環境保護的工作而獲得本地環保團體的認同及頒發嘉許狀，這些動力促使管理公司在奧運大樓持續地推動環保工作。