Clădirea impunătoare, declarată monument de arhitectură, a fost construită în stil neo-brâncovenesc după proiectul renumitului arhitect Victor Ștefănescu la începutul secolului XX și a fost destinată inițial găzduirii Institutului Geologic.
Carol I a semnat în 1906 decretul regal de înființare a institutului, act care poate fi văzut, în original, chiar în holul de la intrare al muzeului.
Acum un secol, pe lângă activitatea de cercetare desfășurată aici, existau și colecții de roci și minerale care puteau fi vizitate de public – un muzeu incipient organizat în sala „Colecțiuni” de la parter.
Primul custode al colecțiilor, Iuliu Moisil, care era în același timp și bibliotecar al institutului, a fost urmat apoi de tineri geologi la acea vreme – St. Cantuniari, V. Papiu, Al. Codarcea, Gh. Murgeanu, Gr. Raileanu.
Schimbările suferite de institut au afectat și muzeul, astfel că în 1964, Al. Semaka, numit custode, devine un susținător activ al valorificării colecțiilor într-un muzeu național.
După reinventarierea pieselor existente s-a pornit un schimb cu alte institute de profil din străinătate pentru completarea fondului existent, în același timp cu reorganizarea pe tematici.