O imóvel que abriga, atualmente, a Casa do Olodum está situado à Rua Gregório de Mattos, 22, Pelourinho, em Salvador, Estado da Bahia, Brasil. É um imóvel que está diretamente ligado à história da rebeldia social e política do negro baiano, pois foi construído entre os anos de 1790 e 1798, este último o ano da deflagração da Revolta dos Búzios, primeiro movimento político a pregar o fim da escravidão no Brasil e a república como forma de governo.
Este imóvel foi abandonado na década de 50 por uma família de origem espanhola que o adquiriu na década de 20. Em 1985, o Olodum comprou o imóvel, que na época estava completamente destruído. Recuperado, aí foi instalada a Casa do Olodum com o objetivo de sediar, o centro de suas atividades, de suas ações e do seu pensamento político e filosófico.
O projeto de reconstrução do imóvel coube a arquiteta Lina Bo Bardi, que planejou o interior de forma moderna e, no plano externo, manteve todas as características do estilo colonial.
As obras de reconstrução foram feitas pela FAEC, empresa da Prefeitura Municipal do Salvador, que usaria o projeto como base para a recuperação de outros imóveis seculares do Maciel-Pelourinho.
A reconstrução da casa foi iniciada em 1987 e várias vezes foi paralisada. Em 1990, as obras de restauração foram reiniciadas com o apoio da construtora Góes Cohabita e com os recursos provenientes da gravação de um videoclipe com o cantor americano Paul Simon. Dessa maneira, a obra foi, definitivamente, concluída.
Em 25 de abril de 1991, ao completar seu 12° aniversário, o Olodum inaugurou a Casa do Olodum, em meio a uma grande festa que contou com a presença do então Prefeito de Salvador, Sr. Fernando José.
A Casa do Olodum funciona diariamente das 9h às 18h. Permanentemente, expõe mais de sessenta quadros sobre a cultura negra mundial. São quadros sobre a cultura egípcia, a cultura Rastafári e a cultura baiana. Exibe também um Disco de Platina, ganho em virtude da venda da de mais de um milhão de cópias do disco gravado com Paul Simon, além de vários troféus recebidos em diversos países, como prova do reconhecimento de nossa luta contra o racismo.
A Casa do Olodum, é composta de três pavimentos. No térreo, funciona uma loja vendendo produtos – camisas, bonés, chaveiros, bonecas - com a marca Olodum. No primeiro piso, funciona a secretaria e o escritório da diretoria de administração. No segundo piso funciona o auditório Nelson Mandela, um salão com capacidade para sessenta pessoas usado para cursos, seminários, palestras, reuniões e encontros de militantes do movimento negro, artistas, produtores culturais, intelectuais e turistas, funciona também a sala da diretoria de cultura e a da presidência. Trabalham na Casa do Olodum, diariamente, cinco diretores que estão aptos a explicar a história e atividades do Olodum além de quatro funcionários e eventuais voluntários e colaboradores que atuam auxiliando a diretoria.
Há quinze anos inaugurada (1991/2006), a Casa do Olodum já foi visitada por mais de quinhentas mil pessoas, entre estudantes, turistas, militantes negros, políticos, ministros, diplomatas, embaixadores, músicos nacionais e internacionais, dirigentes de instituições de direitos humanos, representantes de ONGS e líderes mundiais da luta contra o racismo. A Casa do Olodum é um símbolo vivo da cidadania.