In 1970 begon Oevelnaar Frans Verrezen met het verzamelen van oud alaam, door anderen steevast aa bullen genoemd. Dat was de start van het museum.
Streekmuseum Zuiderkempen was oorspronkelijk de pastorij van Oevel. Het oudste gedeelte dateert van 1757. Later diende het gebouw als gemeentehuis. In 2005 werd in de tuin een karhuis opgetrokken door enthousiaste vrijwilligers in samenwerking met het gemeentebestuur, dat de bouw grotendeels financierde. De gevel en het dak zijn wettelijk beschermd.
De vzw Heemkring Ansfried, opgericht in 1979, beheert het museum. De kring zorgt ook voor het verwerven, bewaren en conserveren van materieel en immaterieel erfgoed uit Westerlo en de Kempen in het algemeen.