Aspa bruks storhetstid var under 1700- och 1800-talet, då järnhanteringen präglade det lilla samhället.
Än idag ligger bruksvägen kantad med välbevarade byggnader från den tiden. Herrgårdsbyggnaden som var säteri mellan 1720 och 1820 är "juvelen i kronan".
När järnhanteringen upphörde blev Olshammar huvudorten, men herrgården blev disponentbostad för Munksjö AB.
Gårdarna Aspa och Algrena var tidigare i brukets ägo. Även torpen i Tiveden låg under bruket.