Здание, в котором располагается музей, – самое старое из сохранившихся гражданских зданий Смоленска. Этот маленький, крытый черепицей домик был построен в первой половине XVII века. Первоначально здесь размещалась «польская архива», а в XVIII веке здание было приспособлено под кузницу инженерного дома.