Genootschap Architectura et Amicitia, 1855-1990