森家二代当主興右衛門が長子に家督を譲り、屋敷も裏東側に隠居所を建て、その隠居所を「以命亭」と命名しました。
現在では、先人記念館以命亭として、コミュニティの場として、聖地として又、情報発信の場としても親しまれています。