Tapi tentu saja bangunan itu bukanlah tempat pemujaan, melainkan sebuah rumah atau tepatnya, mansion. Elias Baker, mengontrak arsitek Robert Cary Long, Jr. untuk mendesign dan membagun mansion tersebut dengan biaya lima belas ribu dollar. Jumlah yang tidak sedikit pada masa itu.
Sebagai seorang saudagar besi yang sukses dari Blair County, Pennsylvania, ia sengaja membangun sesuatu yang berbeda, memamerkan kesuksesannya kepada para pesaing bisnisnya.
Tahun 1849, Elias Baker mulai menempati mansion tersebut bersama istri, dua anak laki-laki dan anak perempuan semata wayangnya, Anna Baker
Di puncak kejayaan karirnya, Elias Baker sering mengadakan pesta di mana Anna yang elegant dan berparas cantik menjadi pusat perhatian para undangan.
Banyak pria yang ingin mempersuntingnya, tapi semua ditolak mentah-mentah oleh Elias, karena ia lebih menginginkan anak perempuannya menikah dengan senator yang punya pengaruh besar, keturunan bangsawan atau dengan seorang pejabat tinggi negara.
Mengapa tidak? Di zaman itu banyak keluarga kaya tidak segan-segan membayar laki-laki keturunan bangsawan Eropa, khususnya mereka yang kehilangan mahkotanya atau jatuh pailit. Gelar dan silsilah bangsawan dibeli sebagai mahar, agar nantinya setelah menikah, puteri mereka mendapat gelar "Princess", "Duchess" atau "Countess".
