Sejak itu, sang ibu harus bekerja keras. Demi untuk menghidupi keluarga, sang ibu sampai rela menjadi buruh pemecah batu.
Kehidupan ekonomi keluarga tersebut membaik ketika sang ibu berdagang beras ke Medan dan membawa barang kelontong dari Medan ke Balige. Namun penderitaan kembali menimpa keluarga tersebut ketika seluruh barang dagangan ibunda dirampok di Batu Lubang.
Kondisi ini memaksa TB Silalahi untuk bekerja keras membantu perekonomian keluarga. Segala macam pekerjaan dilakoni demi membantu keuangan keluarga, termasuk menjadi penggembala kerbau.Â
Dia juga terkenal sebagai anak yang pandai dan pemberani. Setelah tamat SMA, dia diterima di Jurusan Arsitektur ITB. Tetapi impian untuk menjadi arsitek tersebut harus dikubur, karena tersendat masalah biaya.Â
Di tengah-tengah kesulitan biaya ini Akademi Militer Nasional (AMN) di Magelang membuka kesempatan untuk mengikuti pendidikan militer dan TB Silalahi berhasil lolos seleksi dan menjadi Taruna Militer selama 3 tahun.
Dari sinilah karier cemerlang TB Silalahi dimulai, berbagai penugasan di dalam negeri dan di luar negeri dilaksanakan dengan baik. Berbagai prestasi cemerlang ditorehkan selama karirnya, antara lain pernah menjadi Menteri Pemberdayaan Aparatur Negara pada Kabinet Pembangunan VI ini dan berbagai jabatan lainnya.
Museum Jejak Langkah TB Silalahi
Dinamai sebagai Museum Jejak Langkah TB Silalahi adalah untuk memotivasi generasi muda agar menjadi pribadi yang tangguh, penuh cita-cita dan berani mewujudkan cita-cita tersebut dengan menerobos semua keterbatasan, rintangan dan berbagai kesulitan hidup lainnya.
Di museum ini terdapat panel-panel yang menceritakan kehidupan TB Silalahi secara detail. Mulai dari lahir, pendidikan, hingga perjalanan kariernya. Berbagai benda kenangan yang diterima sepanjang kariernya dipajang di museum ini.
Melihat koleksi pribadi sebagian besar seperti mempelajari sejarah TNI AD di masa yang penuh dinamika dan pergolakan. Sebagian besar karier TB Silalahi memang dihabiskan di lingkungan TNI AD, dimulai dari Akademi Militer Nasional atau AMN yang kemudian berubah menjadi AKABRI, hingga pensiun sebagai jenderal berbintang tiga, Letnan Jenderal.