Namun ada "celah" dalam dirinya yakni ia tidak mudah bergaul. Ia lebih banyak menyendiri. Untuk sekadar kumpul-kumpul dengan teman, tidak pernah ia lakukan. Barangkali sebab ini pula ia dimusuhi oleh sesama mahasiswanya.
Datang peristiwa itu. Yakni protes Wajib Militer dalam PD I. James termasuk salah satu yang melakukan protes. Ia ditangkap dan dipenjara selama 18 bulan.
Begitu bebas dari penjara, kata koran Boston Herald, James bak hilang ditelan bumi. Sama sekali tak ada tanda bahwa ia ada. Sampai suatu hari seorang wartawan bertemu dengan seorang pemulung barang bekas. Dia itulah William James Sidis.
Seperti dikutip dari npr.org, entah kenapa ia sulit keluar dari kondisinya. Apalagi ia mulai sakit-sakitan. Pada 1944 ia dikabarkan meninggal dunia karena pendarahan otak, dalam usia 46 tahun.
James meninggal dalam keadaan menganggur, terasing dan amat miskin. Sangat ironis. Masyarakat menilai bahwa kehidupan Sidis tidaklah bahagia.
Korban AmbisiÂ
James kerap dijadikan contoh sebagai korban ambisi ayahandanya. Ia tak lebih sebagai kelinci percobaan ayahnya yang seorang psikolog. Ayahnya mau menunjukkan pola asuh yang berbeda untuk mematahkan teori yang lama. Ayahnya salah satu psikolog keluaran Harvard. Padahal James sesungguhnya tidak suka matematika.
Konon kehebatannya pada bidang matematika membuatnya tersiksa. Beberapa tahun sebelum ia meninggal, James sempat mengeluh kepada pers bahwa ia membenci matematika, sesuatu yang selama ini telah melambungkan namanya.
Gelar sarjananya tidak pernah selesai, ditinggal begitu saja. Ia kemudian memutuskan hubungan dengan keluarganya, mengembara dalam kesunyian, bekerja dengan gaji seadanya dan  mengasingkan diri.
Dalam biografinya ditulis bahwa kejayaan masa kecilnya adalah proyeksi sang ayah. Ia menyadarinya bahwa hidupnya adalah hasil pemolaan orang lain.
James Sidis sendiri menyadari sepenuhnya bahwa ia hanyalah bahan percobaan ayahnya sehingga membuatnya mengasingkan diri.
