Sebagian masalah tes kepribadian berakar pada cara pembuatan tes. Setiap tes memakai dasar ukuran yang berbeda untuk mendefinisikan kepribadian. MBTI misalnya, berpusat pada sifat seperti introvert dan ekstrovert untuk mengelompokkan orang ke dalam "tipe" kepribadian, sementara tes Big Five menilai partisipan berdasarkan lima sifat kepribadian yang berbeda. Kebanyakan berupa penilaian diri sendiri, yang artinya kesimpulan diperoleh dari penilaian sendiri oleh partisipan. Hal ini menjadikan para partisipan mudah sekali untuk berbohong pada saat melakukan test kepribadian. Namun dengan niat baik sekali pun, evaluasi diri secara objektif adalah hal yang rumit. Sebagai contoh coba lihat salah satu pertanyaan tes Big Five berikut, "Bagaimana cara kalian menilai keakuratan pernyataan 'saya merupakah seseorang yang selalu siap'?" Jelas sebagian bear orang akan menjawab secara positif dengan jawaban yang menguntungkan, sehingga sulit untuk tetap objektif sesuai realita yang terjadi. Orang secara tidak sadar berusaha untuk menjawab sesuai dengan jawaban yang positif ketika ditanya setuju atau tidak setuju, disinilah akhirnya timbul sebuah bias, karena kita cenderung akan menjawab sesuai dengan seseorang atau institusi yang bertanya mengharapkan kita menjawab. Satu pertanyaan lain yang menjadikan bias lain adalah ketika ditanya "apa yang lebih kalian hargai, keadilan atau keteraturan?" "Bagaimana dengan kesetaraan atau pengampunan?" Orang bisa saja menghargai kedua pilihan tersebut, namun tes MBTI memaksa untuk memilih salah satu.
Meski menggiurkan untuk berasumsi bahwa hasil dari pilihan tadi dapat menunjukkan preferensi sejati, ternyata tidak demikian. Ketika beberapa kali dihadapkan dengan pilihan-pilihan yang sama, orang yang sama terkadang akan mengubah jawaban mereka. Dengan adanya cacat desain ini, wajar jika hasil tes tidak konsisten. Suatu studi menemukan bahwa setengah orang yang ikut tes Myers-Briggs kedua kalinya hanya lima minggu setelah tes pertama, mereka memperoleh hasil yang berbeda. Studi lain atas tes Myers-Briggs menemukan bahwa orang dengan skor serupa dapat berada dalam kategori berbeda, menandakan bahwa pemisahan yang sangat ketat antar tipe-tipe kepribadian yang tidak mencerminkan apa yang terjadi dalam kehidupan nyata.
Hal lain yang membuat semakin rumit adalah definisi ciri-ciri kepribadian akan selalu berubah. Psikiater dari Swiss, Carl Jung yang lahir pada tahun 1975, yang mempopulerkan istilah introvert dan ekstrovert, dengan introvert didefinisikan sebagai seseorang yang berpegang teguh pada prinsipnya, dalam situasi apapun, dan ekstrover adalah seseorang yang membentuk dirinya tergantung situasi. Dikemudian hari introvert lalu diartikan sebagai pemalu, dan extrovert diartikan sebagai supel. Saat ini, introvert adalah orang yang menemukan kenyamanan dengan menyendiri, sementara ekstrovert memperoleh energi dari interaksi sosial, dan ada spectrum baru yaitu ambivert berada di antara kedua spektrum ekstrem introvert dan ekstrovert.
