Perancang skala psikologi harus memahami dengan baik atribut yang akan diukur, hal ini sangat penting karena apabila perancang tidak mengenali konsep atribut yang akan diukur maka akan menjadikan aspek dan indikator yang tidak tepat, yang pada akhirnya akan menyebabkan aitem-aitem yang tercipta menjadi tidak valid. Perancang skala psikologi harus memahami batas-batas (domain) atribut yang dikukur, bila tidak maka akan menyebabkan tumpang-tindih (overlap) dengan kawasan ukur atribut lain, yang nantinya akan menjadikan skala menjadi tidak komprehensif.
Aspek keperilakuan tidak operasional
Konsep atribut yang jelas akan mempermudah dalam perusuman indikator-indikator keperilakuan yang juga akan lebih mudah dipahami oleh penulis aitem. Indikator keperilakuan dibuat berdasarkan batasan konseptual tentang atribut yang akan menjadi operasional yang terukur, apabila perumusan ini tidak operasional dan menimbulkan penafsiran ganda maka akan menciptakan aitem-aitem yang tidak valid, aitem yang tidak valid akan menjadikan skala yang tidak valid pula.
Penulisan aitem tdak mengikuti kaidah
Responden akan sulit memahami apabila penulisan aitem tidak mengikuti kaidah, seperti kalimat yang terlalu panjang, tidak mengikuti tata-bahasa, aitem yang hanya mendorong responden untuk memilih jawaban tertentu, atau aitem yang memancing reaksi negatif. Dapat dipastikan bahwa kesalahan-kesalahan tersebut adalah hasil dari proses penulisan aitem yang mengabaikan kaidah-kaidah penulisan yang standar.
Administrasi skala tidak berhati-hati
Skala dan aitem yang baik apabila disajikan kepada respoden dengan cara yang sembarangan dapat menghasilan data yang tidak valid. Administrasi skala perlu berbagai persiapan dan antisipati dari pihak penyaji. Penyaji harus memperhatikan penampilan skala (validitas tampang), desain dari skala harus ditampilkan dengan desain yang indah, mudah dipahami, dengan huruf-huruf yang jelas dan tepat, sehingga responden akan dengan serius memberikan jawaban dan akan mendapatkan hasil data yang valid. Selain itu situasi ruang juga harus dikondisikan dalam keadaan yang tenang, nyaman, pencahayaan yang terang, dan tidak ada gangguan atau kehadiran dari pihak ketiga, sehingga responden tidak akan terganggu dan merasa nyaman ketika memberikan jawaban. Responden atau subjek juga harus dalam kondisi yang sehat, baik fisik maupun psikologis.
Pemberian skor tidak cermat
Kekeliruan penggunaan kunci jawaban dan penghitungan skor yang salah sering terjadi oleh pemeriksa, meskipun ada kunci jawaban yang digunakan. Pada skala konversi skor, kesalahan dapat terjadi sewaktu mengubah skor menjadi skor derivasi karena salah lihat pada tabel konversi.
Keliru Interpretasi
Interpretasi terhadap skala psikologi merupakan proses yang penting, skala yang baik apabila diinterpretasikan secara tidak benar dan tepat maka akan sia-sia kesimpulan diagnosisnya karena tidak tepat. Dikarenakan validitas dan reliabilitas skala psikologi tidak sempurna maka harus benar-benar diperhatikan kecermatan interpretasinya agar hasil yang didapat tidak salah.
