Seperti halnya Smith, paragraf panjang yang dikutip di atas mengarah ke setidaknya dua kualifikasi lebih lanjut. Yang pertama adalah, seperti yang dikatakan Smith, "kita mengharapkan lebih sedikit simpati dari seorang kenalan biasa daripada dari seorang teman ... kita mengharapkan simpati yang lebih kecil dari sekelompok orang asing". Karena simpati membutuhkan informasi tentang peristiwa dan orang, semakin jauh jarak yang di miliki dari orang-orang di sekitar kita, semakin sulit bagi kita untuk bersimpati dengan emosi mereka yang lebih bersemangat (dan sebaliknya).
Dengan demikian, Smith berpendapat, kita harus "lebih tenang" di depan kenalan dan orang asing; tidak pantas untuk secara emosional terbuka di sekitar mereka yang tidak mengenal kita. Pada akhirnya, ini  mengarah pada diskusi Smith tentang tugas di bagian  penjelasannya tentang mengapa kita bertindak secara moral terhadap mereka yang tidak memiliki hubungan apa pun dengan kita.
Kualifikasi kedua lebih kompleks dan berputar di sekitar frasa terakhir dalam paragraf:  seseorang harus mengamati tindakan dalam "cahaya yang jujur dan tidak memihak." Jika gerakan menuju norma-norma sosial adalah satu-satunya komponen simpati, teori Smith  menjadi resep untuk homogenitas semata. Semua sentimen  dimodulasi ke nada yang identik dan masyarakat  mengutuk hanya perbedaan. Oleh karena itu, Smith mengakui  harus ada contoh di mana individu menolak penilaian masyarakat. Mereka melakukannya melalui penciptaan penonton yang tidak memihak.
Moralitas, kata Smith, bukanlah sesuatu yang harus kita hitung. Itu wajar, dibangun dalam diri kita sebagai makhluk sosial. Ketika kita melihat orang bahagia atau sedih, kita juga merasa bahagia atau sedih. Kita memperoleh kesenangan ketika orang melakukan hal-hal yang kita setujui, dan sedih ketika kita yakin mereka melakukan kerusakan.  Tentu saja, kita tidak merasakan emosi orang lain sama kuatnya dengan mereka. Dan melalui empati alami kita dengan orang lain, kita belajar bahwa kemarahan yang berlebihan, atau kesedihan, atau emosi lain membuat mereka sedih. Jadi kami mencoba mengekang emosi  i agar sejalan dengan emosi orang lain. Faktanya, kami bertujuan untuk meredam mereka sampai pada titik di mana setiap orang yang khas dan tidak tertarik - seorang penonton yang tidak memihak, kata Smith - akan berempati dengan kami.
Demikian juga, ketika  menunjukkan perhatian kepada orang lain, kami tahu bahwa penonton yang tidak memihak akan menyetujui, dan kami senang karenanya. Penonton yang tidak memihak hanya imajiner, tetapi masih membimbing kita: dan melalui pengalaman kita secara bertahap membangun sistem aturan perilaku - moralitas.
Hukuman dan ganjaran memiliki fungsi sosial yang penting. Kami menyetujui dan menghargai tindakan yang bermanfaat bagi masyarakat, dan menolak serta menghukum tindakan yang merusaknya. Alam telah memperlengkapi kita dengan selera dan keengganan yang mempromosikan keberlanjutan keberadaan spesies kita dan masyarakat kita. Hampir seolah-olah tangan yang tak terlihat membimbing apa yang kita lakukan.
Keadilan. Agar masyarakat dapat bertahan hidup, harus ada aturan untuk menghadirkan anggotanya yang saling merugikan. Seperti yang dikomentari Smith, ada kemungkinan masyarakat perampok dan pembunuh ada - tapi hanya sejauh mereka tidak saling merampok dan membunuh. Ini adalah aturan yang kami sebut keadilan.
Jika orang tidak membantu orang lain ketika mereka bisa, atau gagal membalas perbuatan baik, kita dapat menyebut mereka tidak ramah atau tidak berterima kasih. Tetapi kami tidak menghukum orang untuk memaksa mereka berbuat baik: hanya karena tindakan yang benar-benar dimaksudkan atau membahayakan. Kami memaksa mereka hanya untuk mematuhi aturan keadilan, karena masyarakat tidak bisa bertahan hidup.
Hati nurani. Tetapi alam telah memberi kita sesuatu yang bahkan lebih langsung daripada hukuman, yaitu kritik diri kita sendiri. Kami adalah penonton yang tidak memihak, tidak hanya atas tindakan orang lain, berkat hati nurani. Ini adalah cara alami untuk mengingatkan kita bahwa orang lain juga penting.
Aturan moral. Dalam proses membuat penilaian seperti itu pada tindakan yang tak terhitung jumlahnya, kami secara bertahap merumuskan aturan perilaku. Maka kita tidak harus memikirkan kembali setiap situasi baru: kita sekarang memiliki standar moral untuk membimbing kita.
Keteguhan ini bermanfaat bagi tatanan sosial. Dengan mengikuti hati nurani kita, kita berakhir, pasti tapi tanpa disengaja, mempromosikan kebahagiaan umat manusia. Hukum manusia, dengan hukuman dan ganjarannya, dapat bertujuan untuk hasil yang sama; tetapi mereka tidak pernah bisa sekonsisten, segera, atau seefektif hati nurani dan aturan moral yang direkayasa oleh alam.
