Walaupun ada beberapa nomornya yang berkisah tentang masamnya kehidupan, kebencian, kelalaian, dan penderitaan, nyatanya Thirsk dan Lindberg selalu menyelipkan pesan untuk tetap waspada, berpikir mandiri, dan tentu saja menghindari keputus-asaan. Tak heran karena dulunya band ini bernama P.M.A, kependekan dari Positive Mental Attitude.
Dalam penulisan lirik, Lindberg pun terpengaruh oleh sastrawan Ralph Waldo Emerson dan Henry David Thoreau, sedangkan band punk, Bad Religion menjadi band yang juga memengaruhi cara mereka bermusik.
Album pertama mereka, "Pennywise" yang rilis tahun 1991 dibawah bendera Epitaph membuat nama mereka langsung dikenal oleh komunitas punk dan segera membuat pengakuan secara nasional.
Setelah rilisnya album ini, Lindberg meninggalkan band dan digantikan oleh vokalis The Vandals, Dave Quackenbush untuk mengisi tur konser mereka. Tak lama berselang, Lindberg kembali lalu mereka merilis album ke-2 yang berjudul "Unknow Road."
Album ketiga mereka "About Time" rilis pada tahun 1995 dan merupakan album terakhir bagi Thirsk. Setahun setelahnya, album keempat mereka, "Full Circle" hadir dengan dipenuhi kenangan akan sang bassist mereka yang telah tiada.Â
Dalam album inilah sebuah lagu yang ditulis oleh Thrisk dibawakan ulang sebagai lagu penghormatan yang berjudul "Bro Hymn" dengan sedikit perubahan di beberapa line-nya.
"Bro Hymn" merupakan salah satu lagu favorit saya. Lagu ini awalnya hadir di album pertama mereka dan diciptakan oleh Jason Matthew Thrisk sebagai kenangan akan dua temannya yang meninggal karena kecelakaan dan satu temannya yang tewas tenggelam di pantai Hermosa.
Nomor satu ini memiliki melodi yang bersemangat dan lirik yang positif membuatnya menjadi lagu yang sekali dengar langsung jatuh hati. Hal inilah yang membuat "Bro Hymn" menjadi lagu kebangsaan beberapa klub pada cabang olahraga seperti hockey es, sepak bola, football, dan lacrosse.
Selain "Bro Hymn", Pennywise memiliki nomor-nomor menyenangkan untuk didengar seperti F*ck Authority, Peaceful Day, Society, Same Old Story, Revolution, Let Us Hear Your Voice, dan Fight Till You Die.
Walaupun nama Pennywise tak sesanter The Offspring dan Bad Religion di dunia internasional, namun mereka adalah band yang sangat produktif.
Dalam rentang 21 tahun setelah album keempatnya, mereka telah merilis 8 album masing-masing, Straight Ahead (1999), Land of the Free? (2001), From the Ashes (2003), The Fuse (2005), Reason to Believe (2008), All or Nothing (2012), Yesterdays (2014), Never Gonna Die (2018).