Perangko sejak diterbitkan pertama kali terkirim bersama surat dari satu wilayah ke wilayah lain, bahkan antar negara, berperan sebagai duta kecil dan berjasa membangun persatuan antar bangsa menjadi semakin erat. Tetapi hobi mengumpulkan perangko (filateli) mempunyai sejarah pahit di masa silam. Kegiatan filateli di waktu lalu tidak terlepas dari masalah keamanan, sosial, dan politik di masing-masing negara.
Kendati filateli merupakan kelompok damai, tenang, individual, tetapi dalam perkembangannya cukup bergejolak. Seabad lebih pemerintah Inggris dengan bayang-bayang opini politik telah menekan dan mengekang hobi ini. Sementara desain perangko sering menimbulkan gelombang hebat dan kontroversi menuju perseteruan internasional yang serius.
Berbagai tuduhan ditujukan kepada para pengumpul perangko. Perangko bekas yang dikumpulkan dicurigai untuk dimanfaatkan kembali saat pengiriman surat. Dinas pos tidak ragu menuduhnya sebagai kegiatan yang dianggap merugikan perusahaan. Pemerintah pun begitu mudah mencap filatelis sebagai orang yang tidak loyal kepada negara.
Pada tahun 1840 tokoh reformasi Pos Inggris, Rowland Hill, memperkenalkan perangko pertama di dunia yang dijuluki Penny Black. Diperlukan pengaturan lebih lanjut yang menyatakan biaya pengiriman surat ditempel pada kertas surat sudah dilunasi pengirim. Penerima surat tidak usah ditagih biaya pengiriman. Rowland Hill menjelaskan, perangko merupakan "carik mungil" prabayar dalam pengiriman surat.. Dia kemudian diangkat menjadi kepala kantor pos dan mendapat penghargaan bangsawan atas jasa reformasi di bidang pos.
Dia tidak mengira dan tidak sempat menyaksikan di jauh masa kemudian masyarakat mengumpulkan jutaan kertas kecil hasil pemikirannya. Kertas kecil itu menyempurnakan administrasi pos di dunia.
Tatkala orang mulai mengumpulkan perangko bekas, biasanya ditempelkan di dinding kamar, di bagian atas meja, dan menghias benda-benda. Dinas pos memperhatikan dan mengamati dengan seksama.
Pada tahun 1841 secara tidak sengaja paket berisi sejumlah perangko bekas terbuka di kantor pos. Dinas pos pun curiga dan meminta polisi memeriksa penerima paket itu, seorang guru perempuan di Pulau Wight. Guru perempuan itu dapat menerangkan dengan baik tentang hobinya mengumpulkan perangko. Sambil menutup bungkus paket itu, Rowland Hill di atasnya dengan sinis,"Kaun Hawa suka mengumpulkan berbagai jenis sampah."
Dinas pos waktu itu memiliki alasan untuk mencurigai orang yang mengumpulkan perangko asli Penny Black dalam jumlah banyak. Pencapan perangko warna hitam sering tidak jelas, sehingga perangko itu bisa berulang-ulang digunakan, sehingga merugikan dinas pos.
Untuk mencegah hal tersebut, pada tahun 1841 dinas pos menarik kembali penjualan perangko asli Penny Black dan menggantinya dengan penerbitan lain dan desain yang sama, namun dengan cetakan warna coklat.
Di era modern, pemerintah negara-negara komunis mengeluarkan dekrit pembatasan ketat pengumpulan perangko dan organisasi yang berhubungan dengan itu. Kegiatan filateli dilakukan dengan pengawasan ketat kementrian kebudayaan negara-negara itu. Di beberapa negara komunis pertukaran perangko dibatasi pada perangko-perangko yang secara resmi diajukan izinnya, bila dilanggar akan mendapat hukuman berat. Mereka dilarang melakukan pertukaran perangko-perangko yang terdapat dalam black list.
Di negara-negara Eropa Timur filatelis dilarang mengumpulkan perangko Jerman yang bergambar Adolf Hitler atau logo Nazi. Di negara-negara Eropa Barat filatelis dilarang mengumpulkan perangko bergambar lambang dan tokoh komunis.