Filsafat Semiotika Theo Van Leeuwen

Filsafat Semiotika  Theo Van Leeuwen

Theo van Leeuwen (lahir 1947) adalah seorang semiotika sosial yang secara luas diakui sebagai salah satu pendiri, bersama Gunther Kress, dari multimodality bidang penelitian yang berkaitan dengan potensi pembuatan makna dan penggunaan sumber daya semiotik yang berbeda, termasuk kedua mode komunikatif seperti sebagai bahasa dan desain visual dan media (yaitu bahan fisik dan teknologi) komunikasi. 

Ia seorang ahli teori dan analis wacana kritis yang terkenal. Karyanya di kedua bidang ini adalah transdisipliner - dengan fondasi dalam semiotika sosial sementara  menggambar berbagai perspektif teoretis dan berbasis praktik. 

Karya Van Leeuwen telah memperluas pengaruh multimodality, semiotika sosial dan analisis wacana kritis di luar semiotika, studi komunikasi dan linguistik terapan, ke bidang-bidang seperti pendidikan, seni, dan media, budaya, dan studi bisnis. Pengaruh ini dapat dikaitkan dengan hubungan kuat yang dipertahankannya antara teori semiotik dan praktik semiotik serta orientasi sosial-politiknya.

Van Leeuwen adalah Profesor di Pusat Komunikasi Multimodal dan Departemen Bahasa dan Komunikasi, Universitas Southern Denmark, Profesor Odense, dan Emeritus di Media dan Komunikasi di University of Technology, Sydney, di mana ia menjadi Dekan Fakultas. Seni dan Ilmu Sosial dari 2005 hingga 2013. 

Sebelum itu, ia memegang jabatan profesor di Universitas Cardiff (1999-2005) dan London College of Printing (1996-1999), di mana mulai sebagai dosen utama pada tahun 1993. 

Karir akademiknya dimulai di Macquarie University, Sydney, Australia, di mana pada periode 1974-1993   merancang dan mengajar mata kuliah penulisan naskah dan film dan televisi serta teori film dan media (sinema Eropa; film dokumenter; berita dan urusan terkini; sosiologi media; komunikasi visual; bahasa, musik dan media), dan bekerja untuk Sekolah Film, Televisi dan Radio Australia. Karya ini dibangun di atas praktek Van Leeuwen sebelumnya dan bersamaan sebagai pianis jazz dan editor film / TV, penulis naskah dan produser di Belanda dan Australia.

Minat Van Leeuwen dalam semiotika dipicu selama studi sarjana di Akademi Film Nasional Belanda di Amsterdam, dari mana ia lulus pada tahun 1972. Pada tahun 1980, ia belajar semiotika sinema di bawah Christian Metz, di Pusat Kajian Interdisipliner dalam Semiotika, Antropologi dan Sosiologi. , Paris. 

Diselesaikan di Macquarie University, MA-nya menghormati disertasi, Pidato profesional: Gaya aksen dan junctural dalam pengumuman radio (Van Leeuwen, 1982), menunjukkan  intonasi penyiar radio tunduk pada kode profesional yang ditentukan secara sosial-budaya dan nilai-nilai serta hubungan yang terkait antara penyiar, lembaga yang mereka wakili dan audiens mereka (mis. fokus pada kedekatan dan ketidakberpihakan dalam penyiaran berita vs pendampingan dalam program yang mudah didengar). Penelitian doktoralnya (Van Leeuwen, 1993) - diawasi oleh James R. 

Martin, seorang tokoh terkemuka dalam analisis wacana linguistik fungsional sistemik, di University of Sydney - menawarkan sebuah model untuk mempelajari bagaimana teks tertulis mewakili praktik sosial, berdasarkan pada Halliday (1978) ) teori bahasa sebagai semiotik sosial, linguistik fungsional sistemik (SFL). 

Selain teori semiotik sosial, pengaruh besar pada karya Van Leeuwen meliputi: Roland Barthes dan Roman Jakobson (dan Semiotik Sekolah Prancis dan Praha pada umumnya); Psikologi persepsi visual dan studi Rudolf Arnheim dalam teori film dan seni; Sosiologi pendidikan Basil Bernstein; Studi Raymond Murray Schafer tentang musik dan suara; dan teori warna John Gage. 

Namun, pengaruh yang paling formatif pada karier penelitian dan akademisnya, tetap merupakan kolaborasi jangka panjangnya dengan Gunther Kress,   dimulai pada pertengahan 1980-an dan awalnya berfokus pada pengembangan kerangka kerja untuk analisis semiotik sosial desain visual.

Van Leeuwen telah menerbitkan secara luas tentang multimodality dan semiotika sosial dan analisis wacana kritis. 

Buku-bukunya meliputi: Membaca Gambar: Tata Bahasa Desain Visual (2006 [1996]) dan Wacana Multimodal: Mode dan Media Komunikasi Kontemporer (2001), keduanya ditulis bersama dengan Gunther Kress; Pidato, Musik, Suara (1999); Introducing Social Semiotics (2005); Global Media Discourse (2007, dengan David Machin); Wacana dan Praktek Sosial: Alat Baru untuk Analisis Wacana Kritis (2008); Bahasa Desain Media Baru (2009, dengan Radan Martinec); dan The Language of Color (2011). Pada tahun 1991,  mendirikan jurnal Social Semiotics dan merupakan co-editor pendiri jurnal Komunikasi Visual yang didirikan pada tahun 2001 (dengan Carey Jewitt). 

Dia  berada di dewan editorial dari beberapa jurnal peer-review internasional lainnya yang menyediakan platform publikasi untuk penelitian tentang multimodalitas dan analisis wacana kritis.

Kontribusi kunci Van Leeuwen untuk semiotika sosial dan arahan utama dalam keseluruhan penelitiannya ditangkap dalam Introducing Social Semiotics (2005), yang ditulis dengan gaya khasnya, dapat diakses dan menarik, gayanya.

Van Leeuwen memandang semiotika sosial sebagai "bentuk penyelidikan" yang "muncul dengan sendirinya ketika diterapkan pada contoh spesifik dan masalah spesifik" dan karena itu "bukan teori 'murni', bukan bidang mandiri '  tetapi 'dapat diterapkan' dan tentu saja multidisiplin. 

Semiotikians sosial mengejar tiga tujuan yang saling berhubungan: [a] "Mengumpulkan, mendokumentasikan dan membuat katalog sumber daya semiotik secara sistematis - termasuk sejarahnya"; [b] "Menyelidiki bagaimana sumber daya ini digunakan dalam konteks sejarah, budaya dan kelembagaan tertentu, dan bagaimana orang berbicara tentang mereka dalam konteks ini - rencanakan, ajarkan, ajarkan, kritik, dll."; dan [c] "Berkontribusi pada penemuan dan pengembangan sumber daya semiotik baru dan penggunaan baru sumber daya semiotik yang ada". (Van Leeuwen).

Definisi Van Leeuwen tentang 'sumber daya semiotik' mengacu pada pandangan Halliday (1978) tentang bahasa sebagai sumber daya semiotik sosial yang potensi pemaknaannya dinamis dan secara simultan membentuk dan dibentuk oleh konteks sosial di mana ia digunakan, dan pada Gibson's ( 1979) gagasan 'keterjangkauan', atau kualitas fisik objek yang jelas, yang bersama-sama dengan kebutuhan dan minat pengguna, menentukan kemungkinan penggunaannya.

Sumber daya semiotik adalah tindakan, bahan dan artefak yang kami gunakan untuk tujuan komunikasi, baik yang diproduksi secara fisiologis - misalnya, dengan alat vokal kami, otot yang kami gunakan untuk membuat ekspresi wajah dan gerakan - atau secara teknologi - misalnya, dengan pena dan tinta, atau perangkat keras dan perangkat lunak komputer - bersama dengan cara-cara di mana sumber daya ini dapat diatur.

Sumber daya semiotik memiliki potensi makna, berdasarkan penggunaannya di masa lalu, dan serangkaian biaya berdasarkan kemungkinan penggunaannya, dan ini akan diaktualisasikan dalam konteks sosial konkret di mana penggunaannya tunduk pada beberapa bentuk rezim semiotik. (Van Leeuwen, 2005)

Fokus Van Leeuwen pada hubungan antara kepentingan / agensi pembuat makna dan cara-cara di mana kelembagaan spesifik dan konteks sosial yang lebih luas mengatur penggunaan sumber daya semiotik oleh orang diilhami oleh Semiotika Sosial Hodge & Kress (1988). Gagasan Halliday (1978) membangun  bahasa hanyalah "salah satu sistem semiotik yang membentuk budaya" (hal. 2) dan pada modelnya tentang hubungan dinamis antara teks (yaitu pertukaran makna sosial) dan konteks, mani ini publikasi memetakan prinsip-prinsip untuk mengembangkan teori semiotik sosial yang dapat mendorong dialog interdisipliner tentang komunikasi dalam semua bentuknya dan melintasi konteks kelembagaan yang berbeda, sebuah teori di mana "teks dan konteks, agen dan objek makna, struktur dan kekuatan sosial, dan kekuatan hubungan timbal balik yang kompleks bersama-sama merupakan objek analisis semiotik yang minimal dan tidak dapat direduksi "(Hodge & Kress, 1988). 

Tujuan ini telah memotivasi studi wacana multimodal dan kritis dalam tradisi semiotik sosial serta upaya yang lebih baru untuk menggabungkan keduanya dan mengeksplorasi peran sumber daya semiotik non-verbal dan interaksinya dengan bahasa dan dengan masing-masing permainan lain dalam membangun dan melanggengkan atau menantang perpecahan sosial, norma dan stereotip. 

Upaya ini telah dipelopori oleh investigasi independen dan kolaboratif Van Leeuwen tentang rasisme visual dalam buku teks sejarah dan masyarakat, stereotip terwujud dalam desain visual dan kinetik mainan anak-anak, dan wacana media global (Machin & Van Leeuwen, 2007; Van Leeuwen, 2000, 2009b; Van Leeuwen & Caldas-Coulthard, 2004; Van Leeuwen & Kress, 1995), untuk menyebutkan beberapa saja.

Van Leeuwen menganjurkan pendekatan holistik untuk mempelajari sumber daya semiotik, praktik dan perubahan. Pendekatan ini melibatkan mempertimbangkan bagaimana orang menggunakan sumber daya dan teknologi semiotik dalam konteks sosial-historis tertentu, dalam kaitannya dengan cara-cara di mana mereka berbicara tentang dan membenarkan (aspek-aspek) praktik-praktik ini. 

Dengan memeriksa baik praktik semiotik dan wacana tentang hal itu, Van Leeuwen (2005) telah mengembangkan inventarisasi aturan semiotik (rezim) yang mengatur pembuatan makna orang, yang meliputi aturan yang dikembangkan dengan mengamati dan menyesuaikan dengan tren, meniru panutan, dan menggambar pada pendapat para ahli serta aturan yang diberlakukan oleh orang yang berkuasa (otoritas pribadi), dengan menulis (hukum, agama, dll.), tradisi dan desain objek (misalnya mainan) dan teknologi (misalnya PowerPoint) digunakan dalam komunikasi (otoritas impersonal). Kesadaran akan norma semacam itu adalah kunci untuk memahami dan berkontribusi pada perubahan semiotik.

Mode, media, dan multimodalitas; Van Leeuwen telah mengejar dan berkontribusi untuk meletakkan dasar bagi dua arah utama dalam multimodality: [a] menjelajahi penggunaan dan memetakan potensi pembuatan makna dari sumber daya semiotik individu, dan [b] mempelajari cara mereka berinteraksi untuk menciptakan makna dalam komunikasi multimodal.

Khas tentang kontribusi Van Leeuwen ke arah pertama adalah minat yang kuat dalam potensi pembuatan sumber daya material (misalnya warna, tekstur, suara dan desain / gerakan kinetik dan potensinya untuk mengambil bagian dalam atau menjadi mode seperti bahasa dan desain visual, yaitu, ke dalam sumber daya semiotik yang tunduk pada penggunaan yang lebih luas dan konvensi yang lebih mapan, dan karena itu lebih mudah untuk mengajar, berdebat dan memodelkan dengan cara-cara abstrak. 

Dalam arah kedua, salah satu tujuan utama Van Leeuwen adalah untuk memahami hubungan antara teknologi semiotik yaitu teknologi untuk membuat makna seperti perangkat lunak perkantoran, alat perekam suara, pena dan kertas, dll.) dan perubahan dalam (co) penyebaran sumber daya semiotik yang berbeda dan dalam wacana yang mengatur penggunaannya dalam konteks sosial tertentu, karyanya telah mengeksplorasi hubungan antara mode dan media (sumber daya material dan teknologi), yang merupakan tantangan utama dalam penelitian multimodality dan semiotik dalam gen eral. 

Penelitiannya  menyelidiki bagaimana budaya dan alam berkontribusi pada semiosis dan mempermasalahkan perbedaan lain yang umum dalam semiotik dan linguistik fungsional, misalnya, antara fungsi komunikasi, gaya pribadi dan estetika.

Dua arah utama dalam penelitian multimodality diambil dalam publikasi tengara Kress & Van Leeuwen Membaca Gambar: Tata Bahasa Desain Visual (2006 [1996]) dan Wacana Multimodal: Mode dan Media Komunikasi Kontemporer (2001).  Edisi pertama Membaca Gambar: Tata Bahasa Desain Visual diterbitkan pada tahun 1996, dan sangat memperluas karya mereka disajikan dalam buku (teks) yang jauh lebih pendek (Kress & Van Leeuwen, 1990). Ini menggabungkan wawasan dari ikonografi, semiotika struktural, psikologi Gestalt, film dan seni rupa dan mengeksplorasi beragam teks visual budaya Barat (iklan dan gambar berita, peta dan diagram teknis, halaman dari majalah, buku gambar, dan buku teks, tiga objek -dimensi seperti pahatan dan mainan, dan halaman web) dari periode sejarah yang berbeda. Buku ini menyajikan kerangka kerja analitis berdasarkan dua prinsip utama linguistik fungsional sistemik (SFL) Halliday. Yang pertama adalah  setiap teks secara bersamaan menyadari tiga jenis makna luas, atau 'metafungsi': [a] ideasional / representasional - mewakili pola pengalaman (sebagai konfigurasi proses, peserta dan keadaan) dan hubungan logico-semantik di antara mereka (misalnya penambahan, urutan temporal, kausalitas); [b] interpersonal / orientational - memberlakukan interaksi sosial, hubungan dan nilai-nilai; [c] teks / organisasi / komposisi - menjalin makna ideasional dan interpersonal ke dalam teks yang kohesif dan koheren.

Prinsip kedua adalah  potensi makna mode semiotik dapat dimodelkan secara paradigmatik, sebagai sistem pilihan yang saling terkait, yang masing-masing direalisasikan melalui struktur yang berbeda. Sistem sederhana pada Gambar 1, misalnya, mewakili dua jenis utama proses yang Kress dan Van Leeuwen (2006 [1996]) kenali dalam representasi visual, meminjam konsep 'volume' dan 'vektor' Arnheim (1974). 

Proses naratif / dinamis mencakup satu atau lebih hubungan vektor antara volume, atau entitas visual yang dianggap berbeda (misalnya dua orang yang digambarkan saling berpegangan tangan dan / atau saling memandang, di mana tangan dan arah tatapan mereka membentuk vektor). Sebaliknya, yang konseptual menghadirkan entitas seperti itu tanpa vektor (misalnya foto paspor).

Meskipun melihat SFL sebagai "sumber yang baik untuk berpikir tentang semua mode representasi", Kress dan Van Leeuwen memperingatkan terhadap kategori adopsi buta yang dikembangkan untuk bahasa untuk mempelajari mode lain; sementara sumber daya semiotik yang berbeda mungkin memiliki kemampuan untuk membuat jenis makna umum yang sama, mereka menjelaskan, struktur dan prinsip-prinsip formal (misalnya organisasi temporal vs spasial) di mana mereka membangun makna berbeda dan demikian  biaya dan keterbatasan mereka. 

Sebagai contoh, baik bahasa dan gambar dapat menafsirkan versi realitas yang membawa nilai-nilai kebenaran yang berbeda untuk komunitas yang berbeda, sebuah potensi makna yang ditangkap dalam sistem 'modalitas' SFL untuk tata bahasa Inggris (Halliday & Matthiessen, 2004). Sumber daya linguistik untuk mewujudkan modalitas termasuk kata kerja modal dan modal tambahan yang dapat digunakan untuk membangun derajat kepastian antara nilai-nilai polaritas 'ya' dan 'tidak', misalnya derajat probabilitas atau kewajiban. 

Dalam gambar, Kress & Van Leeuwen (2006 [1996]) menunjukkan  modalitas tergantung pada interaksi kompleks dari beberapa isyarat seperti derajat saturasi warna, diferensiasi warna, kecerahan dan detail, yang bersama-sama dapat mengundang pemirsa untuk menafsirkan representasi visual sebagai lebih banyak. atau kurang naturalistik, abstrak, sensoris atau teknis. 

Konsisten dengan pemahaman mereka  sumber daya semiotik tidak sebanding  Kress & Van Leeuwen (2006 [1996] sangat longgar menggunakan istilah 'tata bahasa'  tidak untuk menunjukkan  semiotik visual dikelompokkan dalam cara yang sama seperti bahasa, tidak itu memiliki struktur tata bahasa analog, tetapi untuk menekankan  tidak seperti pendekatan semiotik sebelumnya untuk analisis visual, yang cenderung berfokus pada makna objek individu dan elemen visual (misalnya warna atau bentuk tertentu), dengan kata lain pada apa yang dapat dilihat sebagai analog dengan 'lexis' dalam bahasa, kerangka kerja analitis mereka berfokus pada struktur yang dibentuk oleh elemen-elemen tersebut dalam komposisi visual seperti gambar tunggal atau halaman depan koran.

Sementara Membaca Gambar berfokus pada desain visual sebagai sumber daya semiotik individu, terutama dengan mengacu pada gambar diam, Kress dan Van Leeuwen Multimodal Discourse (2001, hal. 2) menyajikan "pandangan multimodalitas di mana prinsip-prinsip semiotik umum beroperasi di dalam dan melintasi mode yang berbeda. " Pandangan ini mencerminkan lanskap semiotik kontemporer dan khususnya fakta  teknologi digital yang semakin canggih memungkinkan non-spesialis, sering melalui antarmuka yang sama, untuk memilih dari dan menggabungkan sumber daya semiotik (misalnya tipografi, suara, tata letak) yang sebelumnya dikaitkan dengan diskrit dan sangat tinggi. domain khusus. Mengikuti Kress & Van Leeuwen (2001), komunikasi multimoda semacam itu menyerukan "semiotika yang bersatu dan menyatukan".

Wacana Multimodal menyajikan dua gagasan panduan untuk mengembangkan teori multimodalitas yang terpadu. Yang pertama adalah  teori semacam itu perlu menemukan prinsip semiotik luas mana yang berlaku di berbagai mode (sesuai dengan karakteristik unik masing-masing mode) dan praktik semiotik, dan kemudian menggunakan prinsip-prinsip ini untuk mengembangkan alat untuk menganalisis komunikasi multimoda. 

Modalitas adalah salah satu prinsip seperti itu, tidak hanya bahasa dan gambar, tetapi suara  dapat mewakili tingkat dan jenis kebenaran yang berbeda tergantung pada sejauh mana ia tampak asli atau dimanipulasi dengan teknologi produksi dan distribusi suara (Van Leeuwen, 1999). 

Penelitian Van Leeuwen telah menunjukkan nilai dari beberapa prinsip tersebut - genre, gaya, pembingkaian, arti-penting, ritme, modalitas, dan hubungan konjungtif / logico-semantik - untuk menganalisis hubungan intra dan semiotika dalam berbagai teks (misalnya majalah) , buku teks, objek tiga dimensi, film, ruang arsitektur, soundtrack dan hypermedia)  dan untuk merancang teks media baru (Martinec & Van Leeuwen, 2009).

Gagasan kedua yang diajukan Kress dan Van Leeuwen (2001) adalah  komunikasi multimodal menciptakan makna melalui masing-masing dari empat strata: [a] Wacana , "pengetahuan yang dibangun secara sosial tentang (beberapa aspek) realitas"; [b] Desain , realisasi wacana melalui berbagai sumber daya semiotik; [c] Produksi , artikulasi material acara semiotik atau artefak; [d] Distribusi , "'pengkodean ulang' teknis dari produk dan acara semiotik, untuk tujuan pencatatan [...] dan / atau distribusi".

Konsep ekspresi, produksi dan distribusi menarik perhatian pada peran materialitas dan teknologi untuk memproduksi / merekam dan mendistribusikan teks multimodal yang dimainkan baik dalam menciptakan makna dalam praktik semiotik tertentu maupun dalam transformasi bertahap praktik-praktik ini melalui munculnya mode baru dan hubungan sosial.

Fokus yang kuat pada materialitas dalam semiosis mendefinisikan teori terpadu suara Van Leeuwen yang disajikan dalam Speech, Music, Sound (1999). Berakar pada latar belakangnya dalam produksi film (di mana pidato, musik, dan suara semuanya dapat menjadi bagian dari sebuah soundtrack), praktik musik jazz, dan penelitian tentang intonasi dan ritme (ritme adalah prinsip organisasi utama untuk mode dan media berbasis waktu), buku ini menyajikan kerangka kerja untuk menganalisis suara dalam bentuk apa pun dan menggabungkan prinsip-prinsip dari fonologi, musikologi, psikologi persepsi dan teori metafora konseptual. 

Sekali lagi menggunakan alat semiotik sosial seperti metafunctions sebagai batu loncatan untuk berpikir tentang pembuatan makna secara umum, Van Leeuwen berpendapat  suara lebih siap untuk mewujudkan interpersonal dan tekstual daripada makna ideasional. Dia  melihat pendekatan 'bottom-up', mulai dari kualitas material (mis. Timbre, tempo) daripada struktur yang lebih besar, karena lebih cocok untuk memetakan potensi makna sumber daya semiotik material, di mana "makna dibangun dengan sangat berbeda, berdasarkan salah satu dari potensi makna pengalaman , yang didasarkan [...] dalam pengalaman jasmani kita tentang materialitasnya, dan / atau asal usulnya , karenanya didasarkan pada intertekstualitas "(hal.192). 

Terbukti bergantung pada keakraban dengan asal-usul penanda dan asosiasi terkait. Van Leeuwen (1999) mencontohkan ini dengan penggunaan sitar sebagai instrumen dari India untuk menciptakan asosiasi dengan mediasi dan obat-obatan dalam musik pop tahun 1960-an. Makna eksperiensial, di sisi lain, didasarkan pada kemampuan kita untuk memperluas pengalaman fisik sebelumnya secara metaforis menjadi pengetahuan, seperti yang dikatakan oleh Lakoff dan Johnson (1980) untuk metafora linguistik (misalnya 'Aku merasa sedih hari ini').

Van Leeuwen (2009a) memetakan potensi makna pengalaman sumber daya material menggunakan apa yang ia sebut 'sistem parametrik'. Sistem parametrik menghadirkan kualitas fisik, atau kemampuan, dari sumber daya yang diberikan orang dalam komunikasi. Kualitas ini selalu gradable dan bersama-sama menentukan potensi makna penanda tertentu seperti jenis suara, tekstur atau warna tertentu. 

Suara tertentu misalnya dapat digambarkan sebagai kombinasi derajat dari masing-masing beberapa parameter: ketegangan; kekasaran; nafas; kekerasan; vibrato; dan nasality (Van Leeuwen, 1999, 2009a). Gagasan Van Leeuwen tentang 'sistem parametrik' diilhami oleh teori fitur khas Jakobson dan Halle (1956). 

Mengikuti teori itu, suatu fonem dapat dideskripsikan menggunakan sejumlah kecil ciri-ciri khas dan mengidentifikasi setiap ciri sebagai ada atau tidak ada, yang memungkinkan satu fonem untuk dibedakan dari yang lain (misalnya konsonan friksi alveolar / z / dan / s / memiliki tempat dan cara artikulasi yang sama tetapi masing-masing berbeda vs tidak adanya suara). 

Tidak seperti fitur yang berbeda, bagaimanapun, parameter dalam sistem parametrik Van Leeuwen bukan hanya tidak ada atau hadir (bukan pilihan biner) tetapi bertahap dan tidak hanya memungkinkan satu penanda untuk dibedakan dari yang lain tetapi menambahkan lapisan makna padanya.

Selain suara, Van Leeuwen telah menggunakan potensi bukti dan pengalaman untuk memetakan potensi semiotik sumber daya seperti desain kinetik (Van Leeuwen & Caldas-Coulthard, 2004), warna (Van Leeuwen, 2011a), tipografi (Van Leeuwen, 2006 ) dan taktil dan tekstur visual (Djonov & Van Leeuwen, 2011). Dengan cara ini, ia telah menarik perhatian pada sumber daya semiotik yang umumnya telah terpinggirkan dalam linguistik dan semiotik dan menyediakan alat untuk secara eksplisit mengajar dan mendiskusikannya baik dalam teori semiotik maupun praktik semiotik.

Karakteristik karya Van Leeuwen tentang multimodalitas adalah perhatian yang kuat dengan peran faktor sosial-budaya dan politik dalam komunikasi dan asumsi  analisis dan interpretasi sendiri merupakan proses pembuatan makna yang didorong oleh kepentingan individu dan kelembagaan. Orientasi sosial-politik ini, di samping presentasi mereka yang dapat diakses, telah berkontribusi terhadap pengaruh kerangka kerja yang disajikan dalam Bacaan Gambar, Wacana Multimodal dan Pidato, Musik, Suara dan pengambilan mereka di luar semiotika sosial, di berbagai bidang seperti literasi, media dan budaya studi. 

Pada saat yang sama di bidang multimodalitas ada  upaya yang bertujuan untuk menghindari hubungan langsung antara kategori verbal untuk menggambarkan kualitas fisik dan interpretasi potensi makna kualitas ini (McDonald, 2012) dan mengembangkan metode bottom-up untuk sistematis dan secara obyektif mengidentifikasi fitur desain tingkat rendah (misalnya orientasi spasial, variasi font dan warna) dan menghubungkannya dengan struktur wacana tingkat tinggi (misalnya genre) (Bateman, 2008). 

Bateman (2008), misalnya, menawarkan metode seperti itu untuk dokumen berbasis halaman yang dapat digunakan untuk mengembangkan penjelasan yang berharga tentang bagaimana, katakanlah, tata letak dokumen dapat mendukungnya dalam mencapai tujuannya di bawah berbagai kendala produksi. Tidak seperti karya Van Leeuwen, upaya semacam itu cenderung tidak berkonsentrasi pada ideologi di balik kepentingan pembuat makna dan akses mereka yang berbeda ke sumber daya dan wacana semiotik.

Analisis wacana linguistik dan multimodal kritis. Orientasi sosial-politik penelitian Van Leeuwen mungkin paling menonjol dalam Wacana dan Praktek: Alat Baru untuk Analisis Wacana Kritis (2008a), di mana ia menyajikan kerangka kerja semiotik sosial untuk analisis wacana kritis yang diinformasikan oleh perspektif dari antropologi, sosiologi dan filsafat.

Pada intinya adalah gagasan  ada perbedaan antara praktik sosial dan representasi mereka dalam teks, atau wacana. Van Leeuwen mendefinisikan praktik sosial sebagai urutan kegiatan fisik dan / atau semiotik yang mencakup elemen-elemen berikut: aktor sosial, aktivitas dan reaksi mereka terhadap aktivitas ini, atau elemen lain dari praktik sosial; lokasi dan waktu praktik; dan perawatan, pakaian, alat dan bahan yang dibutuhkan untuk itu.

Kerangka ini memperluas gagasan Basil Bernstein (1990) tentang rekontekstualisasi, yang berfokus pada transfer pengetahuan dari konteks di mana ia diproduksi untuk mereka yang direproduksi dan disebarluaskan melalui wacana pedagogik dan pergeseran semantik yang terlibat dalam proses ini, yang berfungsi untuk mempertahankan tatanan sosial yang ada. Van Leeuwen (2008a) berpendapat  tidak hanya wacana pedagogik tetapi "semua wacana mengkontekstualisasikan ulang [atau mengubah makna] praktik sosial", itulah sebabnya mengapa praktik sosial yang sama dapat dikenakan representasi yang berbeda, atau menarik "sejumlah wacana ". 

Dia mengusulkan praktik sosial yang berkaitan dengan wacana tentang mereka sebagai metode untuk mencapai tujuan CDA untuk mengungkapkan bagaimana wacana mengabadikan batas-batas sosial, penindasan dan ketidaksetaraan. Metode ini melibatkan dua langkah: (1) menganalisis praktik semiotik menjadi komponen-komponennya dan kemudian (2) mengidentifikasi bagaimana hal itu telah ditransformasikan dalam wacana melalui penggunaan sumber daya verbal dan / atau non-verbal. Transformasi semacam itu mungkin melibatkan penggantian, penghapusan , dan penataan ulang unsur-unsur praktik sosial dan / atau penambahan evaluasi, tujuan, atau legitimasi. 

Van Leeuwen (2008a) menunjukkan, misalnya, bagaimana dalam sebuah teks tentang hari pertama sekolah suatu nominisasi mengubah tindakan seorang guru yang memisahkan anak-anak dari orang tua mereka dengan menyatakannya sebagai sebuah fenomena melalui penggunaan nominisasi ('pemisahan dari keluarga'), menghapus guru, yang merupakan aktor utama dalam kegiatan ini, dan mengganti masing-masing anak dan orang tua (misalnya Mary dan ibunya) dengan kata benda agregat ('keluarga').

Seperti Norman Fairclough dan banyak analis wacana kritis lainnya, Van Leeuwen menggunakan SFL untuk menganalisis peran bahasa dalam melakukan rekontekstualisasi praktik sosial. Namun, fitur yang membedakan dari pendekatannya terhadap CDA adalah  ia  mengeksplorasi peran yang dimainkan oleh representasi non-verbal dan multimodal dalam (kembali) membangun ideologi dominan. Untuk mengekspos peran ini, Van Leeuwen (2008a) berpendapat, CDA perlu mempertimbangkan tidak hanya apa yang diwakili atau tidak diwakili secara non-verbal atau multimodal (misalnya apakah etnis minoritas diwakili dalam media) tetapi  bagaimana representasi tersebut dibangun. 

Van Leeuwen (2008a) menyajikan banyak contoh dari penelitian sebelumnya, termasuk penggunaan sudut horizontal miring untuk menggambarkan sekelompok orang sebagai 'orang lain', dan menciptakan jarak antara aktor sosial yang digambarkan dan penonton gambar, dan cara-cara konstruksi visual dan kinetik. mainan dapat sesuai dengan stereotip ras dan gender. 

Berfokus pada majalah wanita dan permainan perang elektronik, Machin dan Van Leeuwen (2007) menunjukkan  genre multimodal memaksakan nilai-nilai Barat dan homogenisasi format yang digunakan untuk menyajikan konten lokal, dan Van Leeuwen (2005) mengungkapkan bagaimana wacana iklan menggunakan kombinasi penanda seperti gaun. , warna, bau, dan sebagainya untuk membangun dan menjual identitas gaya hidup yang menutupi konsumerisme massal. 

Pekerjaan semacam itu  menyoroti budaya dan wacana populer sebagai lahan subur untuk mengembangkan alat untuk menyatukan agenda analisis wacana kritis dan multimodal secara produktif. Van Leeuwen (2013), misalnya, berpendapat  "wacana yang membutuhkan pengawasan mata kritis sekarang sangat multimodal dan dimediasi oleh sistem digital yang mengambil multimodality sepenuhnya untuk diberikan"  dan  "stereotip rasis tetap ada dalam teks visual daripada verbal, dan dalam strip komik, iklan dan bentuk-bentuk lain dari budaya populer daripada dalam teks yang lebih faktual dan "highbrow".

Penelitian saat ini: eksplorasi multimodal kritis Van Leeuwen tentang praktik semiotik dan teknologi semiotic; Penelitian Van Leeuwen saat ini berfokus pada pengembangan teori dan alat untuk menganalisis hubungan antara praktik semiotik dan teknologi semiotik yang menggabungkan analisis wacana multimodal dan kritis melalui pendekatan semiotik sosial transdisipliner yang holistik. Sebuah studi kasus sentral dalam penelitian ini adalah perangkat lunak presentasi di mana-mana tetapi perangkat lunak yang lebih khusus seperti Adobe After Effects dan Photoshop dan teknologi yang lebih tua (misalnya berbagai jenis cat)  dipertimbangkan.

Pendekatan Van Leeuwen untuk teknologi semiotik (dipetakan dalam Van Leeuwen & Djonov, 2013) berinovasi dalam praktik penelitian dominan dalam multimodality dan linguistik terapan dengan bergerak melampaui pandangan teknologi perangkat lunak sebagai alat netral untuk membuat atau menganalisis teks, dan di luar fokus tunggal pada multimodal. tindakan komunikasi yang bergantung pada teknologi semiotik (misalnya slide presentasi / tayangan slide dan presentasi di mana mereka digunakan) atau pada hasil yang dihasilkan dengan menggunakan perangkat lunak untuk menganalisis sejumlah besar data linguistik, visual atau multimodal. 

Ini mempertimbangkan sumber daya semiotik (misalnya tipografi, tata letak, warna, tekstur, dll.) Yang tersedia dalam teknologi tertentu sehubungan dengan sumber daya semiotik yang tersedia dalam budaya secara umum, terutama yang ditemukan dalam praktik semiotik yang dikontekstualisasikan ulang melalui perangkat lunak (mis. Photoshop recontextualizes praktik seni visual, fotografi dan desain grafis). Ini  berfokus pada cara-cara desain perangkat lunak itu sendiri, melalui sumber daya yang tersedia dan cara-cara ini disajikan melalui antarmuka dan menu bantuan, hak istimewa beberapa sumber daya lainnya dan cara-cara tertentu menggunakan sumber daya yang berbeda. 

Dengan kata lain, pendekatan ini menyelidiki normativitas dalam desain dan penggunaan teknologi semiotik. (Lihat lebih lanjut Djonov & Van Leeuwen (2012), yang mengadopsi konsep Sekolah Semiotik Praha tentang 'kecakapan' dan 'latar depan' dalam mengembangkan model untuk mengeksplorasi normativitas dalam desain dan penggunaan perangkat lunak).

Pendekatan Van Leeuwen untuk mempelajari hubungan antara praktik semiotik dan teknologi semiotik  merupakan hal yang dinamis ketika ia mengeksplorasi: bagaimana sumber daya yang disediakan oleh teknologi berinteraksi dengan sumber daya semiotik lainnya dalam pengungkapan peristiwa multimodal (mis. Gerakan dan ucapan dalam presentasi yang didukung tayangan slide) ; bagaimana ketersediaan dan penyajian mereka dalam teknologi serta penggunaannya berubah dari waktu ke waktu; dan bagaimana mereka berbeda-beda dan dibentuk oleh dan diri mereka sendiri (kembali) membentuk praktik sosial yang beragam.

Sebagai ilustrasi, penelitian Van Leeuwen tentang PowerPoint tidak hanya memeriksa tayangan slide yang dirancang dengan perangkat lunak dan presentasi yang didukung tayangan slide dalam konteks sosial-budaya yang berbeda (misalnya kuliah tahun pertama di berbagai disiplin ilmu dibandingkan dengan presentasi perusahaan) tetapi  perubahan dalam desain perangkat lunak itu sendiri dari waktu ke waktu (mis. semua versi PowerPoint untuk Windows dari 1992 hingga 2007). 

Pendekatan ini  melibatkan menganalisis perangkat lunak baik sebagai pengaturan spatio-temporal yang bermakna (yaitu secara sintagmatik) dan sebagai sistem sumber daya semiotik yang tersedia (yaitu secara paradigmatik). Sebuah studi dalam proyek itu (Van Leeuwen, Djonov, & O'Halloran, 2013) telah menyelidiki penggunaan David Byrne tentang PowerPoint untuk membuat pameran seni dan album Envisioning Emotional Epistemological Information (2003). 

Dengan mengacu pada Van Leeuwen (2005), penelitian ini berpendapat  karya Byrne dapat dibaca sebagai penelitian tentang semiotik dan teknologi semiotik yang sesuai dengan ketiga tujuan semiotik sosial karena menyajikan inventaris sumber daya semiotik yang disediakan oleh perangkat lunak (misalnya menu AutoShape). ), mencerminkan kesadaran tentang bagaimana desain PowerPoint memengaruhi penggunaannya dan memaksakan serta membentuk nilai-nilai budaya perusahaan kontemporer, dan membuat kreatif penggunaan perangkat lunak "untuk mengekspresikan makna baru dengan cara baru".

Van Leeuwen  menekankan peran yang dimainkan oleh perangkat lunak semiotik dalam membentuk kembali praktik semiotik yang lebih luas, dengan demikian menyoroti masalah dalam teorisasi praktik-praktik ini. Salah satu praktik semacam itu di mana Van Leeuwen (2008b) tertarik adalah apa yang ia sebut "tulisan baru". 

Tidak seperti "tulisan lama", ia berpendapat, tulisan baru mengikuti logika ruang, dan dalam hal ini menyerupai desain visual dan akibatnya mengaburkan batas antara bahasa dan gambar. Tulisan baru menyajikan ide melalui kata-kata dan / atau gambar, tetapi mencapai kohesi dan koherensi dalam presentasi mereka kurang melalui sintaksis verbal dan organisasi retoris dan banyak lagi, dan kadang-kadang secara eksklusif, melalui elemen desain visual seperti tata letak dan skema warna yang konsisten. 

Tulisan baru  dikendalikan oleh dan dipelajari bukan dari manual gaya dan pengajaran eksplisit, tetapi melalui aturan yang dibangun ke dalam teknologi semiotik seperti perangkat lunak perkantoran, di mana ejaan seseorang dapat dikoreksi secara otomatis dan daftar peluru secara otomatis disejajarkan, kata-kata pertamanya ditulis, dan seterusnya.

Praktik semiotik multimedia lain yang luas dan relatif belum dijelajahi yang sedang dia pelajari saat ini adalah mendengarkan, atau tanda-tanda  orang mendengarkan ketika orang lain tampil atau berbicara: mendengarkan tidak hanya aktivitas mental, tindakan interpretasi, tetapi  aktivitas semiotik di mana pendengar baik secara aktif mengikuti dan mendukung pembicara dengan cara pengiring mengikuti dan mendukung penyanyi atau solois instrumental, atau diam-diam mengkritik pembicara, diam-diam mengartikulasikan seorang wacana tandingan semacam yang analisis wacana kritis sejauh ini belum mampu menganalisis (Van Leeuwen, 2014)

Arahan-arahan yang lebih baru dalam penelitian semiotika Van Leeuwen ini semakin memperluas luas yang sudah cukup besar dari semiotika sosialnya dan membuka jalan untuk proyek semiotik sosial transdisipliner baru.

Daftar Pustaka:
Bernstein, B. (1990). The structuring of pedagogic discourse: Class, code and control (Vol.4). London/New York: Routledge.

Kress, G., & Van Leeuwen, T. (1990). Reading Images. Geelong, Victoria: Deakin University Press.

Kress, G., & Van Leeuwen, T. (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Arnold.

Kress, G., & Van Leeuwen, T. (2006 [1996]). Reading Images: The Grammar of Visual Design (2nd ed.). London: Routledge.

Van Leeuwen, T. (1982). Professional Speech: Accentual and junctural style in radio announcing. Unpublished M.A. Honours Thesis, Macquarie University, Sydney, Australia.

Van Leeuwen, T. (1991). Conjunctive structure in documentary film and television. Continuum, 5(1), 76-114.

Van Leeuwen, T. (1999). Speech, Music, Sound. London: Macmillan Press Ltd.

Van Leeuwen, T. (2000). Visual Racism. In M. Reisigl & R. Wodak (Eds.), The Semiotics of Racism: Approaches in Critical Discourse Analysis (pp. 333-350). Vienna: Passagen Verlag.

Van Leeuwen, T. (2003). A multimodal perspective on composition. In T. Ensink & C. Sauer (Eds.), Framing and Perspectivising in Discourse (pp. 23-61). Amsterdam/Philadelphia: John Benjamins.

Van Leeuwen, T. (2005). Introducing Social Semiotics. London/New York: Routledge.

Van Leeuwen, T. (2008a). Discourse and Practice: New Tools for Critical Analysis. London: Oxford University

Van Leeuwen, T. (2013). Critical Analysis of Multimodal Discourse. In C. Chapelle (Ed.), Encyclopedia of Applied Linguistics. Oxford: Wiley-Blackwell (Area Editor: Sigrid Norris).