...
Tahap ketiga pre-processing adalah tokenizing atau pemecahan kalimat menjadi potongan kata (token) dan menghilangkan tanda baca. Pada tabel 5 adalah hasil dari tokenizing.
Tabel 5. Hasil Tokenizing
No
Headline
Label
1.
‘protest’,  ‘shuts’, ‘down’, ‘cleveland’, ‘airport’, ‘entrances’
2.
‘this’, ‘rabbi’, ‘wants’, ‘the’, ‘immoral’, ‘dickheads’, ‘foundation’, ‘to’, ‘kill’, ‘children’, ‘and’, ‘women’
-1
3.
Beri Komentar
Belum ada komentar. Jadilah yang pertama untuk memberikan komentar!