Basic Text Preprocessing menggunakan NLTK

Case Folding, Tokenizing, Filtering & Stemming

sumber [link]

Hello, dikesempatan kali ini kita akan coba bahas topik tentang Natural Language Processing (NLP). Pada bidang NLP, informasi yang akan diolah perlu dilakukan preprocessing data untuk menghasilkan data yang lebih terstruktur. Hal ini bertujuan agar saat proses pengolahan NLP dapat berjalan dengan baik. Preprocessing pada NPL disebut dengan test preprocessing, dalam tahap ini akan dilakukan beberapa teknik diataranya, Case Folding, Tokenizing, Filtering & Stemming [1].

Text preprocessing meggunakan Library NLTK (Natural Language Tool Kit). NLTK merupakan python library yang sangat powerfull untuk digunakan dalam pemrosessan human language data. Memberikan kemudahan interfacing ke lebih dari 50 corpora dan lexial resources[2].

Prerequisites

• Laptop terinstal Anaconda + Jupyter Notebook, dapat ditemukan di tutorial berikut.

#4 Alat dan Bahan untuk Machine Learning

• Memahami dasar pemrograman python, kita juga dapat mempelajarinya dari link berikut.

#5 Basic Python Programming

• Install library NLTK melalui Anaconda Prompt,

conda install nltk

Download NLTK Package

• Test hasil install, buka Notebook Baru beri nama “Preprocessing” , import library NLTK dan download package NLTK dengan cara berikut,

import nltk
nltk.download()

Notebook ‘Preprocessing’

Setelah itu akan muncul NLTK downloader , klik download dan tunggu sampai prosess selesai,

NLTK Downloader

Text Preprocessing

Sekarang kita akan coba implementasikan NLTK untuk text preprocessing. Proses preprocessing ini meliputi (1) case folding, (2) tokenizing, (3) filtering, dan (4) stemming.

Case Folding

Case Folding adalah tahap untuk konversi text menjadi suatu bentuk yang standar. Pada tahap ini biasanya dipilih lowercase untuk membuat huruf kapital menjadi lowercase [3]. Contoh sederhana,

Text input :

Pemerintah mnerapkan PSBB untuk menangani Virus Corona.

hasil Case Folding akan menjadi :

pemerintah menerapkan psbb untuk menangani virus corona.

implementasinya pada python tidak perlu menggunakan library NLTK, cukup menggunakan fungsi .lower() ,

result pada jupyter notebook,

Tokenizing

Pada tahap ini, text yang telah melewati tahap Case Folding akan dilakukan proses pemecahan perkata menggunakan fungsi .word_tokenize() pada library NLTK. Selain itu pada tahap inijuga akan dilakukan proses removing number, whitespace dan puctuation (tanda baca).

• Removing number, akan menggunakan fungsi re.sub(pattern, replace_string, string) untuk replace angka dengan “” ada library re (regex) menggunakan pattern \d+ . Dimana \d untuk matching digit (0–9) dan + sebagai quantifier untuk menemukan 1 atau lebih matching \d . Sehingga penggunaanya akan seperti berikut, re.sub(r"\d+", "", "H3llo") yang akan menghasilkan Hllo .
• Removing punctuation, akan menggunakan fungsi .translate() yang akan memetakan teks kedalam character yang sesuai pada mapping table .maketrans() . untuk mengganti sting.punctuation berupa (!”#$%&\’()*+,-./:;<=>?@[\\]^_`{|}~) dengan "" .
• Removing whitespace, akan menggunakan fungsi .strip() untuk menghapus whitespace leading dan trailing, dan menggunakan fungsi regex substraction re.sub(pattern, replace_string, string) dengan pattern \s+ untuk matching whitespace dengan quantifier matching 1 atau lebih whitespace.

Berikut adalah implementasinya pada python,

result pada jupyter notebook,

selanjutnya kita bisa menghitung jumlah kemunculan tiap kata pada text yang kita proses menggunakan fungsi .freqDist() pada library NLTK, dan melihat hasilnya dengan menggunakan method .most_common() , sehingga implementasinya pada python menjadi seperti berikut,

result pada jupyter notebook,

Kita akan memvisualisasikan freq_tokens menggunakan library Pandas. Terlebih dahulu kita convert freq_tokens dictionary ke Pandas Dataframe dengan menggunakan fungsi pd.DataFrame.from_dict() dengan parameter orient='index' akan menjadikan key pada dictionary menjadi row Dataframe. Setelah itu gunakan fungsi .plot() dengan kind='bar' untuk plot dataframe kedalam bar plot,

resut pada jupyter notebook,

grafik dataframe frequency tokens dengan key sebagai row

jika kalian tertarik memahami lebih jauh library Pandas, dapat diikuti ditulisan berikut,

Python Data Science : Pandas — Part 1

Python Data Science : Pandas — Part 2

Python Data Science : Pandas — Part 3

Filtering (Stopword Removal)

Filtering bertujuan untuk mengambil kata-kata penting pada tokens yang dihasilkan oleh proses sebelumnya. Kata umum yang biasanya muncul dalam jumlah besar dan dianggap tidak memiliki makna disebut Stopword. Contoh stopword dalam bahasa Indonesia adalah “yang”, “dan”, “di”, “dari”, dll [1].

Kita akan coba gunakan fungsi .stopword() pada library NLTK untuk mendapatkan list Indonesian stopwords. Berikut adalah list Indonesian stopword yang dihasilkan fungsi .stopword() ,

berikut adalah implementasinya pada python,

result pada jupyter notebook,

jika kita perhatikan hasil filtering tersebut dan bandingkan dengan freq_tokens sebelumnya, kata sebelumnya, kasus, positif, pada, sebanyak, jumlah, di, ada, dan telah dihilangkan karena termasuk Stopword.

Stemming

Tahap ini akan menghilangkan suffix dan prefix pada token/kata (reduce inflected), sehingga sebuah kata yang memiliki suffix maupun prefix akan kembali kebentuk dasarnya, contohnya :

kesembuhan : sembuh
pertolongan : tolong
membersikan : bersih

Pada library NLTK sudah tersedia algoritma untuk proses stemming, mulai dari ,

• Porter algorithm
• Lancester algorithm
• WordNet Lemmatizer algorithm
• SnowBall algorithm

namun sayangnya belum mensupport bahasa indonesia, berikut adalah implementasinya pada bahasa inggris,

untuk kebutuhn stemming dalam bahasa Indonesia, maka kita akan gunakan library Sastrawi yang dapat diinstall melalui pip ,

pip install Sastrawi

Sastrawi merupakan hasil porting dari library Sastrawi PHP . Penggunaanya pada python, sebagai berikut,

result pada jupyter notebook,

dari hasil Stemming menggunakan library Sastrawi, kita dapat melihat bahwa kata meninggal dikembalikan kebentuk dasarnya menjadi tinggal .

Sampai tahap ini kita sudah melakukan text preprocessing menggunakan library NLTK mulai dari Case Folding, Tokenizing, Filtering sampai Stemming menggunakan library Sastrawi. Selanjutnya akan coba dilakukan contoh realcase text preprocessing untuk data hasil crawling twitter API, penerapanya tentusaja akan menggunakan Pandas, NLTK dan Sastrawi.

Sekian untuk tulisan kali ini,

Terima Kasih.

Sumber :

1. https://medium.com/@ksnugroho/dasar-text-preprocessing-dengan-python-a4fa52608ffe
2. https://www.nltk.org/ (Bird, Steven, Edward Loper and Ewan Klein (2009), Natural Language Processing with Python. O’Reilly Media Inc.)
3. https://informatikalogi.com/text-preprocessing/
4. https://pypi.org/project/Sastrawi/
5. https://www.nltk.org/howto/stem.html
6. https://devtrik.com/python/text-preprocessing-dengan-python-nltk/