Cara Membuat Pos Tagger Sederhana Python

Halo Sobat Sederhana! Pada artikel ini, kita akan membahas cara membuat pos tagger sederhana menggunakan bahasa pemrograman Python. Pos tagger adalah alat yang digunakan untuk mengidentifikasi setiap kata dalam teks dan menandai jenis kata tersebut, seperti kata benda, kata kerja, kata sifat, atau kata keterangan. Dengan menggunakan pos tagger, kita dapat memproses teks secara lebih cepat dan efisien. Yuk langsung saja kita mulai!

Persiapan

Sebelum memulai, ada beberapa hal yang perlu dipersiapkan:

1. Python 3.0 ke atas sudah terpasang di komputer
2. Modul Natural Language Toolkit (NLTK) sudah terpasang di Python
3. Teks yang akan diproses

Apabila belum memenuhi persyaratan tersebut, Sobat Sederhana perlu menginstal Python terlebih dahulu dan modul NLTK. Python dapat diunduh di https://www.python.org/downloads/, sedangkan NLTK dapat diunduh melalui perintah pip di command prompt atau terminal: pip install nltk.

Tokenisasi

Sebelum memproses teks, kita perlu membagi teks menjadi bagian-bagian kecil yang disebut token. Tokenisasi adalah proses membagi teks menjadi token. Di sini, kita akan menggunakan modul NLTK untuk melakukan tokenisasi.

Berikut adalah contoh kode untuk melakukan tokenisasi:

import nltk #menyiapkan teksteks = "Ini adalah contoh teks. Teks ini akan diolah." #membuat tokentoken = nltk.word_tokenize(teks) #print tokenprint(token)

Pada contoh kode di atas, kita mengimport modul NLTK dan menyiapkan teks yang ingin diproses. Kemudian, kita menggunakan fungsi word_tokenize() untuk melakukan tokenisasi. Hasil tokenisasi kemudian dicetak menggunakan fungsi print(). Sobat Sederhana dapat mencoba kode di atas untuk melihat hasil tokenisasi.

POS Tagging

Setelah melakukan tokenisasi, kita perlu menandai jenis kata pada setiap token. Di sini, kita akan menggunakan modul NLTK untuk melakukan pos tagging.

Berikut adalah contoh kode untuk melakukan pos tagging:

import nltk #menyiapkan teksteks = "Ini adalah contoh teks. Teks ini akan diolah." #membuat tokentoken = nltk.word_tokenize(teks) #melakukan pos taggingpos_tag = nltk.pos_tag(token) #print pos taggingprint(pos_tag)

Pada contoh kode di atas, setelah melakukan tokenisasi, kita menggunakan fungsi pos_tag() untuk melakukan pos tagging. Variabel pos_tag akan berisi pasangan token dan jenis kata. Hasil pos tagging kemudian dicetak menggunakan fungsi print().

Memperbaiki POS Tag

Kadang-kadang, pos tagging yang dihasilkan modul NLTK dapat mengalami kesalahan. Oleh sebab itu, kita perlu memperbaiki pos tagging secara manual. Di sini, kita akan membahas cara memperbaiki pos tagging untuk kata yang digunakan ganda dalam kalimat.

Berikut adalah contoh kode untuk memperbaiki pos tagging:

import nltk #menyiapkan teksteks = "Saya suka makan nasi goreng. Nasi goreng ini sangat pedas." #membuat tokentoken = nltk.word_tokenize(teks) #melakukan pos taggingpos_tag = nltk.pos_tag(token) #memperbaiki pos taggingfor i in range(len(pos_tag)):if pos_tag[i][0] == "nasi":pos_tag[i] = ("nasi", "NN") #print pos taggingprint(pos_tag)

Pada contoh kode di atas, setelah melakukan tokenisasi dan pos tagging, kita menggunakan perintah for untuk mencari kata “nasi” pada setiap token dan mengubah jenis kata menjadi “NN”. Variabel pos_tag yang telah diperbaiki kemudian dicetak menggunakan fungsi print().

Menggunakan Corpus

Selain menggunakan modul NLTK untuk melakukan pos tagging, kita juga dapat menggunakan corpus untuk melakukan pos tagging. Corpus adalah kumpulan teks yang telah diberi label jenis kata.

Berikut adalah contoh kode untuk melakukan pos tagging menggunakan corpus:

import nltk #menggunakan corpusfrom nltk.corpus import brown #melakukan pos tagging pada kalimat pertamakalimat = brown.sents()[0]jenis_kata = brown.tagged_sents()[0] #print hasil pos taggingprint(nltk.pos_tag(kalimat, tagset='universal'))

Pada contoh kode di atas, kita menggunakan corpus yang disediakan oleh NLTK, yaitu corpus Brown. Kita menggunakan fungsi sents() untuk memilih satu kalimat dari corpus dan fungsi tagged_sents() untuk memilih satu kalimat yang telah diberi label jenis kata. Setelah itu, kita menggunakan fungsi pos_tag() untuk melakukan pos tagging pada kalimat tersebut dengan memasukkan parameter tagset='universal'. Hasil pos tagging kemudian dicetak menggunakan fungsi print().

Menggunakan Model Bahasa

Selain menggunakan modul NLTK dan corpus, kita juga dapat menggunakan model bahasa untuk melakukan pos tagging. Model bahasa adalah algoritma yang dibuat berdasarkan data teks yang telah dilabeli jenis kata dengan tujuan untuk memprediksi jenis kata pada teks yang tidak dilabeli.

Berikut adalah contoh kode untuk melakukan pos tagging menggunakan model bahasa:

import nltk #menggunakan model bahasafrom nltk.tag import UnigramTagger #menyiapkan teksteks = "Ini adalah contoh teks. Teks ini akan diolah." #membuat tokentoken = nltk.word_tokenize(teks) #membuat data trainingdata_training = nltk.corpus.brown.tagged_sents() #membuat model bahasamodel = UnigramTagger(data_training) #melakukan pos taggingpos_tag = model.tag(token) #print hasil pos taggingprint(pos_tag)

Pada contoh kode di atas, kita menggunakan modul UnigramTagger dari NLTK untuk membuat model bahasa. Pertama-tama, kita mengimport modul UnigramTagger dan membuat token dari teks yang akan diproses. Kemudian, kita menggunakan corpus Brown sebagai data training untuk membuat model bahasa. Setelah itu, kita menggunakan model bahasa untuk melakukan pos tagging pada teks yang dihasilkan oleh tokenisasi. Hasil pos tagging kemudian dicetak menggunakan fungsi print().

Menyimpan Model Bahasa

Jika kita telah membuat model bahasa yang baik, kita dapat menyimpannya untuk digunakan di kemudian hari tanpa perlu membuat model baru. Di sini, kita akan membahas cara menyimpan model bahasa dalam bentuk file.

Berikut adalah contoh kode untuk menyimpan model bahasa:

import nltk #menggunakan model bahasafrom nltk.tag import UnigramTagger #membuat data trainingdata_training = nltk.corpus.brown.tagged_sents() #membuat model bahasamodel = UnigramTagger(data_training) #menyimpan model bahasa dalam filemodel_file = open('pos-tagger.pkl', 'wb')pickle.dump(model, model_file)model_file.close()

Pada contoh kode di atas, kita menggunakan modul pickle untuk menyimpan model bahasa ke dalam file. Kita membuat objek file dengan nama pos-tagger.pkl, kemudian menggunakan fungsi dump() untuk menyimpan model ke dalam file. Setelah itu, kita menutup objek file menggunakan fungsi close().

Menggunakan Model Bahasa yang Disimpan

Jika kita telah menyimpan model bahasa dalam bentuk file, kita dapat menggunakan model tersebut di kemudian hari tanpa perlu membuat model baru. Di sini, kita akan membahas cara menggunakan model bahasa yang telah disimpan.

Berikut adalah contoh kode untuk menggunakan model bahasa yang telah disimpan:

import nltkimport pickle #membuka file model bahasamodel_file = open('pos-tagger.pkl', 'rb')model = pickle.load(model_file)model_file.close() #menyiapkan teksteks = "Ini adalah contoh teks. Teks ini akan diolah." #membuat tokentoken = nltk.word_tokenize(teks) #melakukan pos taggingpos_tag = model.tag(token) #print hasil pos taggingprint(pos_tag)

Pada contoh kode di atas, kita membuka file yang berisi model bahasa yang telah disimpan dengan menggunakan modul pickle. Kemudian, kita menggunakan model bahasa tersebut untuk melakukan pos tagging pada teks yang dihasilkan oleh tokenisasi. Hasil pos tagging kemudian dicetak menggunakan fungsi print().

FAQ

Kesimpulan

Pos tagger adalah alat yang sangat berguna dalam pemrosesan teks. Dengan mengikuti langkah-langkah di atas, Sobat Sederhana dapat membuat pos tagger sederhana menggunakan bahasa pemrograman Python. Walaupun pos tagger yang dihasilkan tidak sempurna, namun dapat memberikan hasil yang cukup akurat untuk keperluan pemrosesan teks.

Semoga Bermanfaat dan sampai jumpa di artikel menarik lainnya.

Cara Membuat Pos Tagger Sederhana Python