Last Updated on February 17, 2022 by

Siapa bilang bahwa framework hanya digunakan untuk membangun sebuah website atau aplikasi saja? Rupanya ada sebuah teknologi framework yang dapat digunakan untuk mengolah big data, lho.

Framework Hadoop adalah framework yang dapat dipakai untuk melakukan beragam bentuk pengolahan big data. Sudahkah Anda pernah mendengar nama Hadoop sebelumnya?

Jika belum, maka tidak perlu risau. Artikel edisi kali ini akan mengupas tuntas seputar Hadoop. Penasaran ingin tahu lebih banyak apa itu Hadoop dan cara kerjanya? Mari lanjutkan scroll ke penjelasan berikut ini untuk mengetahui peranan Hadoop dalam pengolahan komputasi khususnya untuk distribusi big data. Selamat membaca!

Framework Hadoop Adalah Jawaban untuk Komputasi Big Data

Saat ini, kita sudah berada di era big data atau mega data. Di setiap detiknya, ada begitu banyak data-data yang masuk dan diterima oleh sebuah server. Saking banyaknya jumlah dan ragam data tersebut, maka kita perlu memakai solusi paling efektif untuk menjalankan komputasi big data. Sebab, sangat mustahil bagi kita untuk menjalankan komputasi big data tanpa bantuan alat khusus.

Kabar bagusnya, para ahli IT sudah menemukan jawaban untuk permasalahan tersebut. Framework Hadoop adalah solusinya. Namun apa itu Hadoop?

Hadoop adalah framework untuk mengolah big data. Tujuan penggunaan Hadoop teknologi adalah untuk mengerjakan komputasi terdistribusi big data dengan lebih mudah. Framework ini juga dapat digunakan oleh siapa saja, sebab Hadoop adalah teknologi berbasis open source.

Saat ini, Hadoop teknologi adalah framework yang ditulis dengan Java, otomatis, menjadi sebuah kabar bahagia untuk Anda yang menguasai bahasa programming Java. Sementara untuk persoalan lisensi, lisensi Hadoop teknologi adalah di bawah naungan Apache.

Hadoop adalah teknologi yang dibuat untuk memudahkan pengolahan big data. Dirilis pertama kali di tahun 2005 oleh duo Mike Cafarella dan Doug Cutting, Hadoop sampai saat ini masih ramai dipergunakan dalam dunia pengolahan mega data khususnya bagi perusahaan internet dan teknologi ternama seperti Yahoo dan Google.

Uniknya, nama Hadoop adalah nama yang diambil dari mainan gajah-gajahan milik anak Doug, begitu pula dengan logonya yang berupa gajah kecil berwarna kuning.

Contoh implementasi Hadoop banyak dijumpai pada perusahaan IT besar seperti Google, Yahoo, Microsoft, dan lain sebagainya. Pada prakteknya, contoh implementasi Hadoop adalah pada proses komputasi terdistribusi mega data, di mana data berukuran besar akan terbagi secara efisien menjadi potongan-potongan task yang lebih kecil. Dengan begini, machine learning dan mesin pengolahan data lainnya dapat mengolah data dengan lebih mudah plus mendapat kesimpulan yang akurat.

Beberapa contoh implementasi Hadoop lainnya adalah untuk aktivitas-aktivitas seperti berikut ini:

• Melakukan read (baca) data-data secara masif.
• Mengolah file data besar.
• Proses batch data.
• Melaksanakan mekanisme pengolahan data yang kompleks seperti data warehousing, searching, data analytics dan log processing.

Sementara Hadoop tidak bisa untuk digunakan menyelesaikan tugas-tugas berikut ini:

• Mengolah file berukuran kecil yang banyak.
• Mengolah data yang bersifat low latency.
• Melakukan penulisan dan pembaharuan (write and update) data.
• Melakukan processing streaming data.

Komponen Penting Pendukung Kinerja Hadoop Framework

Untuk bisa melaksanakan kinerjanya, ada 2 komponen penting yang dimiliki oleh Hadoop framework, yakni MapReduce dan HDFS. MapReduce berperan dalam proses engine data processing, sementara HDFS berperan sebagai data storage.

MapReduce

MapReduce berperan dalam proses engine data processing. MapReduce di Hadoop juga berperan untuk melakukan proses distribusi data dengan 2 fungsi yakni Map dan Reduce. Fungsi Map dipakai untuk melakukan distribusi tugas pengelolaan data antar komputer. Kemudian, kerja dilanjutkan dengan mengurangi hasil pengelolaan data ke dalam sebuah ringkasan bernama ‘reduce’.

Secara lebih rinci, tahap-tahap pekerjaan distribusi data dalam MapReduce terbagi menjadi 4 secara berurutan yakni:

• Splitting = membagi (split) data menjadi beberapa blok.
• Mapping = memperoleh key-value dengan memproses setiap blok.
• Shuffling = setiap key dengan value yang sama akan dikumpulkan.
• Reducing = proses agregasi kepada semua pasangan key-value.

HDFS

HDFS adalah singkatan dari Hadoop Distributed File System. HDFS berfungsi untuk menyimpan data (storage) dari data-data yang sudah terdistribusi di sistem Hadoop. Sama seperti MapReducing, HDFS terdiri dari 2 elemen utama bernama Datanode dan Namenode. Datanode berfungsi menyimpan semua blok data, sementara Namenode menyimpan metadata.

Dalam kerjanya, Namenode memberi arahan dan informasi tentang replika serta penempatan metadata ke Datanode. Dengan begini, Datanode dapat menjalankan tugasnya dengan baik untuk menyimpan data di blok yang tepat.

Contoh perintah di HDFS:
hdfs dfs –ls hdfs dfs -mkdir <folder name>

hdfs dfs -copyFromLocal <local file path>

<dest(present on hdfs)>

hdfs dfs -cat <path>

hdfs dfs -copyToLocal <<srcfile(on hdfs)>

<local file dest> hdfs dfs -cp <src(on hdfs)>

<dest(on hdfs)> hdfs dfs -mv

<src(on hdfs)>

<src(on hdfs)>

Ekosistem Hadoop

Tak hanya kedua komponen di atas, Hadoop juga mempunyai ekosistem sendiri. Awalnya, Hadoop mempunyai 4 modul utama sebagai ekosistemnya yakni:

• YARN = platform resource management yang digunakan untuk proses pengelolaan resource dan schedulling di kluster.
• HDFS = sistem distribusi file dalam Hadoop.
• Common = memuat tools, utilities dan aneka library yang menunjang kinerja Hadoop.
• MapReduce = berisi model algoritma khas Hadoop untuk mengelola big data menjadi bentuk yang lebih sederhana

Akan tetapi seiring berjalannya waktu, jumlah ekosistem dalam Hadoop terus bertambah. Hal ini masuk akal mengingat Hadoop adalah software berbasis open source. Jadi, saat ini Anda bisa menemukan aneka modul Hadoop lain seperti Spark, Zookeeper, Pig, Hive, Oozie, Sqoop, Flume dan seterusnya. Anda bisa menambahkan ekosistem tersebut sesuai dengan kebutuhan kerja.

Tertarik untuk memakai Hadoop? Anda bisa mengunduh Hadoop dan menginstalnya secara gratis dari link http://hadoop.apache.org . Namun untuk bisa menjalankan Hadoop, Anda perlu memastikan bahwa komputer sudah terinstal dengan bahasa pemrograman Java. Selebihnya, Anda bisa mendapatkan tutorial langsung untuk menginstal dan menjalankan Hadoop pertama kali saat selesai mendownload software.

Ada 3 jenjs Hadoop yang berkembang di pasaran saat ini, yakni versi 1.x, 2.x dan 3.x. ukuran software ini juga tidak besar, mulai dari 64 MB sampai 128 MB saja. Pun dengan satu software kecil sederhana Hadoop ini, Anda bisa menjalankan aneka kerja pengolahan big data dengan lebih mudah.

Apabila Anda saat ini bekerja sebagai data analist atau data scientist di perusahaan berskala besar yang sudah bisa memperoleh banyak data dalam hitungan waktu, maka tidak ada salahnya untuk mencoba memakai Hadoop demi mempermudah pekerjaan Anda.

Demikianlah artikel edisi kali ini seputar perkenalan Hadoop. Kita akan berbincang-bincang lebih banyak lagi seputar framework Hadoop maupun framework lainnya pada artikel IT edisi berikutnya. Untuk itu, yuk follow website dan media sosial Appkey.id agar tidak ketinggalan informasi! Sayonara!