Hadoop Distributed File System - HDFS

-

Rangkuman dari HDFS

Nama : Muhammad Daffa Abiyyu Rahman

NRP : 6022211015


HDFS, singkatan dari Hadoop Distributed File System, adalah sebuah desain DFS yang ditujukan pada hardware komoditas dan memiliki banyak keserupaan dengan DFS lainnya. Tentunya, ada beberapa perbedaan seperti fault tolerance yang tinggi dan ditujukan pada hardware dengan biaya rendah. HDFS adalah bagian dari proyek Apache Hadoop Core dan awalnya dibuat untuk keperluan mesin pencari web bernama Apache Nutch.


HDFS dibuat dengan beberapa tujuan dan asumsi sebagai berikut:

1. Selalu beranggapan bahwasanya kegagalan hardware adalah normal, dan selalu memprioritaskan fault tolerance untuk menyesuaikan dengan bagian yang gagal.

2. Menggunakan stream untuk mengakses data, dan mengurangi batasan POSIX di beberapa tempat untuk memaksimalkan data yang diproses.

3. Selalu berasumsi bahwa himpunan data yang diproses berskala sangat besar dan sangat banyak, berukuran GB hingga TB dan satu instance bisa memproses jutaan file.

4. Menggunakan simple coherence model yang berdasarkan konsep WORM (Write-Once-Read-Many).

5. Menggerakkan proses komputasi, bukan data yang akan diproses.

6. Bersifat portabel, sehingga bisa dipindahkan dan digunakan oleh beberapa sistem yang berbeda.


Arsitektur yang digunakan dalam HDFS adalah master/slave. Untuk master sendiri menggunakan NameNode, sedangkan slave dalam arsitektur ini dinamakan DataNode. HDFS dibangun dengan bahasa Java dan memiliki Java API serta C wrapper. Penggunaan NameNode tunggal menyederhanakan arsitektur dimana NameNode bertugas menjadi arbitrator dan penyimpanan seluruh metadata di HDFS.


Namespace sistem disimpan di NameNode. Secara garis besar, Namespace yang digunakan di HDFS serupa dengan DFS tradisional. Fasilitas juga serupa dengan DFS lain seperti read, write, open, dan close. Satu hal yang menarik di HDFS adalah kemampuan replication dimana HDFS bisa menentukan berapa salinan dari sebuah file disimpan dalam sistem.


HDFS di desain dengan mempertimbangkan cluster data dengan ukuran besar. Dalam hal ini, HDFS membagi data-data ini menjadi blok dalam bentuk sequential. Blok-blok ini dapat direplikasikan untuk keperluan fault tolerance. NameNode dapat mengetahui lokasi yang bisa digunakan untuk keperluan replikasi melalui heartbeat dan block report, dimana yang pertama menginfokan apakah DataNode berfungsi normal atau tidak, sedangkan block report merincikan isi dari DataNode.


Untuk komunikasi, HDFS menggunakan TCP/IP. Klien terhubung ke port TCP milik NameNode, dan berkomunikasi dengan NameNode lewat ClientProtocol. DataNode menggunakan DataNodeProtocol untuk berkomunikasi dengan NameNode. Kedua protokol itu disimpan dalam bentuk RPC (Remote Procedure Call). NameNode tidak pernah membuat RPC dan hanya merespons ke permintaan RPC.


Untuk keselamatan sistem terhadap kegagalan, 5 hal berikut menjadi perhatian HDFS:

1. Kegagalan Disket Data, Heartbeat, dan Re-Replication

2. Cluster Rebalancing

3. Metadata Disk Failure

4. Integritas Data

5. Snapshot

Komentar

Posting Komentar

Silakan berkomentar!


Posting Iklan Promosi (kecuali promosi blog) tanpa komentar ke subjek akan dihapus.

Postingan populer dari blog ini

[HOAX] Pesan Juru Kunci

-
Ass. Wr. Wb.Tlng jangan dihapus pesan ini dari Bp KH HABIB  juru kunci gedung MEKAH Ia bermimpi ke temu Nabi MUHAMMAD Rosulullah SAW dlm mimpi itu Beliau berpesan , kuatkan Akidah dlm Ibadah. Karena dunia sudah goyang dan tua , jngn tinggalkan sholat . Tlng sebarkan pesan ini ke 20 muslim , insya ALLAH dlm wkt 10 hari kamu akan dpt rizki besar,&bila tidak di sebarkan maka kmu akan menemukan kesulitan yg tdk henti2nya (demi Allah trbukti) bagi yang non-muslim mohon maaf :) ---- CHECK : " Surat tentang peringatan terakhir Nabi masih beredar hingga kini.   Bahkan menyebar di dunia maya, melalui situs, email, atau milis. Isi wasiatnya sama: kiamat sudah dekat. Bedanya, kali ini penerima wasiatnya adalah Syekh Ahmad, juru kunci makam Nabi.  Banyak orang mempertanyakan kebenarannya. Bagi ulama besar Mesir Syekh Yusuf al-Qaradhawi, kemunculan surat wasiat ini bukan saja baru-baru ini, tetapi dia telah melihatnya sejak puluhan tahun lalu. Syekh Yusuf lalu mencari i...
Baca lebih lanjut »

Daftar Enzim Pencernaan, Letak dan Fungsi

-
A) Enzim di Mulut 1) Ptialin/Amilase Fungsi : mengubah karbohidrat menjadi maltosa B) Enzim di Lambung 1) Renin Fungsi : menggumpal kasein di dalam susu 2) Pepsin Fungsi : memecah protein menjadi pepton 3) Tripsin Fungsi : memecah pepton menjadi asam amino 4) Lipase Fungsi : memecah lemak menjadi asam lemak dan gliserol C) Enzim di Usus Halus 1) Erepsinogen Fungsi : diaktifkan menjadi Erepsin yang memecah pepton menjadi asam amino 2) Enterokinase Fungsi : mengaktifkan Erepsinogen menjadi Erepsin dan Tripsinogen dari pankreas menjadi Tripsin 3) Lipase Fungsi : memecah lemak menjadi asam lemak dan gliserol 4) Maltase Fungsi : memecah maltosa menjadi glukosa 5) Laktase Fungsi : memecah laktosa menjadi glukosa dan galaktosa 6) Sukrase Fungsi : memecah sukrosa menjadi glukosa dan fruktosa D) Enzim di Pankreas (Usus Besar) 1) Tripsinogen Fungsi : diaktifkan Enterokinase menjadi Tripsin 2)  Maltase Fungsi : memecah maltosa menjadi glukosa 3)  Laktase Fungsi : memecah laktosa menjadi ...
Baca lebih lanjut »

Typeform : Membuat Formulir dengan Mudah!

-
Assalamu'alaikum Warohmatullahi Wabarokatuh Hari ini saya akan berbagi tentang Typeform , sebuah layanan pembuat formulir gratis yang berkualitas. Typeform menyediakan berbagai fitur yang berguna untuk membuat formulir. Di antaranya : Drag and Drop : Cara mudah untuk membuat formulir. Tanpa harus susah payah, hanya dengan memindahkan kotak-kotak pembantu pembuat formulir, maka formulir pun siap. Kebebasan : Formulir adalah milik kita. Selama tidak melanggar ToS, maka Typeform akan membiarkan formulir kita terus di isi oleh orang. Ini akan sangat berguna bagi kita untuk menjaga formulir Data Terkoleksi : Tak perlu bingung mencari data hasil formulir, cukup dengan menggunakan Typeform kita bisa mengumpulkan semua hasil formulir dan menggunakan data tersebut dengan segera. Hemat Biaya : Tak perlu mengumpulkan uang untuk membeli kertas yang banyak, fotokopi dan memprint. Hanya sedikit kuota dan anda siap beraksi! :) Dan lebih banyak lagi, sebaiknya buka saja sekarang dan co...
Baca lebih lanjut »