Data Engineer, Pekerjaan Bergaji Fantastis

Data Engineering seringkali dianggap sama dengan Data Science. Namun para ahli menyatakan kedua bidang ini memiliki perbedaan yang jelas.

Secara simpelnya, data engineer adalah seseorang yang membuat arsitektur manajemen data baik berupa database, data warehouse ataupun sistem pemrosesan data berskala besar.

Sedangkan data scientist adalah yang memproses dan mengolah data berskala besar tersebut.

Kerja sebagai seorang data engineer juga sama seperti pekerjaan lainnya, memiliki sisi menyenangkan dan kesulitannya.

TechforID berkesempatan berbincang dengan Zaky Rahim yang sudah cukup lama bergelut di bidang IT, khususnya data engineer. Mari simak ceritanya.

Boleh diceritakan, gambaran pekerjaan mas Zaky sebagai data engineer?

Sebenarnya saya main di IT sudah lama. Sudah 10 tahun, walaupun umurnya sudah segini dari segi pengalaman saya sudah bisa buy account. Walaupun sekarang sudah bisa main-main client.

Kalau boleh saya mengklaim sebenarnya saya sudah 20 tahun berpengalaman di bidang IT. Saya sudah mulai bekerja di tingkat 2 kuliah. Saya juga pernah bikin buku tentang sound effect, after effect, animasi segala macam.

Akhirnya keluar loncat-loncat perusahaan mulai digaji dari sangat kecil tapi saya kira itu adalah invesmentnya. Teman-teman saya juga semuanya setuju yang namanya karir itu mesti dibangun dari bawah, dan mereka juga pernah dibayar murah jauh dari harga pasar.

It’s okay, as long as technology yang mereka punya adalah teknologi yang mereka inginkan. Ada beberapa teman saya dari awal sejak inception ada Iphone itu dia sudah terjun duluan. Sekarang baik dari pengalaman angkanya udah mencapai 7 sampai 8 tahunan karena mereka memang sudah dari awal disitu.

Tempat Kursus Komputer Terbaik | Digital Marketing, Programming, SEO, Dll.

Saya sendiri selama ini mulai merintis karir melalui loncat-loncat start up mulai 5 kali diberhentikan karena gagal, 3 kali dipecat gara-gara masalah politis, 2 kali dipecat gara-gara perusahaannya roboh dan dapat pesangon lalu diberhentikan begitu saja.

Sekitar dua tahunan lalu saya join dengan beberapa teman yang perusahaannya ini International, punya kantor 4 cabang, Bengalor, Singapura, Malaysia, Kuala Lumpur, Jakarta, dan itu sudah tumbang, dan itu pertama kali saya meniti karir di data engineering.

Menurut Mas Zaki bagaimana peluang jadi seorang data engineer kedepannya?

Jadi sekarang yang paling menarik, semua orang membuat aplikasi. Bank pindah ke aplikasi. Apapun tidak ada yang tidak pindah ke aplikasi. Disitu ada yang namanya data flowing yang semuanya berbasis digital.

Kalau kita lihat di wilayah pemerintahan zaman dulu semuanya berbentuk berkas untuk pak Lurah. Tapi sekarang everything itu adalah data digital, karena data digital itu mudah untuk diketik, di tulis, dan enak untuk dibagikan.

Seperti dari sisi pembayaran, mungkin di masa yang akan datang 3 atau 5 tahun ke depan tidak ada lagi yang namanya uang kertas. Karena semua orang sudah punya cash card, everyone memakai itu, dan semua bisa dilakukan buat pembayaran. Nicenya adalah “tau gak kenapa kalo kita beli Xiaomi murah?” karena datanya itu bisa diblock.

Jadi sebenarnya apa yang dilakukan Xiaomi ialah adalah jualan data, dan sebenarnya data ini, kalo bener datanya itu bakalan jadi aset yang sangat besar harganya. Sehingga kedepannya data ini akan lebih besar lagi jumlahnya.

Perusahaan lebih pusing mengurusnya, sehingga kalau misalnya mau kasih impact data engineering adalah salah satu powernya. Karena sekarang ini orang statistik itu terbiasa dengan sampel-sampel data. Tapi sebagian dengan adanya evaluasi, service-service yang baik, maka data itu akan jauh lebih banyak.

Zaman sekarang ini orang melakukan namanya edukasi. Edukasi adalah apa hubungan antara design yang dibuat oleh orang US dengan behavior orang, dimana caranya kita tau yaitu melalui recording. Kalau misalkan usernya dari Gojek sendiri satu juta pengguna dari sisi literasi, ratusan juta dari pengguna dari sisi orang yang pakai, ini tentu datanya harus diurus.

Cerita dari pengalaman saya ketika masih kerja di kantor yang satu ini, tapi sekarang sudah tutup. Teman-teman saya tidak empower busy, teman-teman saya ada disitu sebagai functional programming. Saya pernah coba data 30 GB sehari. Infrastruktur disitu sebelumnya itu tidak bisa berbuat apa-apa, menarik datanya itu sampai setengah hari belum diolah, hanya tarik saja.

Yang jadi problem adalah orang marketing, biaya kerjanya cepat.  Saat itu dia punya ide. Saat itu juga dia minta record, graphic dan segala macam. Ya tidak bisa karena tarik data saja butuh setengah hari. Di Athena aja speed dari yang setengah hari bisa sampai 2 menit saja dengan data yang sama.

Kemudian Pak tantangan yang dihadapi oleh data engineer?

Di SQL itu ada fungsi yang namanya count untuk menghitung jumlah row yang ada didalam kolom dan bisa dilakukan sangat mudah, but itu bisa menjadi masalah besar bagi data yang cukup besar. Bahkan dari data sebesar 400 terabyte kita butuh kebenaran untuk mengecek jumlah user yang ada.

Serta cara mengecek user yang ada dan user yang terdaftar dalam aplikasi kita dengan cara mengecek dua sisi, nah bagamana cara kita balancing itu mengecek dari dua sisi yang berbeda pada saat kita check ada gap sebesar 300 ribu row. Nah itu sangat berpengaruh dan tidak bisa menentukan seberapa besar market kita.

Kemudian di data engineering ada belajar bahasa pemrograman?

Tentu saja Pak. Kita bisa apa tanpa bahasa pemrograman kita tidak mungkin count satu-satu. Kita butuh bahasa pemrograman biar kita bisa bekerja lebih efisien. Nah yang kami pakai sebenarnya di bidang data sendiri ada banyak yang prospeknya bagus dari arah JCM, P-I dan SQL itu sebuah kewajiban, Bapak pergi kemana saja wajib pake SQL.

Jadi misalkan dari prospek manapun, itu ujung-ujungnya recording data, dan SQL ini lebih prefer dia tersedia dimana- mana jadi dia wajib dipelajari. Tapi misalkan pure di wilayah data enginering maka JCM, lebih rumit. Soalnya notifnya dibangun. Tapi kalau ingin koneksi wilayah P-I sebaiknya pakai Python. Python itu mulai dari packing data, visualisasi data, masuk ke data science dan segala macam.

Kalau di data engineering menggunakan aplikasi atau tools tidak pak?

Kalau tanpa tools kita bisa apa. Jadi, aplikasi yang paling banyak digunakan adalah ada beberapa pekerjaan besarnya itu di wilayah data engineering itu ada yang namanya ITL, kegunaannya bisa mengambil data dari beberapa source dan digabungkan di dalam satu storage.

Urusan storage ini juga masalah besar dan bagaimana caranya data besar ini bisa disimpan sebesar 400 terabyte sehari. Itu masalah teman saya di Sidney, dan di Malaysia. Source dan platformnya tergantung apa yang digunakan, tapi apabila menggunakan cloud memakai xtre,  kalau misalkan bikin sendiri kemungkinan besar jatuhnya pakai ITL.

Bisa beri gambaran bagaimana kerjaan data engineering itu Pak ? Dari pagi, siang, sore?

Pekerjaan seperti ini kita menentukan, atau memprediksi berapa jumlah storage yang kita butuhkan pada bulan depan. Dan itu sebuah pekerjaan, kita harus tau statistiknya juga yang akan digunakannya sebesar apa, lalutoolsnya apa, dan penggunaan aplikasi tipe apa yang kita handle ini.

Sebenarnya ada beberapa aplikasi yang bisa digunakan misalnya Realtime. Misalnya di Twitter ada count-count yang dipakai perdetik dan kita tidak bisa menunggu tiga jam atau berhari-hari. Dan dari segi aplikasi pun kita harus tau behaviornya seperti apa.

Sehingga treatment di data engineering ini ada. Seharusnya ada dua pekerjaan yang dilakukan, pertama blade processing yaitu mengolah data disuatu tempat dan melakukan statistik terhadap data-data tersebut. Misalnya maksimumnya berapa minimumnya berapa, dan variannya berapa.

Standar deviasinya berapa dan realtime streaming, misalkan jumlah user yang sedang online. Capacity planing itu masuk ke wilayahnya kita, mencoba infrastruktur baru termasuk wilayah kita, mempersiapkan data.

Problem yang sering dihadapi data engineering apa Pak yang sering muncul ?

Ada, kita pakai tools A ketika implementasi si data berkembang sangat pesat dan sourcenya tidak lagi memenuhi kebutuhan kita. Disitu terjadi masalah. Kemudian pengembang apikasi baru kita, dalam mencocokkan server yang berbentuk tabulasi.

Lalu bagaimana caranya kita bisa tidur nyenyak setiap second data ini terus flowing sehingga kita melakukan automasi yaitu isu utama yang beredar di wilayah data engineering, tapi problemnya yaitu yang paling utama, susah tidur.

Bisa jelaskan industri-industri apa saja yang menggunakan data engineering?

Almost semua industri, kecuali industri musik yang sudah mulai stabil. Semua orang pergi ke industri provider. Jadi bagaimana cara setiap industri, mesinnya terkoneksi dengan internet, kemudian sensorik itu, kemudian dicari segala macam datanya. Kedua, service yang menggunakan teknologi, seperti Traveloka dan penggunaan data-data matriks terhadap perusahaan tertentu

Kalau boleh tau Pak range gaji data engineer itu berapa?

Yang pasti 2 digit Pak dari mulai 40 sampai 60. Tapi kalo masuk level Google mulai dari 92 ribu dolar sampai 120 ribu dolar Amerika.

Apakah untuk jadi data engineer wajib kuliahnya jurusan IT?

Tidak, tapi dia kalo punya passion dengan data mungkin bisa. Dan semua orang bisa mengerjakan kalau mereka sudah senang atau suka dengan data yang banyak. Jika memiliki kapasitas cara berpikir yang bagus walaupun anak daerah tidak masalah.

Ada juga yang berawal dari penjaga warnet dia mulai dari startup kecil seperti yang punya Tokopedia sekarang. Saya juga pernah ketemu orang Indonesia yang meraih penghargaan dunia 3 kali yang basicnya dari penjaga warnet. Intinya semua orang bisa kalau sudah punya passion di bidang data engineering.

 Bisa diceritakan Pak pengalaman paling susah di data engineering itu?

Pengalaman paling susah itu bukan dari sisi technical melainkan adalah bagaimana cara kita ngobrol ke orang itu susah sekali. Apalagi orang berbeda bahasa dan karakternya. Kita bicara ke orang untuk menyelesaikan masalah kita malah mereka yang memperumit masalah kita.

Kita cari data engineer itu, yang baik dan enak diajak untuk kerja di perusahaan. Dari problem paling susah itu berasal bukan dari sisi technical melainkan dari segi karakter atau softskill seseorang untuk membangun kerjasama di sebuah perusahaan, itu menurut saya.

Ada saran  bagaimana untuk data engineering lainnya jika saat- saat buntu Pak?

Pantang menyerah. Jangan menyerah di saat stuck, jadi spiritnya yang harus ada dalam diri seseorang, dan harus terus menggali level-level tertentu sampai titik penghabisan. Juga terus menggali potensi diri sedalam-dalamnya. Jika belum ada spirit itu di dalam dirinya, mohon maaf. Karena semua orang besar butuh determinasi.

Jika bisa flashback ni pak dimasa- masa training atau masa-masa kursus dulu dibidang apa sih yang harus dikuasai untuk menjadi seorang data engineering?

Matematika dan Statistika. Jadi begitu masalah besar itu yang sangat dibutuhkan adalah teknik-teknik yang bisa estalasi yang luar biasa yang bisa didapat di Matematika. Jika kita memiliki dasar yang bagus, kita tidak lagi menjadi bangsa yang konsumtif.

Kita ini yang memproduksi untuk dunia luar. Data engineering itu dibutuhkan kalau datanya sudah ada. Disitulah Anda mulai membuat berbagai macam ragam kegiatan yang dibikin smooth diakhir hari jika data terkumpul ya data itu yang digunakan. Behind dari situ, mereka tidak tahu.

Pelajaran yang diharapkan untuk ada dikampus untuk membantu data engineering kedepannya ?

Matematika dan Statistika. Saya sangat menggaris bawahi, karena mereka sangat-sangat mengajarkan teknologi sebenarnya di kampus-kampus besar seperti sekarang. Mereka memang benar-benar menerapkan, memperbagus dasar terlebih dahulu. Tapi kalau Bapak mengajakan hanya Adobe, besok juga selesai.

Yang terlekang hanya sebuah sistem. Kita perlu mengajari dasar – dasar yang bisa menguatkan basicnya. Sebenarnya kita harus sangat – sangat bisa mengenai hal yang dasar dulu. Bukan hanya karena proyeksi pekerjaan kedepannya materi itu disesuaikan, melainkan harus basic dari bahasa pemrograman itu sendiri yang harus dan sering diperkuat untuk menciptakan aplikasi yang bisa menerima data yang cukup besar. Dan aplikasinya tetap kompatibel untuk kedepannya.

Saya rasa tidak semua kampus mengajarkan itu. Menurut saya kurang elok kalo kampus tidak memperkuat dasarnya. Indonesia ini mempunyai program digital economicnya terus bertambah. Yang jadi masalah, edukasi tentang dasar itu untuk memperkuat digital economic tersebut.

Kemudian kita harus mempunyai pusat riset sendiri supaya tidak terus tergantung dengan negara luar. Itu yang harus digaris bawahi oleh kampus tentang isu besar yang harus dibenahi. Banyak teman-teman di luar sana yang ketika berada di dunia kampus setelah di D.O mereka survive dan mereka bisa karena apa? Karena skill dasar mereka, self learner.

Zaman sekarang database itu sudah banyak sekali dan kita tidak boleh berhenti belajar untuk menciptakan generasi database baru untuk kedepannya. Salah besar kalau mereka tidak mau belajar lagi karena sudah terlalu banyak data base.

Dunia IT ini bersifat sangat universal tidak ada satu pun orang yang betul-betul memahami IT itu sendiri. Termasuk data engineering itu sendiri, dan ini bukan lama sudah terjadi, baru sekitaran tahun 2011 atau 2014 masalah yang dihadapi oleh dunia luar.

Jika bisa memilih partner kerja atau team kerja bisa sebutkan pak 3 keahlian yang harus dimiliki oleh partner kerjanya pak ?

1. Dia tau bagaimana dia belajar dalam mencocokkan aplikasi, bagus atau tidak bagus. Memiliki manajemen kerja yang baik terhadap suatu produk data, biasanya penguasaan LINUX paling diutamakan.

2. Basic programmingnya harus bagus, bahasa menurut saya tidak masalah karena dia bisa belajar lagi.

3. Proses positioningitu paling penting dalam data engineering.

Ini pertanyaan agak pribadi sedikit pak, punya sisi lain tidak selain di master data engineering? contoh misalkan traveling, atau yoga, anime?

Banyak pak banyak sekali, saya merasa kalau kita hidup di suatu tempat saja, berada di satu sisi yang sama, kita tidak bakalan kemana-kemana. Dan juga untuk menghadapi masa depan yang unpredictable. Misal kita hanya berharap kalau kita jadi PNS, itu tidak akan bisa.

Jika sudah diangkat menjadi PNS atau TNI-POLRI kita tidak bisa santai-santai saja. Kita harus tetap terus belajar. Kita harus bisa menjadi orang yang serba bisa di setiap keadaan. Sekarang saya lagi senang di wilayahnya art.

Saya memperhatikan hip-hop di indonesia. Ternyata kalau kita kait-kaitkan dengan yang sedang kita kerjakan sekarang dia mengeluarkan single dari berbagai macam bahasa. Mulai dari Mandarin, Inggris, hingga Jawa.

Kesamaannya mereka bermain-main dengan kata, bahasa, dan nada, sedangkan saya bermain dengan bahasa, metafora, perubahan bentuk data yang universal. Dan mereka mengeluarkan karya yang menginspiring people dengan cara membuat beat-beat yang enak, menarik untuk didengar.

Menurut saya itu sangat luar biasa. Saya juga bergerak di bidang bisnis, saya juga punya grand vision bahwa kita harus memulai bisnis dari kita sendiri, bukan karena kita ikut seminar- seminar mahal lalu kita jadi sukses, itu tidak menjamin.