Bangun pipeline streaming ujung ke ujung menggunakan Cetak Biru Layanan Terkelola Amazon untuk Apache Flink dengan satu klik. Pelajari selengkapnya.
Transformasi dan analisis data streaming dalam waktu nyata dengan menggunakan Apache Flink
Dengan Layanan Terkelola Amazon untuk Apache Flink, Anda dapat mengubah dan menganalisis data streaming secara waktu nyata menggunakan Apache Flink, sebuah kerangka kerja dan mesin sumber terbuka untuk memproses aliran data. Layanan Terkelola Amazon untuk Apache Flink menyederhanakan dalam membangun dan mengelola beban kerja Apache Flink serta membantu Anda mengintegrasikan aplikasi dengan layanan AWS lainnya secara mudah.
Dengan Layanan Terkelola Amazon untuk Apache Flink, Anda hanya membayar yang Anda gunakan. Tanpa sumber daya untuk penyediaan dan tanpa biaya di muka. Anda dikenakan biaya dengan tarif per jam berdasarkan jumlah Kinesis Processing Unit (atau KPU) yang digunakan untuk menjalankan aplikasi Anda. Satu KPU terdiri dari 1 komputasi vCPU dan memori 4 GB.
Untuk aplikasi Apache Flink, Anda dikenai biaya satu KPU tambahan per aplikasi yang digunakan untuk orkestrasi. Aplikasi juga dikenakan biaya untuk menjalankan penyimpanan dan pencadangan yang tahan lama. Penyimpanan aplikasi yang sedang berjalan digunakan untuk kemampuan pemrosesan stateful di Layanan Terkelola Amazon untuk Apache Flink dan dikenakan biaya per GB/bulan. Pencadangan yang tahan lama bersifat opsional dan menyediakan pemulihan titik waktu untuk aplikasi, dengan biaya per GB/bulan.
Dalam mode streaming, Layanan Terkelola Amazon untuk Apache Flink secara otomatis menskalakan jumlah KPU yang diperlukan oleh aplikasi pemrosesan streaming Anda karena permintaan memori dan komputasi berfluktuasi. Anda dapat memilih untuk menyediakan aplikasi Anda dengan jumlah KPU yang diperlukan.
Anda dikenai biaya dua KPU tambahan per aplikasi Studio dalam mode interaktif. Satu KPU digunakan untuk orkestrasi aplikasi Apache Flink dan lainnya untuk lingkungan pengembangan interaktif nirserver. Anda juga akan dikenai biaya untuk penyimpanan aplikasi berjalan yang digunakan untuk kemampuan pemrosesan stateful. Penyimpanan aplikasi berjalan dikenakan biaya per GB/bulan.
Ketika mengembangkan di notebook Studio, Anda tidak akan memiliki opsi untuk membuat cadangan aplikasi yang tahan lama. Namun, ketika Anda melakukan deployment aplikasi di notebook Studio dari mode interaktif ke mode streaming, Anda dapat membuat cadangan aplikasi yang tahan lama.
Kami menyarankan agar Anda menguji aplikasi dengan beban produksi untuk mendapatkan perkiraan yang akurat tentang jumlah KPU yang diperlukan untuk aplikasi Anda. Penggunaan KPU dapat sangat bervariasi berdasarkan volume dan kecepatan data Anda, kompleksitas kode, integrasi, dan lainnya. Hal ini terutama berlaku saat menggunakan runtime Apache Flink di Layanan Terkelola Amazon untuk Apache Flink. Misalnya, melalui pengujian internal, kami telah mengamati throughput ratusan MB per detik per KPU untuk aplikasi sederhana tanpa status, dan throughput yang kurang dari 1 MB per detik per KPU untuk aplikasi kompleks yang menggunakan algoritma machine learning (ML) intensif. Dengan mengingat peringatan ini, pedoman umum yang kami berikan sebelum pengujian aplikasi Anda adalah sebesar 1 MB per detik, per KPU.
Anda menggunakan Studio Layanan Terkelola Amazon untuk Apache Flink untuk memfilter data streaming yang ditangkap oleh Amazon Kinesis Data Streams Anda secara terus-menerus dan hanya mempertahankan catatan yang berkaitan. Anda menginginkan kemampuan untuk melihat dan memvisualisasikan catatan secara waktu nyata dan menulis kueri serta program dalam SQL dan Python dengan mudah. Anda tidak menginginkan cadangan status yang tahan lama. Anda menyediakan 4 KPU untuk notebook Studio Anda berdasarkan throughput streaming input Anda. Biaya Layanan Terkelola Amazon untuk Apache Flink bulanan Anda akan dihitung sebagai berikut:
Biaya bulanan
Harga di Wilayah U.S. Wilayah East (N. Virginia) adalah 0,11 USD per KPU/jam yang digunakan untuk aplikasi pemrosesan pengaliran Anda. Aplikasi sederhana ini menggunakan 4 KPU untuk memproses aliran data yang masuk. Setiap aplikasi notebook Studio (contoh: mode interaktif) dikenai biaya 2 KPU tambahan per aplikasi. Biaya KPU Bulanan = 30 Hari * 24 Jam * ([4 KPU + 2 KPU tambahan] * 0,11 USD/Jam) = 475,20 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan sebesar 50 GB per KPU dan dikenai biaya 0,10 USD per GB/bulan di US-East-1.
Biaya Penyimpanan Aplikasi Berjalan Bulanan = 30 Hari * 24 Jam * 4 KPU * (50GB * 0.10 USD/GB/bulan) = 20.00 USD
Total Biaya = 475,20 USD + 20,00 USD = 495,20 USD
Anda menggunakan Studio Layanan Terkelola Amazon untuk Apache Flink untuk membangun jendela geser pada data streaming yang ditangkap oleh topik di klaster Amazon Managed Streaming for Apache Kafka (Amazon MSK) Anda. Anda menggunakan notebook Studio dengan 4 KPU selama delapan jam dalam dua hari untuk mengembangkan dan menguji kueri Anda. Setelah pengembangan, Anda melakukan deployment aplikasi sebagai aplikasi streaming dengan 12 KPU. Setelah aplikasi streaming dilakukan deployment, Anda menghentikan notebook Studio Anda. Aplikasi streaming dapat menggunakan status aplikasi yang tahan lama dan Anda membuat cadangan status yang tahan lama setiap hari.
Harga di Wilayah U.S. East (N. Virginia) adalah 0,11 USD per KPU/jam yang digunakan untuk aplikasi pemrosesan pengaliran Anda.
Biaya bulanan
Mengembangkan dan menguji kueri Layanan Terkelola Amazon untuk Apache Flink Studio:
Biaya KPU = 2 Hari x 8 Jam x (4 KPU + 2 KPU tambahan untuk notebook Studio) x 0,11 USD/Jam) = 10,56 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dan dikenakan biaya 0.10 USD per GB/bulan di US-East-1.
Menjalankan Biaya Penyimpanan Aplikasi = 2 Hari * 8 jam * 4 KPU * (50GB * 0.10 USD/GB-bulan) = 0.44 USD
Men-deploy sebagai aplikasi streaming untuk terus berjalan dan mengambil cadangan aplikasi:
Biaya KPU = 28 Hari * 24 Jam * (2 KPU + 1 KPU tambahan untuk aplikasi streaming) * 0.11 USD/Jam) = 221.76 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dan dikenakan biaya 0.121 USD per GB/bulan di US-East-1.
Menjalankan Biaya Penyimpanan Aplikasi = 28 Hari * 24 Jam * 2 KPU * (50GB * 0.10 USD/GB-bulan) = 9.33 USD
Biaya Penyimpanan Aplikasi Tahan Lama = 28* (1 MB/cadangan * 1 GB/1.000 MB) * 0,023/GB-bulan = 0.01 USD (dibulatkan ke sen terdekat)
Total Biaya = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD
Anda menggunakan aplikasi Apache Flink di Layanan Terkelola Amazon untuk Apache Flink agar dapat mentransformasi dan mengirimkan data log yang ditangkap oleh Kinesis Data Streams Anda ke Amazon Simple Storage Service (Amazon S3) secara terus-menerus. Data log yang ditransformasikan menggunakan beberapa operator, termasuk menerapkan skema ke peristiwa log yang berbeda, memisahkan data berdasarkan jenis peristiwa, menyortir data berdasarkan stempel waktu, dan melakukan buffering data selama satu jam sebelum pengiriman. Aplikasi tersebut memiliki banyak langkah transformasi, tetapi tidak ada yang intensif secara komputasi. Aliran ini menyerap data 2.000 catatan/detik untuk 12 jam/per hari dan meningkat hingga 8.000 catatan/detik selama 12 jam per hari. Anda tidak membuat cadangan aplikasi yang tahan lama. Biaya bulanan Layanan Terkelola Amazon untuk Apache Flink akan dihitung sebagai berikut:
Biaya bulanan
Harga di Wilayah U.S. Wilayah Timur (Virginia Utara) adalah 0,11 USD per KPU per jam. Layanan Terkelola Amazon untuk Apache Flink mengalokasikan 50 GB penyimpanan aplikasi yang sedang berjalan per KPU dan mengenakan biaya 0,10 USD per GB/bulan.
Beban Kerja Berat: Selama periode 12 jam beban kerja berat, aplikasi Layanan Terkelola Amazon untuk Apache Flink memproses 8.000 catatan/detik dan secara otomatis menaikkan skala hingga 8 KPU. Setelah periode beban kerja yang berat, aplikasi Layanan Terkelola Amazon untuk Apache Flink menurunkan skala aplikasi setelah 6 jam throughput lebih rendah. Aplikasi ini dinaikkan skalanya hingga 8 KPU dengan total 18 jam per hari.
30 Hari/Bulan* 18 Jam/Hari= 540 Jam/Bulan
Biaya KPU Bulanan = 540 Jam/Bulan * 8 KPU * 0.11 USD/Jam = 475.20 USD
Biaya Penyimpanan Aplikasi Berjalan Bulanan = 540 Jam/Bulan * 8 KPU * 50 GB/KPU * 0.10 USD/GB-bulan = 30.00 USD
Biaya KPU dan Penyimpanan Bulanan = 475,20 USD + 30,00 USD = 505,20 USD
Beban Kerja Ringan: Selama periode beban kerja ringan selama enam jam tersisa, aplikasi Layanan Terkelola Amazon untuk Apache Flink memproses 2.000 catatan/detik dan secara otomatis menurunkan skala ke 2 KPU.
30 Hari/Bulan x 6 Jam/Hari = 180 Jam/Bulan
Biaya KPU Bulanan = 180 Jam/Bulan * 2 KPU * 0.11 USD/Jam = 39.60 USD
Biaya Penyimpanan Aplikasi Berjalan Bulanan = 180 Jam/Bulan * 2 KPU * 50 GB * 0.10 USD/GB-bulan = 2.50 USD
Biaya KPU dan Penyimpanan Bulanan = 39,60 USD + 2,50 USD = 42,10 USD
Tiap aplikasi Apache Flink dikenai biaya KPU tambahan per aplikasi.
Biaya Bulanan = 30 * 24 * 1 KPU * 0,11 USD/Jam = 79,20 USD
Total Biaya = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD
Anda menggunakan Studio Layanan Terkelola Amazon untuk Apache Flink untuk membangun jendela geser pada data streaming yang ditangkap oleh topik di klaster Amazon Managed Streaming for Apache Kafka (Amazon MSK) Anda. Anda menggunakan notebook Studio dengan 4 KPU yang Anda mulai pada pukul 10.30 di hari pertama dari satu bulan untuk mengembangkan dan menguji kueri Anda. Setelah pengembangan, Anda men-deploy aplikasi sebagai aplikasi streaming dengan 2 KPU pada pukul 17.00. Setelah aplikasi streaming di-deploy, Anda menghentikan notebook Studio satu jam setelahnya pada pukul 18.00. Aplikasi streaming dapat menggunakan status aplikasi yang tahan lama dan Anda membuat cadangan status yang tahan lama setiap hari.
Harga di Wilayah U.S. East (N. Virginia) adalah 0,11 USD per KPU/jam yang digunakan untuk aplikasi pemrosesan pengaliran Anda.
Biaya bulanan
Mengembangkan dan menguji kueri Layanan Terkelola Amazon untuk Apache Flink Studio:
Aplikasi Studio Anda berjalan selama 450 menit dalam sebulan (10.30 hingga 18.00 pada hari pertama)
Biaya KPU = 450 Menit x (4 KPU + 2 KPU tambahan untuk notebook Studio) x 0,11 USD/Jam) = 4,95 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dengan tambahan penyimpanan berjalan tambahan sebesar 50 GB untuk aplikasi notebook Studio, dan dikenakan biaya 0,10 USD per GB/bulan di US-East-1.
Biaya Penyimpanan Aplikasi Berjalan = 450 Menit * (4 KPU+ 1 KPU tambahan untuk notebook Studio) * (50 GB* 0,10 USD/GB-bulan) = 0,26 USD
Men-deploy sebagai aplikasi streaming untuk terus berjalan dan mengambil cadangan aplikasi:
Aplikasi streaming berjalan selama 703 jam dalam sebulan (mulai pukul 17.00 pada hari pertama)
Biaya KPU = 703 Jam * (2 KPU + 1 KPU tambahan untuk aplikasi streaming) * 0,11 USD/Jam) = 231,99 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dan dikenakan biaya 0.121 USD per GB/bulan di US-East-1.
Biaya Penyimpanan Aplikasi Berjalan = 703 Jam * 2 KPU (50 GB * 0,10 USD/GB-bulan) = 9,76 USD
Biaya Penyimpanan Aplikasi Tahan Lama = 703 Jam * (1 MB/cadangan * 1 GB/1.000 MB) * 0,023/GB-bulan = 0.01 USD (dibulatkan ke sen terdekat)
Total biaya = 4,95 USD + 0,26 USD + 231,99 USD + 9,76 USD + 0,01 USD = 246,97 USD