Shenzhen OK Biyoteknoloji Technology Co, Ltd (SZOB)
Categories
Ana sayfa > Haberler > İçerik

Google, Spark'ı Atıyor, Hadoop Hizmetini Bulutunda Kullanıyor

www.ok-biotech.com

Google, Spark'ı Atıyor, Hadoop Hizmetini Bulutunda Kullanıyor

Google çok şey hakkında çok şey biliyorsa, geliştiricilerin altyapıyı kurmak için çok fazla zaman harcamak istemediği için işletmeleri yürütmek için çok sayıda bilgiyi çiğneyen uygulamalar oluşturabilirler.


Çoğumuz Google'ı sistem ve veri merkezi tasarımları için takdir ederken, Google'ı gerçekten güçlü yapan şey, yeni teknolojileri hızla geliştirme ve bunları programcıların kullanmasını kolaylaştırma yeteneğidir. Bu, Borg küme denetleyicisinin doğası ve onunla birlikte çalışan pek çok çerçeve.


Ancak Google'ın Google gibi olması için çalışmanız gerekmiyor. Önümüzdeki hafta New York'ta düzenlenecek olan Strata + Hadoop World konferansı öncesinde Google, Hadoop'un depolama ve Spark in-memory analitiklerini bir araya getiren ve bir hizmet olarak sunan Cloud Dataproc'u duyurdu. Veri işleme için kısa olan Cloud Dataproc, tabii ki hala çok şey yapmış olduğumuz için çok eski bir okul dönemi şimdi beta test aşamasındadır; hizmetin ticari sürüm zamanlaması açıklanmadı.


Cloud Dataproc için fiyatlandırma, boynu ağrısı olan ve bakımı devam ettirecek Hadoop veya Spark analytics kümeleri kurmayı düşünen kişilerin dikkatini çekecektir. Google, Cloud Dataproc kullanıcıları adına yönettiği sanal kümelerde her sanal makine başına bir kuruş ödüyor. (Bu, Compute Engine örnekleri, ağ bant genişliği ve müşterilerin kümeleri kurmak için uğradığı depolama masraflarına ek olarak verilir.) Cloud Dataproc, düzenli olarak ayrılmış ve isteğe bağlı örneklerin yanı sıra Google'ın başlattığı yeni önlenebilir örneklerde de çalışabilir birkaç hafta önce. Fiyatlandırma, en az on dakika minimum fatura süresi ile en yakın dakikaya yuvarlanır.


Hız da Google'ın satmaya çalıştığı bir şey. Spark / Hadoop hizmetini duyuran bir blog yazısında, şirketin Bulut Platformu genel bulutunun bir ürün müdürü James Malone, Google'ın 90 saniye içinde bir Hadoop veya Spark kümesi başlatıp başlatabileceğini veya kapatacağını söyledi. zaman - veya daha az. Google, hizmeti oluşturmak için Cloud Platform'taki Debian 7 dağıtımının üstünde Hadoop ve Spark'ı çalıştırmayı seçti; Muhtemelen Hadoop ve Spark yığınlarının açık kaynaklı Apache sürümlerini kullanmaktadır.


"Dataproc'ın en büyük özelliklerinden biri, bir kümelenme üzerinde daha fazla kontrol sahibi olmak isteyen müşterilerin ihtiyaçlarını cevaplamaya çalışmaktır", diye belirtiyor Malone Platform'a. "Müşterilerin veri ve iş akışları Hadoop ve Spark'da ancak, VM'leri kurmak, ikili dosyaları dağıtmak vb. Saatler harcamak istemiyorlar. Açık kaynak yazılım harika, ancak genellikle yüzlerce düğme ve ince ayar yapmak ve çevirmek için düğmeler ile birlikte geliyor. Dataproc ile yapmaya çalıştığımız şeyin tek bir büyük anahtarı vardır ve açıktır ve işiniz bittiğinde kapatabilirsiniz. "


Malone, Cloud Dataproc hizmetinin üçten yüzlerce sanal düğüme ölçeklenebildiğini ve Compute Engine ile çalışan nesne depolama hizmeti olan Google Cloud Storage ile entegre olduğunu söylüyor. (Veri için varsayılan çoğaltma, Hadoop kümelerinde kullanılan normal üçlü değil, ikiye ayarlanır.) Bu depolama birimi, iyi performans sağlamak için disk sürücüleri ve flash SSD'lerin bir karışımına sahiptir ve önemlisi, veriler Cloud Storage'da depolanıyorsa, Cloud Dataproc kümesini kapatırsanız, bu veriler tekrar kullanılacaktır. Dolayısıyla, bir anlamda, bulut bilgi işleminin ilk günlerinde yaygın olan kısa ömürlü depolama yerine kalıcı depolama ile kısa ömürlü hesaplama olarak düşünülebilir. Malone, müşterilerin hesaplama örneklerinde yerel diskte veya flash bellekte HDFS oluşturabileceğini söylüyor ancak küme kapandığında veriler kayboldu. Google bu nedenle Cloud Storage'a HDFS koymayı önerir.


Buna göre, Cloud Dataproc kümesi, bu sanal Hadoop ve Spark kümesini destekleyen Compute Engine örneklerini ödediğiniz sürece de devam edecek. Google, Cloud Dataproc kümesinin diğer Compute Engine kaynakları gibi maksimum 24 CPU ve 240 VM örneğiyle sınırlı olduğunu ve bunun üstünde ve sonrasında herhangi bir kapasite talep etmeniz gerektiğini söyler. Kaz performansına ihtiyacınız varsa, Compute Engine örneklerini yerel SSD'ler ile seçebilirsiniz.


Cloud Dataproc sadece MapReduce toplu işlerini ve Spark in-memory işlemeyi desteklemekle kalmaz aynı zamanda Hadoop Dağıtılmış Dosya Sisteminin üstündeki Hive veri ambarı katmanının üstünde çalışan uygulamaları ve ayrıca MapReduce'u paralel hale getirmek için Pig komut dosyası aracını kullanan uygulamaları destekleyebilir sorguları. Hadoop ve Spark - Java, Scala, Python ve R tarafından desteklenen herhangi bir dil Cloud Dataproc hizmeti ile desteklenir. Hizmetin henüz resmi bir hizmet düzeyi sözleşmesi yok, ancak genel olarak kullanılabilir olduğunda gerçekleşecek. Cloud Dataproc, Google genel bulutundaki tüm bölgeler ve bölgelerde kullanılabilir. Malone, Cloud Dataproc'un genelde ne zaman kullanılabilir olacağını söyleyecek özgür değil.


Cloud Dataproc yığını birkaç ay boyunca alfa test edildi ve bugün beta sürümüyle Hadoop 2.7.1 ve Spark 1.5'i destekliyor. Programcılar, Google Cloud SDK'den veya Google Developers Console'dan bir API kümesinden Cloud Dataproc kümeleri oluşturabilir ve yokedebilir.


Google, müşterilerin, burada bildirdiğimiz BigQuery ve Cloud Bigtable hizmetleri yerine Cloud Dataproc'u kullanmasını beklememektedir. (Cloud Bigtable, Hive'e ilham veren Google Dosya Sistemi için dahili veritabanı yer paylaşımını yansıtan bir hizmettir ve BigQuery, Google'ın oluşturduğu ve Amazon'un DinamoDB'si ve Facebook'un ilgisini çeken salt okunur işler için geçici bir sorgu hizmetidir Cassandra.) Cloud Dataproc Cloud Bigtable ve BigQuery'ye bağlanabildiğinden, örneğin günlük dosyalarını ve sistemlerden ve uygulamalardan gelen diğer telemetri, BigQuery ve Cloud Bigtable gibi hizmetlere dağıtılmadan önce veri masajı yapmak için kullanılabilir ve daha sonra Tableau gibi araçlarda belki de görselleşti. Malone, Cloud Dataproc için alfa programındaki bazı müşterilerin Hadoop ve Spark altyapısı için daha ölçekli veya daha düşük maliyet arayan ve bazıları geliştiricilerin veri ve algoritmalarını test etmek için bir kümeyi daha kolay hale getirmek istediklerini söylüyor.


Google'ın rakibi Amazon Web Services, Nisan 2009'da Hadoop'u bir hizmet olarak sunmak için Elastic MapReduce hizmetini beta olarak devreye soktu ve bundan kısa bir süre sonra üretim amaçlı kullanıma hazırdı. AWS, Hadoop'un Apache dağıtımını sanal kümeler üzerinde sunar ve ayrıca müşterilerin MapR Technologies'ten Hadoop dağıtımını kullanmalarını sağlar. Amazon'un fiyatlaması EMR tarafından yönetilen hizmet için Google'ın Cloud Dataproc için ne ücret aldığından çok daha yüksek, kullanılan EC2 örneklerinin maliyeti ile birlikte değişiyor. EC2 örnekleri, bir m1.small örneği için saatte 4,4 sent, bir d2.8xlarge depolama optimizasyonu örneği için saat başı 5.52 dolardan yüksek; EMR hizmeti bu EC2 ücretlerinin üstünde saatte 27 kuruşa 1,1 sent ekliyor. Amazonlar Spark'tan Haziran'a geri döndüler ve Temmuz ayında HOSTOP 2.6.0 sürümünü içeren 4.0 sürümü ile EMR'yi yeniledi. (ABD Doğu Bölgesinde on-demand örnekleri var; maliyeti rezerve örneklerle düşürebilirsiniz. , Spark 1.4.1, Hive 1.0 ve Pig 0.14.


Microsoft'un benzer şekilde, Azure bulutu üzerinde HDInsight olarak adlandırdığı ve bu analiz platformunun Hortonworks Veri Platformu dağıtımına dayanan bir Hadoop hizmeti var. Microsoft, Hadoop'a ek olarak, Spark bellek içi işleme ve Fırtına akış işleme eklentilerini desteklemektedir. Müşteriler, Azure bulutundaki Windows veya Linux üzerinde HDInsight'u, bir A1 örneği için saatte 8 kuruştan A7 örneği için saatte 1,41'e kadar değişen fiyatıyla, hesaplama ve hizmetin fiyatında Microsoft paketleri dağıtabilirler. Azure'de Linux çalıştıran bu örnekleri satın alırsanız, A1 örneği için saatte 1.8 kuruştan A7 örneği için saat başına 1 dolara mal olurlar. Dolayısıyla Microsoft, benzer şekilde yönetilen Hadoop / Spark hizmetinde Google'dan çok daha yüksek bir ücret ödüyor.


Etiketler: Sildenafil, 139755-83-2, Flibanserin, 167933-07-5, Tadalafil, Cialis, 171596-29-5, Vardenafil Hidroklorid, 224785-91-5,


Bize ulaşın
Adres: HK: 6 / F, Fo Tan Endüstri Merkezi, 26-28 Au Pui Wan St, Fo Tan, Shatin, Hongkong Shenzhen: 8F, Fuxuan Binası, No 46, Doğu Hipping Rd, Longhua Yeni Bölgesi, Shenzhen, PRC Çin
Telefon: +852 6679 4580
 Faks:+852 6679 4580
 E-posta:smile@ok-biotech.com
Shenzhen OK Biyoteknoloji Technology Co, Ltd (SZOB)
Share: