​​​​​Datenverarbeitung: Apache Spark 3․1 will zum Zen-Meister für Python werden
#ApacheSpark #BigData #Datenverarbeitung #Framework

Unter dem Schlagwort Project Zen soll Spark den Einsatz von PySpark vereinfachen, um Python für die Analytics-Engine zu nutzen․

​​​​​NetApp Spot holt Big Data auf die Kubernetes-Welle
#ApacheSpark #BigData #Containerisierung #DataEngineering #DataScience #Kubernetes #NetApp #Spot #Wave

Als Serverless Container Engine soll Wave die Infrastrukturverwaltung für containerisierte Spark-Anwendungen auf Kubernetes vereinfachen․

​​​​​Big Data Tools: JetBrains-Plug-in für Apache Zeppelin verlässt die Preview-Phase
#ApacheSpark #ApacheZeppelin #BigData #JetBrains

Die Erweiterung zum Zugriff auf Zeppelin Notebooks und für das Monitoring von Spark- und Hadoop-Anwendungen ist nun in Version 1․0 verfügbar․

​​​​​Big Data: Apache Spark erhält erste stabile Kotlin-API
#ApacheSpark #JetBrains #Kotlin

JetBrains hat die erste Hauptversion der Kotlin-API für Spark fertiggestellt․ Sie gilt als Feature-komplett und soll kompatibel sein zu den Kern-APIs von Spark․

​​​​​heise-Angebot: Online-Workshop: Skalierbare Data Science mit Python und Spark
#ApacheSpark #BigData #DataScience #Python #pyspark

Über die PySpark-API spricht man Spark aus eigenen Python-Programmen an, um so skalierbare Big-Data- und Machine-Learning-Analysen zu entwickeln․

​​​​​PipelineDP: Differential Privacy Framework für das Python-Universum
#ApacheBeam #ApacheSpark #DataScience #DifferentialPrivacy #Google #OpenMined #Python

Google und OpenMined machen die Vorzüge des differenzierten Datenschutzes auch der Python Developer Community als Open Source zugänglich․

​​​​​Machine Learning: Databricks gibt AutoML für den uneingeschränkten Einsatz frei
#ApacheSpark #DataLake #DataScience #DataWarehouse #Databricks #ETL #MachineLearning

Der in die Databricks-Plattform integrierte Dienst AutoML soll Data Scientists helfen, ML-Modelle schneller produktionsreif zu entwickeln․

​​​​​Data Science: Apache SystemDS 3․0 erhält ein Backend für Multi-Tenancy
#ApacheSpark #ApacheSystemDS #BigData #DataStreaming #Databricks

Das neue Release der Data-Science-Software SystemDS führt ein Federated Backend für Mehrmandantenfähigkeit ein und vollzieht das Update auf Java 11 und Spark 3․

​​​​​JetBrains' Big Data Tools 1․6 behalten Flink-Jobs im Auge
#ApacheHive #ApacheSpark #ApacheZeppelin #BigData #JetBrains

Die Big Data Tools 1․6, ein Plug-in für Zugriff auf Zeppelin Notebooks, beherrscht nun auch das Monitoring von Apache Flink und bindet den Hive Metastore ein․

​​​​​Machine Learning: SynapseML automatisiert ․NET-Anbindung an Apache Spark
#NETforApacheSpark #Net #ApacheSpark #MachineLearning #SynapseML

Mit dem neuen API-Satz ermöglicht Microsofts ML-Bibliothek den Sprachen der ․NET-Familie wie C# und F# verteiltes Machine Learning mit Apache Spark․

​​​​​Data Science: Cloudera startet All-in-one-Datendienst in der Cloud
#ApacheSpark #Cloudera #DataEngineering #DataScience

Die Cloudera Data Platform One bündelt alle für Datenanalyse und -erkundung erforderlichen Tools als Software-as-a-Service auf Basis der Lakehouse-Architektur․