​​​​​Apache Spark 3․0 liefert erweiterte SQL-Funktionen und ein Update der Python-API
#ApacheSpark #BigData #DataStreaming #Databricks

Das Major-Release der Big-Data-Engine hat viele Verbesserungen, aber auch neue Ansätze im Gepäck, die höhere Performance und mehr Kompatibilität versprechen․

​​​​​heise-Angebot: Online-Workshop: Big-Data-Analysen mit Python und Spark
#ApacheSpark #BigData #MachineLearning #Python #pyspark

Lernen Sie, wie Sie Apache Spark für Big-Data-Analysen aus Python-Programmen heraus nutzen․ Bei Buchung bis 21․8․ winken 10% Frühbucherabatt․

​​​​​Datenanalyse: JetBrains stellt Kotlin-API für Apache Spark vor
#ApacheSpark #BigData #Kotlin

Das Open-Source-Projekt will eine Kompatibilitätsschicht zwischen der Programmiersprache Kotlin und dem Big-Data-Framework Apache Spark bieten․

​​​​​Cloudera startet Cloud-nativen Dienst für Data Engineering
#ApacheSpark #Cloudera #DataEngineering

Die Tools für ETL-Prozesse, Data-Pipeline-Orchestrierung, Automatisierung und Monitoring sind als Spark-Service in die Cloudera Data Platform integriert․

​​​​​․NET for Apache Spark verbindet ․NET-Entwicklung mit der Big Data Engine
#NETforApacheSpark #Net #ApacheSpark #BIG #Microsoft

Microsoft stellt die erste Hauptversion des Open-Source-Pakets zur Verfügung und macht Spark-Anwendern die UDFs von ․NET zugänglich․

​​​​​Databricks erhält Finanzspritze von einer Milliarde US-Dollar
#ApacheSpark #CloudDataWarehouse #Databricks #Investition

Üppig ausgestattet mit Risikokapital bereitet sich das Unternehmen hinter dem Big-Data-Framework Apache Spark auf einen Börsengang vor․

​​​​​Datenverarbeitung: Apache Spark 3․1 will zum Zen-Meister für Python werden
#ApacheSpark #BigData #Datenverarbeitung #Framework

Unter dem Schlagwort Project Zen soll Spark den Einsatz von PySpark vereinfachen, um Python für die Analytics-Engine zu nutzen․

​​​​​NetApp Spot holt Big Data auf die Kubernetes-Welle
#ApacheSpark #BigData #Containerisierung #DataEngineering #DataScience #Kubernetes #NetApp #Spot #Wave

Als Serverless Container Engine soll Wave die Infrastrukturverwaltung für containerisierte Spark-Anwendungen auf Kubernetes vereinfachen․

​​​​​Big Data Tools: JetBrains-Plug-in für Apache Zeppelin verlässt die Preview-Phase
#ApacheSpark #ApacheZeppelin #BigData #JetBrains

Die Erweiterung zum Zugriff auf Zeppelin Notebooks und für das Monitoring von Spark- und Hadoop-Anwendungen ist nun in Version 1․0 verfügbar․

​​​​​Big Data: Apache Spark erhält erste stabile Kotlin-API
#ApacheSpark #JetBrains #Kotlin

JetBrains hat die erste Hauptversion der Kotlin-API für Spark fertiggestellt․ Sie gilt als Feature-komplett und soll kompatibel sein zu den Kern-APIs von Spark․

​​​​​heise-Angebot: Online-Workshop: Skalierbare Data Science mit Python und Spark
#ApacheSpark #BigData #DataScience #Python #pyspark

Über die PySpark-API spricht man Spark aus eigenen Python-Programmen an, um so skalierbare Big-Data- und Machine-Learning-Analysen zu entwickeln․

​​​​​PipelineDP: Differential Privacy Framework für das Python-Universum
#ApacheBeam #ApacheSpark #DataScience #DifferentialPrivacy #Google #OpenMined #Python

Google und OpenMined machen die Vorzüge des differenzierten Datenschutzes auch der Python Developer Community als Open Source zugänglich․

​​​​​Machine Learning: Databricks gibt AutoML für den uneingeschränkten Einsatz frei
#ApacheSpark #DataLake #DataScience #DataWarehouse #Databricks #ETL #MachineLearning

Der in die Databricks-Plattform integrierte Dienst AutoML soll Data Scientists helfen, ML-Modelle schneller produktionsreif zu entwickeln․

​​​​​Data Science: Apache SystemDS 3․0 erhält ein Backend für Multi-Tenancy
#ApacheSpark #ApacheSystemDS #BigData #DataStreaming #Databricks

Das neue Release der Data-Science-Software SystemDS führt ein Federated Backend für Mehrmandantenfähigkeit ein und vollzieht das Update auf Java 11 und Spark 3․

​​​​​JetBrains' Big Data Tools 1․6 behalten Flink-Jobs im Auge
#ApacheHive #ApacheSpark #ApacheZeppelin #BigData #JetBrains

Die Big Data Tools 1․6, ein Plug-in für Zugriff auf Zeppelin Notebooks, beherrscht nun auch das Monitoring von Apache Flink und bindet den Hive Metastore ein․

​​​​​Machine Learning: SynapseML automatisiert ․NET-Anbindung an Apache Spark
#NETforApacheSpark #Net #ApacheSpark #MachineLearning #SynapseML

Mit dem neuen API-Satz ermöglicht Microsofts ML-Bibliothek den Sprachen der ․NET-Familie wie C# und F# verteiltes Machine Learning mit Apache Spark․

​​​​​Data Science: Cloudera startet All-in-one-Datendienst in der Cloud
#ApacheSpark #Cloudera #DataEngineering #DataScience

Die Cloudera Data Platform One bündelt alle für Datenanalyse und -erkundung erforderlichen Tools als Software-as-a-Service auf Basis der Lakehouse-Architektur․