databricks- все статьи тега

Есть ли хороший способ присоединиться к потоку в spark с пеленальным столиком?

Наша искровая среда: DataBricks 4.2 (включает Apache Spark 2.3.1, Scala 2.11) Чего мы пытаемся достичь: Мы хотим обогатить потоковые данные некоторыми справочными данными, которые регулярно обновляются. Обогащение осуществляется путем соединения потока с эталонными данными. Что мы реализовали: Мы реализовали два искровых задания (jars): Первый-это обновление таблицы Spark TEST_TABLE каждый час (назовем ее "справочными данными") с помощью .писать.режим (SaveMode.Переписывать).saveAsTable ("TES ...