Что мы имеем:
stream.foreachRDD(rdd->{
JavaRDD<String> javaRDD=rdd.map(elem -> elem.value());
Dataset ds = //Any transformations
sc.read().schema(csvSchema).csv(ds).write();
});
Каковы идеи
1) Плохая, потому что используется .collect()
sc.sqlContext().createDataset(javaRDD.collect(), Encoders.STRING())
2) 'StringType cannot be cast to StructType', может можно map, но StructType::fromString не компилируется
sc.sqlContext().createDataFrame(javaRDD,String.class)
3) Без схемы
Плохо из-за низкой гибкости модели, читаемости кода(30+ полей), неконтролируемый порядок полей - в алфавитном порядке (наприм. пишу в parquet для impala)
JavaRDD<String> javaRDD=rdd.map(elem -> new Model(elem.value()));
sc.sqlContext().createDataFrame(javaRDD,Model.class);
Кофе для программистов: как напиток влияет на продуктивность кодеров?
Рекламные вывески: как привлечь внимание и увеличить продажи
Стратегії та тренди в SMM - Технології, що формують майбутнє сьогодні
Выделенный сервер, что это, для чего нужен и какие характеристики важны?
Современные решения для бизнеса: как облачные и виртуальные технологии меняют рынок
У меня есть горизонтальный RecyclerView который автоматически листает контент раз в 3 секунды
Всем приветДля меня Testcontainers абсолютно новая тема, поэтому возник вопрос
Сайт на WordPress, при открытии фотографии уvbox-content слишком большой margin-top и margin-bottom
Есть плеер с сервиса yohoho(не реклама)Беру их скрипт, добавляю в index