Hadoop (HDFS) - взаимодействие с данными через Java

247
29 декабря 2017, 00:26

Я пытаюсь взаимодействовать с файлами HDFS (читать, создавать и т.д.) с помощью следующего кода:

static String hdfs = "hdfs://URL:PORT";
static String pathToFile = "/folder/subfolder/filename.txt";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfs);
FileSystem fs = FileSystem.get(new URI(hdfs), conf);
if (fs instanceof DistributedFileSystem) {
    LOGGER.info("HDFS is the underlying filesystem");
} else {
    LOGGER.info("Other type of file system " + fs.getClass());
}
FSDataInputStream in = null;
try {
    in = fs.open(new Path(pathToFile));
    IOUtils.copyBytes(in, System.out, 4096, false);
    LOGGER.info("End Of file: HDFS file read complete");
} finally {
    IOUtils.closeStream(in);
}

Но постоянно получаю одну и ту же ошибку:

Exception in thread "main" java.io.IOException: Failed on local exception: 
java.io.EOFException; Host Details : local host is: 
"URL/IP"; destination host is: "URL":PORT;

Тем не менее, файловая система валидная, о чём сигнализирует строка логера:

2017-12-27 18:17:10 INFO Main:31 - HDFS is the underlying filesystem

Искал на форумах, в гугле, но в итоге получаю всё ту же ошибку. Возможно есть идеи, как решить её?

P.S.: пробовал запускать .jar файл на кластере, но заканчивается так же безрезультатно, разве что локальный адрес в ошибке другой.

READ ALSO
hasNextInt() в цикле

hasNextInt() в цикле

Мне нужно защитить приложение от краша в случаи ввода букв в интовом сканнереНо в данном случае, если ввести буквы, оно примет нужное значение,...

249
Как вставить изображение в TextPane

Как вставить изображение в TextPane

У меня есть jTextPane и button, хочу реализовать систему смайликовВообщем когда жмём на кнопку то сразу ставится картинка(смайлик) возле текста

223
Отправка с android на сервер запроса firebase

Отправка с android на сервер запроса firebase

Появилась идея создания сервиса отслеживания пользователяИдея состоит в том что пользователь заходит на сервер нажимает кнопку получить...

210