Как вернуть размер изображения в байтах?

Изначально вы должны записать ваш файл в память или временный файл. Вот один из вариантов.

BufferedImage img = YOUR_IMAGE_THERE
ByteArrayOutputStream tmp = new ByteArrayOutputStream();
ImageIO.write(img, "png", tmp);
tmp.close();
Integer contentLength = tmp.size();

Получаем размер изображения в байтах:

BufferedImage image = /* */;
int sizeInBytes = image.getData().getDataBuffer().getSize();

Или с помощью примера в другом ответе, можно будет узнать размер изображения в конкретном формате, в котором вы его сохраните.