"Самая быстрая" хэш-функция реализована в Java, сравнивая часть файла

Если вы хотите скорости, не хэшируйте! Особенно криптографического хэширования, как MD5. Эти хэши предназначены для того, чтобы их было невозможно отменить, а не быстро вычислить. Вы должны использовать контрольную сумму-Смотрите java.util.zip.Checksum и две ее конкретные реализации. Adler32 чрезвычайно быстр в вычислениях.

Любой метод, основанный на контрольных суммах или хэшах, уязвим для коллизий, но вы можете минимизировать риск, используя два различных метода, как это делает RSYNC.

Алгоритм таков: в основном:

• Проверьте, что размеры файлов равны
• разбейте файлы на куски размером N байт
Вычислите контрольную сумму для каждой пары совпадающих блоков и сравните. Любые различия доказывают, что файлы не являются одинаковыми.

Это позволяет на ранней стадии обнаружить разницу. Вы можете улучшить его, вычисляя две контрольные суммы одновременно с различными алгоритмами или различными размерами блоков.

Чем больше бит в результате, тем меньше вероятность столкновения, но как только вы перейдете 64 биты вы находитесь за пределами того, что Java (и процессор компьютера) может обрабатывать изначально и, следовательно, получить медленно, так что FNV-1024 менее вероятно даст вам ложное отрицание, но гораздо медленнее.

Если все дело в скорости, просто используйте Adler32 и примите, что очень редко разница не будет обнаружена. Это действительно редкость. Контрольные суммы, подобные этим, используются для обеспечения того, чтобы интернет мог обнаружить ошибки передачи,и как часто вы получаете неправильные данные?

Это все о точности действительно, Вы будете приходится сравнивать каждый байт. Больше ничего не получится.

Если вы можете пойти на компромисс между скоростью и точностью, есть множество вариантов.