TY - RPRT TI - Distributed Speculative Inference (DSI): Speculation Parallelism for Provably Faster Lossless Language Model Inference AU - Nadav Timor AU - Jonathan Mamou AU - Daniel Korat AU - Moshe Berchansky AU - Oren Pereg AU - Moshe Wasserblat AU - Tomer Galanti AU - Michal Gordon AU - David Harel PY - 2025 UR - https://arxiv.org/abs/2405.14105 ID - 2405.14105 ER -