TY - RPRT TI - Medmarks: A Comprehensive Open-Source LLM Benchmark Suite for Medical Tasks AU - Benjamin Warner AU - Ratna Sagari Grandhi AU - Max Kieffer AU - Aymane Ouraq AU - Saurav Panigrahi AU - Geetu Ambwani AU - Kunal Bagga AU - Nikhil Khandekar AU - Arya Hariharan AU - Nishant Mishra AU - Manish Ram AU - Shamus Sim Zi Yang AU - Ahmed Essouaied AU - Adepoju Jeremiah Moyondafoluwa AU - Robert Scholz AU - Bofeng Huang AU - Molly Beavers AU - Srishti Gureja AU - Anish Mahishi AU - Sameed Khan AU - Maxime Griot AU - Hunar Batra AU - Jean-Benoit Delbrouck AU - Siddhant Bharadwaj AU - Ronald Clark AU - Ashish Vashist AU - Anas Zafar AU - Leema Krishna Murali AU - Harsh Deshpande AU - Ameen Patel AU - William Brown AU - Johannes Hagemann AU - Connor Lane AU - Paul Steven Scotti AU - Tanishq Mathew Abraham PY - 2026 UR - https://arxiv.org/abs/2605.01417 ID - 2605.01417 ER -