TY - RPRT TI - From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces AU - Peter Shaw AU - Mandar Joshi AU - James Cohan AU - Jonathan Berant AU - Panupong Pasupat AU - Hexiang Hu AU - Urvashi Khandelwal AU - Kenton Lee AU - Kristina Toutanova PY - 2023 UR - https://arxiv.org/abs/2306.00245 ID - 2306.00245 ER -