Василий Гросман е роден през 1905 г. в украинския град Бердичев, в ляво еврейско семейство. Работи като инженер-химик и първоначално публикува разкази. Автор е на епичната трилогия „Степан Колчугин“ (1937–1940), на повестта „Народът е безсмъртен“(1942). През 1935 г. Корней Чуковски пише: „След него другите съветски писатели трудно се четат“.
През Втората световна война Гросман е фронтови кореспондент. Още през 1943 г. документира Холокоста в Украйна, Беларус и Полша. Неговият очерк „Треблинският ад“ е използван като документ от обвинението на Нюрнбергския процес.
Заедно с Иля Еренбург съставя първата съветска документална „Черна книга“, сборник със свидетелства за преследването и унищожаването на съветски евреи от нацистите, който излиза на английски (Ню Йорк, 1947). На руски е забранен поради готвената от Сталин разправа със съветските евреи.
Първата част на романа му „За правото дело“(1952) е предложена за Сталинска награда и отхвърлена лично от Сталин. Втората част – „Живот и съдба“ (1959) – е забранена. През 1961 г. ръкописът ? е иззет от КГБ заедно с ръкописа на „Всичко тече“, те са заплаха за комунистическата власт. Михаил Суслов, главният идеолог на Политбюро, предрича, че „Живот и съдба“ ще излезе най-рано след 200 години. Гросман умира от рак през 1964 г. в Москва, без да знае дали произведенията му някога ще стигнат до читателите.
Спасеният от поета Симеон Липкин екземпляр на „Живот и съдба“ е пресниман на микрофилм от Андрей Сахаров и изнесен в чужбина от Владимир Войнович. През 1980 г. е публикуван в Швейцария, а в СССР — през 1988 г., по време на Перестройката. През 2013 г. руските тайни служби предават ръкописа на „Живот и съдба“ от 11 000 страници на Държавния архив в Москва.