Джеймс Айвори родился 7 июня 1928 года в городе Беркли, штат Калифорния. В юности вместе с родителями переехал в штат Орегон, где чуть позже окончил местный университет со степенью бакалавра искусств, собираясь в дальнейшем посвятить себя работе в качестве художника-постановщика. Но вспыхнувшая любовь к кино меняет планы молодого человека. Айвори поступает на факультет кино университета Южной Калифорнии. В Европе он снимает первые короткометражки, а в Германии, где проходит военную службу, помогает делать развлекательные программы для солдат и призывников.
Большое значение в жизни будущего режиссёра начинает играть Индия. В Бомбее он знакомится и начинает сотрудничать с продюсером
Исмаилом Мерчантом. Их личная и творческая дружба растянется на долгие годы. В 1965 году они выпускают на экраны фильм «
Господин Шекспир», историю любовного романа между индийским плейбоем и английской актрисой из гастролирующей труппы. В более метафоричной форме тема столкновения культур прозвучала в «
Дикарях», где племя диких лестных жителей попадает в покинутый его обитателями сельский дом и постепенно под влиянием цивилизации превращаются в персонажей современной жизни. Эти мотивы можно обнаружить и в таких фильмах как «
Автобиография принцессы», «
Шумиха вокруг картин Джорджа и Бонни», «
Жара и пыль».