Nacido en 1944, se crio en Inglaterra, África y Gales. Atribuye a su temprana exposición a la literatura clásica su decisión de dedicarse a la interpretación. Tras refinar su técnica en la célebre Royal Academy of Dramatic Art y en la Universidad de East Anglia en Norwich, donde se graduó como actor en el estilo de teatro shakespeariano, le llevó a interpretar personajes de corte épico. Ha interpretado a personajes como Otelo, Hamlet, Macbeth, Enrique IV, Hedda Gabler y El misántropo, de Molière.
En sus inicios interpretó varios papeles secundarios, destacando la miniserie clásica Yo, Claudio, protagonizada por Derek Jacobi, y en la serie británica The Naked Civil Servant, protagonizada por John Hurt.
Rhys-Davies debutó en el cine con El molino negro (The Black Windmill) en 1974, que tenía como protagonista a Michael Caine.
Una vez consolidado tanto en cine y televisión hizo su aparición en la serie de televisión Shogun, como el piloto Vasco Rodrigues y por la que obtuvo una nominación a los premios Emmy. También ha actuado en dos de las películas de Indiana Jones (El arca perdida y La última cruzada) como Sallah, el amigo de Indy.