Små trasar har spridit till Varys att Robert Baratheon hade tvivel om att hans son, Joffrey Baratheon, 14, så småningom skulle ersätta honom, eftersom han uppfattade honom som inte särskilt smart och olämplig att vara ledare, samtidigt som han led av flera problem i sitt privatliv.