او از راه بلژیک و لندن سرانجام به جرزی رسید؛ جایی که از همان ابتدا با سوءظن نگریسته می‌شد. به گفته گراهام راب، پژوهشگر ادبی و زندگی‌نامه‌نویس هوگو، در آن زمان جزیره پر بود از تبعیدیان سیاسی که از انقلاب‌های دیگر گریخته بودند. در چنین فضایی، هوگو نیز به عنوان فردی مشکوک و حتی «سوسیالیست» شناخته می‌شد.

راب در گفت‌وگویی توضیح می‌دهد که مردم جرزی، که به نظر هوگو «انگلیسی‌تر و خشک‌مذهب‌تر» از همسایگانشان در گرنزی بودند، سبک زندگی او را دوست نداشتند. کوتاه کردن مو در سلمانی، یا حتی بستن نامناسب کراوات، همه به چشم بی‌احترامی و بی‌اخلاقی تعبیر می‌شد. در نتیجه، هوگو در جرزی بیش از آنکه نویسنده‌ای بزرگ باشد، مزاحم و مایه شرمساری به شمار می‌آمد. اما چند سال بعد، ماجرا در گرنزی رنگ دیگری گرفت. هنگامی که کشتی او در بندر سنت پیتر پورت لنگر انداخت، جمعی آرام و مشتاق برای استقبال آمده بودند.

به زودی، هوگو به چهره‌ای آشنا تبدیل شد؛ مردی با ریش پرپشت که ساعت‌ها روی صخره‌ها می‌نشست و به افق دریا خیره می‌شد تا الهام بگیرد. او ۱۵سال در گرنزی زندگی کرد و در خانه‌ای سنگی به نام «هاتوِیل هاوس» بسیاری از بزرگ‌ترین آثارش را نوشت یا تکمیل کرد، از جمله شاهکار جاودانه‌اش بینوایان.  هوگو پیشگام تجربه‌ای بود که بعدها برای بسیاری از نویسندگان بدل به تقدیر شد: تبعید به‌مثابه زایش دوباره. اگر تبعید برای برخی به معنای خاموشی است، برای او و بسیاری دیگر سکوی پرشی شد برای جهانی‌تر شدن صدا و اثرشان.