ترتیاکوف از ۲۲ سالگی گردآوری آثار هنری را با خرید ۱۰ پرده نقاشی از استادان قدیمی هلندی آغاز کرد و هدف خود را تاسیس گالری ملی روسیه اعلام کرد. ترتیاکوف از سال ۱۸۷۰ آثار هنری باارزش و قابل‌توجهی را از هنرمندان معاصر خود و از طریق نمایشگاه‌های سیار گرد آورد. او همچنین به‌طور مستقیم از خود نقاشان و گاه تمام مجموعه‌های آنان را می‌خرید. در ۱۸۷۴، مجموعه‌های موسوم به ترکستان (۱۳ منظره، ۱۳۳ پرتره و...) و در ۱۸۸۰ «مجموعه‌های هند» را خرید. نقاشی‌های هنرمندان مهمی همچون الکساندر ایوانف و وی. دی. پولنف وجود دارد که از آن میان باید به ۱۰۲ تابلو پولنف که حاصل سفرهای وی به مصر، ترکیه، سوریه و فلسطین بود اشاره کرد. مجموعه‌های کامل وی.ی پروف، آی.ان.کرامسکوی، ایلی‌رپین، واسیلی سوریکوف و... در اختیار وی قرار گرفت. ترتیاکوف که آرزو داشت سرچشمه‌ها و گسترش مکتب هنری روسیه را نشان دهد شروع به خریداری آثار اساتید قرن هجده و نیمه نخست قرن نوزده و آثار نقاشان دوران قدیم روسیه کرد.
ترتیاکوف از 1890 شروع به گردآوری تمثال‌های مقدسین کرد و مجموعه‌ای کوچک از مجسمه‌ها را نیز جمع کرد. در آغاز گالری وی در خانه شخصی‌اش واقع بود اما با افزایش مجموعه‌هایش، تصمیم به بازسازی خانه‌اش گرفت و از 1870 به مدت سه سال از سوی معماری به نام کامینسکی چندین‌بار بازسازی شد.
او می‌خواست بی سر و صدا و بدون آنکه توجه افکار‌عمومی را جلب کند، گالری خود را به شهر منتقل کند؛ امری ناممکن که ناخشنودی وی را در پی داشت. از 1881 گالری وی به روی عموم گشوده شد و در 1885 این گالری حدود 30هزار بازدیدکننده داشت. در 1892 دو مجموعه از آثار نقاشی اروپای‌غربی را از برادرش به ارث برد و آنها را در دو سالن مربوط به مکتب غرب به نمایش گذاشت. مجموعه آثار موجود در گالری وی از لحاظ ارزش و اهمیت با آثار موجود در بزرگترین موزه‌های روسیه در آن زمان برابری می‌کرد و گالری وی بدل به یکی از نمادهای مسکو شد. در 1891 ترتیاکوف مجموعه خود را به شهر مسکو هدیه داد. در این مجموعه 1287 نقاشی و 518 گرافیک از مکتب روسیه، 75 نقاشی و 8 پرتره و 15 نقاشی منظره از نقاشان اروپای‌غربی وجود داشت. در اوت 1893 موزه موسوم به «گالری ترتیاکوف» رسما افتتاح شد. جدای از گردآوری آثار هنری، ترتیاکوف در امور خیریه نیز فعالیت داشت و مبالغ زیادی به سازمان‌های نیکوکاری هدیه می‌داد. پاول ترتیاکوف در 16 دسامبر 1898 درگذشت.
