Формування художньої колекції Маріупольського краєзнавчого музею почалось ще у 1930-х роках. У 1937 році було відкрито перший художній відділ, що налічував понад 50 картин. У 1960-х роках при музеї відкрилась картинна галерея, яка стала центром знайомства мешканців міста з мистецькою спадщиною України та світу.

В цей період музей отримав твори, які повернули до Маріуполя спадщину його славетного земляка – пейзажиста Архипа Івановича Куїнджі. Зокрема, ескіз «Червоний захід», етюди «Ельбрус» та «Осінь. Крим» надійшли з Російського музею м. Санкт-Петербургу, де тривалий час зберігалися, але історично належали до творчої спадщини нашого міста. Разом із ними були представлені роботи сучасників А. І. Куїнджі, які музей отримав з Третьяковської галереї, що дозволяло показати ширший мистецький контекст епохи. Важливим доповненням став рідкісний портрет митрополита Ігнатія, переданий Одеським історичним музеєм, який відображав духовну й культурну спадщину Надазов’я.

Колекція поповнилася й іншими визначними творами: «Біля берегів Кавказу» Івана Айвазовського, «Море» Миколи Дубовського, етюдом «Море» Льва Лагоріо та офортами Івана Шишкіна. Водночас значну частину зібрання складали полотна українських художників та сучасних маріупольських митців, що підкреслювало зв’язок міста з національною культурою.

29 жовтня 2010 року в історичній будівлі на вулиці Георгіївській відбулось урочисте відкриття Художнього музею імені А. І. Куїнджі. На першому поверсі розташувалась експозиція, присвячена життю та творчості майстра, а на другому – виставкові зали, де демонструвались твори сучасних художників.

Таким чином, художня колекція музею була не лише зібранням цінних експонатів, а й символом повернення та відродження культурної ідентичності Маріуполя і Надазов’я.

Археологічна колекція традиційно займала важливе місце в зібранні музею. У фондах зберігались унікальні комплекси Амвросіївської палеолітичної стоянки, матеріали курганних могильників Північного Приазов’я, золотоординського могильника у балці Водяній, запорозького укріплення Кальміус. Окрасою зібрання були 46 кам’яних статуй, переважно епохи середньовіччя.

Серед матеріалів, що стали гордість музею – унікальний поховальний комплекс V тис. до нашої ери, який увійшов в історію під назвою Маріупольський неолітичний могильник. Він був виявлений у 1930 році під час закладки доменної печі №1 на заводі «Азовсталь». Дослідження проводилися під керівництвом археолога з Києва професора М. О. Макаренка. До складу експедиції входили співробітники музею. За результатами археологічної експедиції фонди музею поповнились зразками кам’яних знарядь праці, прикрас з іклів вепра, кісток та черепашок. Тоді ж були зроблені монолітні вирізки двох поховань. Багатотонні ящики на возах привезли до музею та через віконний отвір другого поверху внесли в експозицію. Ці унікальні археологічні знахідки були знищені внаслідок російських бомбардувань навесні 2022 року.

Музейні колекції документальних та фото-матеріалів були найбільшими у кількісному відношенні. Серед документів, що зберігались у зібранні, найбільшу цінність представляли жалувана грамота Катерини II та підтверджувальна грамота Олександра І, що засвідчували депортацію греків з Кримського півострову, документи Маріупольського грецького суду – місцевого органу самоврядування кінця XVIII – середини XIX ст., зразки ділових паперів XIX – XX ст.

Фотографії, негативи на склі та плівці, починаючи з другої половини XIX ст., відображали природу, історичні та культурні події, розвиток економіки міста і краю.

Важливою частиною колекції були поштові листівки з видами Маріуполя, вперше видані у кінці XIX ст. Вулиці та площі міста, культурні та навчальні заклади знайшли відображення на цих фотодокументальних пам’ятках, які є незамінними в якості ілюстративного матеріалу до літопису міста.

Змістовні зібрання документальних джерел давали можливість всебічного вивчення історії та розбудови Маріуполя, починаючи з кінця XVIII ст.

Етнографічна колекція музею почала формуватись вже у перші роки його існування. Переважали в ній предмети унікальної культурної спадщини маріупольських греків. Польові дослідження музейників, що здійснювались ще у 1920-30-х роках, дозволили зібрати колекції грецьких тканин, килимів, доріжок, великодніх писанок, зразків ритуальних хлібних виробів, жіночих прикрас, весільного одягу, амулетів, церковного начиння, інвентар та знаряддя праці, керамічний і мідний посуд.

У 1928 році етнографічні матеріали грецької колекції у вигляді пересувної виставки викликали ажіотаж у Харкові на Виставці досягнень національної політики в Україні. А незабаром, на міжнародній виставці у Кельні колекція грецьких вишивок мала величезний успіх та інтерес серед мистецтвознавців.

З часом музейне зібрання збагатилось предметами української культури, адже українці мешкали на Маріупольщині ще з часів козацької доби. Українські вишиті сорочки, плахта, рушники вирізнялись своєю символічною глибиною. На поч. XIX ст. до регіону почали прибувати німецькі та єврейські землеробські колоністи. Їхній побут та культурні прояви також знайшли місце у музейній колекції.

Предмети етнографії основних національних груп краю експонувались у філії Музей народного побуту, що діяла з 1989 року в окремій будівлі кінця ХІХ ст. по вулиці Георгіївській у Маріуполі.

Фондове музейне зібрання боністики представляло паперові грошові знаки різних часів. Спеціальна історична галузь, до якої належить боністика, через особливі грошові пам’ятки дозволяла дослідити певні аспекти історії грошового обігу на території краю.

У колекції були представлені банкноти та облігації від середини ХІХ ст. до фінансової системи сучасної України, розрахункові та кредитні знаки, що випускались місцевими підприємствами у 1920-х роках. Найцікавіші екземпляри боністики представляли грошові знаки Російської імперії, Української Народної Республіки, СРСР, незалежної України та зарубіжжя, періоду Першої світової війни, революцій та визвольних змагань, нацистської окупації. Ці музейні предмети викликали цікавість з точки зору історичної цінності та художнього оформлення, активно використовувались в експозиційній та виставковій роботі.

Нумізматична колекція почала формуватись ще у період роботи Олександрівської чоловічої гімназії у Маріуполі, згодом перейшла до фондів краєзнавчого музею. У зібранні зберігались монети Римської імперії, Візантії, античних міст Північного Причорномор'я, Московської держави, Російської імперії, Речі Посполитої, Австро-Угорщини, СРСР.

Практичне значення нумізматики у науково-дослідній роботі музейників виходило далеко за межі колекціонування, систематизації та вивчення монет. Ці пам’ятки, в першу чергу, виступали важливим джерелом для вивчення історії монетної справи, досліджувались як свідоцтва внутрішніх та зовнішніх економічних зв’язків Надазов’я, розвитку ремесел, грошового обігу та товарного виробництва різних часів.

Нагороди, пам’ятні медалі, нагрудні знаки, жетони, різноманітні значки періоду XIX–XX ст. формували фалеристичну колекцію музею. Серед них особливу цінність мали нагородні та пам’ятні медалі часів Кримської війни 1853–1856 років, Російсько-японської війни 1904–1905 років, Георгіївські хрести періоду Першої світової війни. Значну частину колекції складали радянські військові та трудові ордени і медалі періоду 1920–1990 років.

Вивчення предметів фалеристичної колекції у музейній галузі надає уявлення про розвиток нагородної системи, символіку, історію місцевих і регіональних підприємств та інституцій, індивідуальні факти з життя громадян.