Впервые вопрос о городском знаке (гербе) поднимался в 1960-1970-е гг.
Рубцовские художники предлагали различные эскизы гербов, один из них (автор Ираида Акрамова) был опубликован в журнале «Техника-молодежи» (1966 г., № 7). Он был выполнен в традиционной форме русского щита, поле делилось по диагонали на две части: левое – зеленого цвета, с изображением в углу желтого колоса, правое – желтого цвета, внизу изображена платформа с 2 тракторами красного цвета. Основная идея, которую должен воплотить герб, – выражение трудовой славы г. Рубцовска, знаменитого урожайными полями совхозов и колхозов района и продукцией Алтайского тракторного завода.
Современным уставом г. Рубцовска предусмотрено наличие официальных символов, отражающих историю, культуру, национальные традиции города. Для разработки проекта знака города в 2002 г. комитетом по культуре администрации города был проведен конкурс на лучший эскизный проект знака города, в результате которого художественным советом был одобрен проект, предложенный художником С.И. Петровым. Администрация города неоднократно выносила на обсуждение городского Совета депутатов варианты знака города (в качестве альтернативного был избран эскиз, разработанный художником С.Ю. Гужиным). На сессии городского Совета депутатом Д.З. Фельдманом был предложен третий вариант знака города, автором которого был главный конструктор отдела перспективных проектов предприятия ОАО «Алттрак» Виктор Соколов. Эскиз знака был составлен с помощью компьютерной графики при участии конструктора того же отдела Валентины Шеболтаевой. Этот вариант и был поддержан депутатами.
Знак города утвержден постановлением Рубцовского горсовета депутатов от 20.07.2002 г. № 363. Он имеет форму геральдического щита. В середине щита на фоне солнечного круга размещена часть шестерни, которая символизирует машиностроительный профиль промышленного предприятия нашего города. Внутри солнечного круга изображен свиток, на котором отмечен год основания Рубцовского поселения – 1892 г. Синяя лента, разделяющая щит по диагонали с правого верхнего угла, символизирует водную артерию — р. Алей. В левой верхней части щита на фоне синего неба изображен сокол, обитатель степных территорий. Сокол, раскинув крылья, парит над полем спелой пшеницы, на котором изображен пропашной трактор — продукт градостроительного предприятия — Алтайского тракторного завода. Зеленая полоса вдоль символической реки обозначает жизнь, плодородие, природу. В нижней части знака рядом с тремя спелыми колосьями пшеницы красными буквами написано «Рубцовск».
В соответствии срешением Рубцовского горсовета депутатов от 30.05.2006 г. № 363 «Об утверждении Порядка использования Знака города Рубцовска», знак можно размещать в качестве наглядной агитации в помещениях и на улицах города, можно использовать в полиграфической продукции, на товарах повседневного спроса, но только с разрешения администрации города и при условии приобретения такого права.
