佳木斯原名“甲母克寺噶珊”、“嘉木寺屯”,为满语,意译为“站官屯”或“驿丞村”。
早在6000年前,佳木斯地区就有人类活动。历史文献记载,在公元前20世纪夏商之际,肃慎人即在此地繁衍生息,并向中原王朝连年朝贡,接受管辖与封赏。
汉晋时代,肃慎改称为挹娄,南北朝时称为勿 吉,隋唐时称为靺鞨,均臣服中原王朝。
唐朝曾设立黑水都督府,管辖今佳木斯一带。
辽时靺鞨改称女真,辽王朝在依兰以下沿松花江、黑龙江两岸建立五国部,管辖这一地区。
元初归开元路,后属水达达路。明代于黑龙江入海口附近设立奴儿干都司,统辖黑龙江、松花江和乌苏里江流域,直至库页岛广大地区。
清代初年设宁古塔昂邦章京,管辖吉林、黑龙江地区,北至外兴安岭,东至滨海及库页岛。清雍正十年(1732年)增设三姓副都统。
1910年3月1日正式设置桦川县,改隶桦川县管辖。
1925年1月,桦川县公署在佳木斯设“佳木斯行署”,县知事在佳、悦两地轮流办公。
1929年5月5日改为“桦川县驻佳木斯办事处”。
1930年佳木斯屯与东兴镇合并,定名为“佳木斯镇”,隶属桦川县管辖。
1937年12月1日正式成立伪佳木斯市公署,由三江省管辖。