平南小刀的生产历史可追溯到清乾隆十三年（1748年），当时平南县上渡雅埠村六凤一带郑氏村民以生产小刀为生，开设有很多家庭作坊。二十世纪初，一个叫黄大泡的人从桂平马皮灌水村迁到平南谋生，投靠上渡雅埠打制小刀的亲戚，也以打制小刀为生。

由于家境贫寒，他的大儿子黄三利（1906—1945）自小便辍学在家帮忙。黄三利聪明伶俐，悟性甚高，他在原来的技术基础上摸索出一套独特的淬火技术。后来他雇请了3名工人在平南镇乌江村以“黄三利”为招牌开了间小作坊，他打制的小刀要经过选料、剪料、锻打、淬火、精锉等三四十道工序，特别是他自创的独特的淬火技术，打制出来的小刀刚柔相济，刃口锋利，式样精巧，工艺细腻，价廉物美，“三利”小刀因而远近闻名。

三利小刀从上世纪三四十年代开始，便以其锋利耐用，款式新颖，饮誉广西、粤港澳，甚至东南亚、美国、欧洲、日本等地区和国家，历经数十载长盛不衰，成为一代传奇产品和传奇人物。

平南地处当时广西的水陆交通枢纽，多民族聚居地区，承时代潮流、革命先声，成为太平天国大成国革命、辛亥革命、第一第二次国内革命战争以及军阀混战的重要活动区域或战场，县内多处地方尤其是与县城一河之隔的上渡街，土枪、土炮手工业兴旺发达。上世纪二三十年代国民革命“底定”以后，禁枪炮生产，上渡的枪炮手工生产遂转而适应生产民用农具、家具菜刀及小刀等。小刀因只用铁材，锋利度和耐磨度均欠佳，但却成就了三利小刀得以发展革新技术的重要基础。