Stary cmentarz żydowski w Chmielniku został zlokalizowany za północną ścianą synagogi, w bliskiej odległości od centrum miasteczka, u zbiegu dzisiejszej ulicy Henryka Sienkiewicza i Wspólnej. Jest to bardzo stara nekropolia, a jej początki mogą sięgać okresu średniowiecza.
Jako miejsce pochówku teren ten był użytkowany intensywnie aż do pierwszej połowy XIX wieku. Ze względu na brak miejsc grzebalnych całość nadsypywano wielokrotnie, kolejnych pochówków dokonywano więc warstwowo.
Kirkut przy synagodze zamknięto ostatecznie dla celów grzebalnych po założeniu w roku 1820 nowej nekropolii, zlokalizowanej za miastem, przy ulicy Mrucznej.
Stary cmentarz został zdewastowany w czasie II Wojny Światowej. Niemcy usunęli z jego terenu nagrobki, najpewniej wykorzystując je do celów budowlanych np. utwardzenia dróg. Wikipedia podaje, że do naszych czasów zachowały się fragmenty jego ogrodzenia i bram.