由緒書きには、以下のように書かれています。慶雲4年（707年)の創建と伝えられています。延喜式にも載せられた式内社で、「今昔物語」に「今昔、美作国に中参（中山）･高野（こうや）と申す神まします」と記され、「一遍上人絵伝」にも弘安9年（1286年）の春に一遍上人が美作一宮（中山神社）に詣でた様子が描かれるなど、古来よりその名が知られていました。
中山神社本殿は大正3年4月17日に国指定重要文化財に指定されています。「作陽誌」によると戦国時代に兵火に遭い永禄2年（1559年）に戦国大名の尼子晴久が再建したものとされています。入母屋造、妻入で向唐破風（むかいからはふう）の向拝（こうはい）を有する。「中山造」と呼ばれる美作地方独特の神社建築様式で最古の例とされています。
中山神社神門は市指定重要文化財に昭和50年11月15日に指定されています。もと津山城の二の丸の四脚門（よつあしもん）で廃城後の明治7年（1874年）に中山神社に移築されたものです。藥医門形式。
中山神社の祝木（いぼぎ）のケヤキは市指定天然記念物として昭和48年10月20日に指定されています。推定樹齢800年で、胸高周囲９ｍ。