과거제의 도입은 귀족 중심 사회에 진입 가능성을 넓히는 계기를 제공했다
고려는 건국 초기부터 신라의 골품제와는 다른 정치 체제를 지향하며 개방적인 관료제도를 추구했다. 그 대표적인 제도가 바로 과거제였으며, 성종 4년(985년) 최승로의 건의로 본격적으로 시행되었다. 이는 유학을 중심으로 한 시험 제도를 통해 인재를 선발하는 방식으로, 혈연이나 가문보다는 개인의 학문적 능력을 평가의 기준으로 삼았다. 물론 초기에는 문벌 귀족들이 대부분 합격했지만, 점차 중소 지주층이나 지방 향리 자제들 또한 교육을 통해 과거에 응시할 수 있는 가능성을 갖게 되었다. 이는 문벌 귀족의 독점을 완화시키는 방향으로 작용했으며, 새로운 계층이 국가 체제에 진입할 수 있는 창구로 기능하였다. 그러나 과거제의 실질적인 수혜자는 여전히 상류층이었고, 일반 농민이나 노비 등 피지배 계층은 교육의 기회조차 얻기 어려웠기에 제도의 형식적 개방성과 실질적 폐쇄성이 공존하는 특징을 지녔다.
과거제는 문벌 귀족의 권위를 유지하는 도구이자 새로운 계층 형성의 통로였다
고려의 과거제는 명목상 실력 위주의 관료 선발 방식이었지만, 실제로는 특정 가문 출신의 합격률이 매우 높았으며, 이는 문벌 귀족의 사회적 권력을 재생산하는 기제로 작용했다. 특히 경학(經學) 중심의 시험 과목은 집안의 학문적 전통과 자원을 필요로 했기에, 교육을 전문으로 할 수 있었던 문벌 귀족이 유리할 수밖에 없었다. 그러나 동시에 향리, 서민 출신 중에서도 특출난 인재가 과거를 통해 중앙 정계에 진출하는 사례가 있었고, 이는 조선 시대 사림 세력의 전신이 되는 중소 지주층의 성장으로 이어졌다. 고려 후기에는 권문세족과 신진 사대부 간의 갈등이 표면화되면서, 과거제가 계층 이동의 무대라는 성격이 더욱 뚜렷해졌다. 즉, 과거제는 기존 질서를 유지하면서도 부분적인 유동성을 허용한 체제였고, 이러한 이중성은 고려 사회의 신분 구조를 완충하는 중요한 제도적 장치로 평가된다.
과거제의 형식적 개방성과 실질적 한계는 고려 신분 질서의 양면성을 보여준다
고려의 과거제도는 겉으로 보기에 능력주의적 제도였으나, 실제로는 교육 기회의 불균형, 사회적 자본의 편중, 시험 과목의 한계 등으로 인해 진정한 실력 중심의 사회로 나아가기는 어려웠다. 과거시험에 응시하기 위해서는 일정한 교육과정과 서적, 스승, 유예 기간이 필요했으며, 이는 곧 경제적 여유와 문화적 기반이 있는 가문에 유리하게 작용했다. 더욱이 음서 제도와 같은 세습적 관직 진출 경로가 여전히 병존하고 있었기 때문에, 과거제를 통한 사회 이동은 제한적일 수밖에 없었다. 그럼에도 불구하고 과거제는 고려의 신분제 사회에서 유일하게 신분의 경계를 넘나들 수 있는 공식적 제도였고, 이러한 제도적 장치는 이후 조선 시대의 보다 정교한 과거제 운영으로 발전하는 토대를 제공하였다. 따라서 고려 과거제는 봉건적 질서를 유지하면서도 점진적인 사회 유동성을 가능케 한 중세 한국사의 전환점 중 하나로 평가된다.