「公務員制度」(シビル・サービス、civil service) という言葉は、比較的古くからある概念を表現する比較的新しい言葉だ。多忙な専制君主は統治まで手が回らなかったため、
「効率的な統治を実現するための専門官吏による官僚制度」の必要性は昔からあった。シビル・サービスという言葉はインドにおけるイギリス行政府で初めて使用され、およそ1世紀前に、チャールズ・トレヴェリアン卿が公務員試験制度を創設したことで一般化した。これにより、戦う以外の方法で王に仕えることが可能になったのだ。

公務員制度の起源は (お役所に欠かせない「紙」を発明した) 中国にある。中国最初の中央集権王朝である秦は、広い国土を統治するために官僚機構を必要とした。官僚の採用は地方官吏の推薦にもとづいておこなわれ、紀元前124年には、官僚候補を育成するための「太学」が漢の武帝によって設立された。唐の時代になると、官僚採用は推挙ではなく、科挙と呼ばれる登用試験によっておこなうことが一般的になった。武則天の時代に科挙は拡充され、宋の時代に最も普及した。受験者は四書五経の暗記、詩作、書の能力を試されたが、このことからは読み書きの能力が重視されていたことがうかがえる。

西洋の官僚機構の礎を築いたのは几帳面なローマ人だった。ローマ皇帝アウグストゥスは、教養のあるエクィテス (騎士階級) を重用し、政府の責任ある立場に就かせることで官僚機構の土台を作った。確かに騎士としてのエクィテスの経歴は、遠方の属州でローマの支配を強固にするのに役立った。クラウディウスの時代になるとエクィテスの立場は確固たるものになり、代官、さらには長官に任命され、消防から穀物供給まで行政の一切を任された。その後の歴史で多少の変遷はあるが、公務員制度は今に至るまでおおむね当時と変わっていない。