行政书士的前身是根据1872年（明治五年）制定的太政官达“司法职务定制”设立的代书人制度。在这个代书人制度下，从事制作提交给市町村政府办公室或警察署等文件的人，被称为行政代书人。明治三十年代后期，警视厅令和各府县令制定了“代书人取缔规则”。1920年（大正九年）11月，为了统一这些监督规定，内务省制定了“代书人规则”。 战后，根据《日本国宪法施行时现行命令规定的效力等相关法律》，代书人规则于1947年（昭和二十二年）12月失效。随后，考虑到居民的便利性，社会上推动了法制化的需求，于1951年（昭和二十六年）2月10日制定了行政书士制度，通过确保其业务的适当性，促进行政相关手续的顺利实施，为国民的便利做出贡献，《行政书士法》由此诞生。同月22日，该法律以第4号法律公布，并于3月1日施行。 经过这样的历史沿革，行政书士制度成立，并经历了多次法律修订，发展至今。