慶長8年(1603)2月6日、京都の伏見城において美作一国を拝領した森忠政公は、美作の国府であった院庄に城館を築くこととし、この地に滞在した。ところがその翌年、その後家臣同士の争いや、地の利が悪いなどの理由で城の普請を中止し、家臣を美作国内に派遣して適当な築城候補地を探させた。　その結果、美作のほぼ中心に位置すし、吉井川と宮川の合流点を見おろす小高い丘であった、鶴山（つるやま）を城の候補地と決定し、早速この地にあった鶴山八幡宮を別の場所へ移し、築城を開始した。
また、森家の家紋が「鶴の丸」であることから、鶴山（つるやま）の名前を（かくざん）とし、又地名については津山（つやま）とした。こうすることで「つるやま」という呼称を消したのである。また、城下に徳守神社を造営して、院庄でのようなトラブルが起きないよう祈願所とし、さらには城下町全体の惣鎮守とした。

　また忠政公は、大工の保田惣右衛門を豊前国小倉（現在の福岡県北九州市）に派遣し、小倉藩主細川忠興の居城である小倉城を海上から偵察して図面を描かせようとした。細川忠興公は忠政公と歳も近く大変仲が良かったといわれ、当時忠興公は建造したばかりの小倉城忠政公に自慢していたらしい。しかし、この偵察隊は海上で生活しながらこの作業を行ったため、船上の松明の明かりが夜の小倉沖に浮かび上がってしまい、たちまち小倉藩士の見つかるところとなり、一行は城内に連行されて尋問を受けることになった。ところが、津山藩主森忠政の家臣であることが判ると、たちまち当時在城していた細川忠興公の知るところとなり、忠興公は笑ってこれを許し、自ら城内を案内させた上に、城の絵図面を土産に持参させたといわれる。自慢の城を友人に関心を持たれたことが嬉しかったのだろうか。そして、天守閣が落成した時には忠興公から篇笠形の南蛮釣鐘が贈られたのである。ポルトガルで鋳造されたこの鐘は当時大変高価なものであり、長崎を経由して細川家に渡来したものだった。明治の廃藩まで天守閣の最上階に吊るされて利用され、現在は大阪の南蛮文化館に展示されている。

　築城を開始した翌年（慶長10年1605）には、天守閣と本丸御殿の一部が落成し、大般若経会が催された（大般若経会とは600巻からなる経文を省略せずに読む儀式で、多くの禅宗寺院では正月に行われる）。しかし、この年の2月に忠政公は江戸城の城普請を命ぜられ、津山城普請をしている大工や家臣の多くを江戸に送らねばならず、津山城の築城が滞るようになり、このときの負担が積み重なって慶長13年（1608）には、津山城の普請に従事していた労働者が普請奉行を襲撃する事件が起きている。このときの襲撃事件は結局労働者が罰せられる形となり、足軽ら数人が処刑された。 また、この年の10月には津山城の石垣を切り出す為の石切場で、 重臣同士の喧嘩が起きる。各務四郎兵衛と小沢彦八である。各務は知行8,000石、小沢は1000石という、高禄の家臣であり、それを仲裁しようとした、7,000石の細野左兵衛も腕を切り落とされてしまい、失血死してしまい、細野の家臣がこの2人にあだ討ちをして、3人とも死んでしまう事態となり、当時江戸に居た忠政公はこの知らせに激怒して3家を改易してしまった。この事件は重臣の大塚丹後によって無事に鎮圧されたが、更に事態が悪化していたら御家騒動となって、津山藩を改易されてしまう大事態になりかねない事件であった。

しかし、この津山城の築城も途中で中止をせざるを得ない事態が発生した。幕府が元和元年（1615）に公布された武家諸法度である。その武家諸法度の中に「諸国居城、修補を為すと雖も必ず言上すべし、況んや新儀の構営堅く停止せしむる事」という条項があり、つまりは「全国の城はたとえ修理であっても必ず幕府に届け出ること、したがって現在建設中の城も中止すること」という意味であり、尾張徳川家が建造中であった名古屋城でさえも、これを遵守して中止した。また、後にこの条項違反を理由に福島正則が処罰されている。そのため忠政公の津山城においても、中止をせざるをえなかった。その痕跡は現在も津山城の各所に残っている。おそらくこの法度が発布されなければ、津山城の普請はまだまだ続いたと思われる。1604年の築城開始から11年足らずで完成したとされるのは、そのためであろう。