高砂は、江戸時代には加古川舟運と瀬戸内海運を結ぶ中継交易港を有し、主に米、干鰯、塩などの商品集散市場として繁栄した。しかし、明治に入ると地租改正により租税は金納になり従来の年貢米の輸送がなくなったうえ、高砂は明治二十一年に敷設された山陽鉄道の経路から外れたことにより、物資集散の中継港としての機能は失われ衰退の危機に瀕していた。その打開策として、第四代高砂町長・松本利平の卓越したリーダーシップの下で、町会議員らの有力者が一体になって企業誘致に粘り強く取り組んだことである。　
　高砂町は明治三十四年に三菱製紙を迎え、そして明治四十年には鐘紡を西方の西畑に誘致した。当時鐘紡は、生産増強に力を入れており、支配人の武藤山治が直にやってきて、高砂町面積のなんと八割近くの百三万平方メートルの土地を買収した。創業当時は、そのうちの僅か六万七千平方メートルを工場用地としただけで、それ以外の土地は松林や湿地、田圃という自然のままの姿で残されていた。鐘紡の工場建設地は海岸に近い字西畑で、土地面積は約十四町歩である。この地には墓地及び寺院一カ所と民家十二戸があり、高砂町当局はこれらの移転先を字木曽に撰びそこへ移した。
　高砂町の町場は、安永二年の「町方明細帳写」によると、職業ごとに町割りした町数は、寺町を合わせて二十九であり、ここには木曽町はない。ただ、三谷松園が文久三年から明治初期の地誌を叙述した、『高砂雑誌』に記載されている高砂の地図には木曽はみえる。しかし集落はなく田地など空地であったと思われる。前述したように、明治四十年、鐘紡工場が建設されるときに、寺院一カ所と民家十二戸が木曽に移転し、大正になって木曽町に成ったと思われる。この木曽町には次のような伝承がある。
　今より四百三十年程前、織田信長の家臣であった羽柴秀吉が軍師竹中半兵衛と黒田官兵衛を連れて播州三木城を攻めた。当時、中国地方の覇者・毛利氏が、小早川隆景、吉川元春の両大将を出兵させた。彼らは軍兵と兵糧を船に積んで、海路船二百隻にて高砂浜と尾上浜に上陸して、別所氏に助勢した。天正八年、三木城は落城したので、毛利軍は海路で中国地方へ帰って行った。その際、毛利方の戦死者や病死者を高砂の海辺の墓地に集めて葬ったという。そのとき身内の者が墓守をして弔うために高砂に居残った。その子孫が現在木曽町の豊田氏、北村氏らであるという。なお、この三木合戦のとき、高砂城主・梶原景行は三木城に加担したため、天正八年一月三木城が落城すると、景行は城を棄て立退いている。
　明治二十二年、高砂二代目町長美濃部秀芳のとき、字西畑は、その当時十戸足らぬ小寒村であったので、東宮町の東浜に対して西の浜と呼んでいたという。町役場の書庫から出てきた過去帳、人別帳の古文書によると西の浜の住人は士族だったという。

昭和五十年、木曽町の歌人でもあった北
村浅吉氏(当時七十歳)は次の短歌を詠んで
いる。

　静かなる海辺に近きわが里は　遠き祖先
が移り住みしか

　わが郷に工場の建つはあのあたりか日高
すくいし昔恋ふるも