Computer Vision

Python, Computer Vision, AI, Transhumanism 関連

ビルから廃墟を生成したい

CycleGAN and pix2pix in PyTorch

https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

 

プログラムは前回と同じ。今回は、ビルを廃墟化できるか試してみた。

 

廃墟画像は、軍艦島や、アンコールワットの遺跡など、20枚弱。

建物の画像はimagenetから取得。

 

結論からすると今回はあまりうまくいかなかった。

そこそこうまくいった感じの画像はこちら。左が元画像、右が生成画像。

 f:id:tsubute:20190502102023p:plainf:id:tsubute:20190502102020p:plain

元画像が、やや古そうな様式の建物、そして建物にある程度接近している写真だと少し馴染むようだ。

 

f:id:tsubute:20190502102017p:plainf:id:tsubute:20190502102015p:plain

失敗例。遠景は無理があった。

加えて、空との違いが不明瞭な画像という事もあり、とりあえず全体が緑っぽくなっただけでした。

 

逆に廃墟を入れたらどうか試してみた。

f:id:tsubute:20190502111317p:plain

左が元画像、右は生成画像。緑が増えている。

廃墟にみどりが増えたよ!やったー。

 

f:id:tsubute:20190502102645p:plain

今回廃墟データとして使用した画像の一つ。

学習データと、元画像。構成や構図はある程度近い方がうまくいきそうだ。

 

ということで、廃墟を生成したい場合は、廃墟画像と同じぐらいのスケールの画像を用意する事。

生成元となる画像は、同じぐらいのスケール感で、古そうな建物が良い。

さらに、廃墟画像にある程度似た構造の建物を使うと、古い建物の緑化事業が捗りそうという話でした。