72年前の今日。1945年7月28日の呉軍港空襲で破壊され，大破着底した巡洋艦「青葉」。1946年11月28日に撮影されたもの。「この世界の片隅に」にも，同じアングルで登場。ニューラルネットワークによる自動色付け。 pic.twitter.com/T7tReXEiho
— 渡邉英徳 (@hwtnv) 2017年7月27日
首都大学東京准教授の渡邉英徳さんは、デジタルアーカイブ研究の専門家で、その一環として古い資料写真をカラー化し、自身でもTwitterに投稿し、話題を呼んでいる。なぜ、モノクロ写真をわざわざカラー化し、SNSに投稿するのか。「貴重な資料をただアーカイブするだけでは意味がない」という渡邉さんに話を聞いた。
AIによる写真の色づけが「記憶を解凍する」
――渡邉さんがTwitterに投稿している写真の中には、戦中の広島を舞台にしたアニメ映画『この世界の片隅に』にも登場する「呉から見たキノコ雲」や、空襲によって座礁した巡洋艦「青葉」のカラー写真があります。これは、どのような技術を使っているのですか？
早稲田大学の飯塚先生たちが開発した「ディープネットワークを用いた白黒写真の自動色づけ」という技術を使わせていただいています。
これ「現代のカラー写真」と「現代のカラー写真を白黒写真に加工したもの」を対にしてコンピューターに大量に学習させ、白黒写真にどのように色をつければ、カラー写真として“それらしく”復元できるかというノウハウを蓄積、その精度を向上させるというAI技術です。
この技術のユニークなところは、「色彩を正確に再現すること」ではなく「どうすれば自然に見えるか」を追求している点です。そのために、写真全体でたとえば土の色は茶色、空は青色といった具合に、オブジェクトごとに分割した画像についてそれぞれAIが配色のバランスを取り、全体の印象と部分ごとの色彩を、私たちができるだけ「自然だ」と思えるように色づけが行われます。
――私もこちらのサービスで試してみたのですが、瞬時に色づけが行われることに驚かされます。よくよく見ると細かいところで色がおかしい部分もありますが、ぱっと見の印象では気づかないですよね。カラー化された写真を、日々Twitterに投稿するようになったのはなぜですか？
カラー変換した写真を自分のTwitterに投稿し始めたのは、タイムライン上を「流れていく」ことがポイントだと考えたからです。
――「流れていくこと」とは？
ウェブサイトに公開して1枚1枚をじっくり鑑賞してもらうのではなく、日常の雑多な情報の中に挟み込まれるように、混じって現れること。これが実は、アーカイブの発信方法としても重要なのです。
――渡邉さんは過去に「ヒロシマ・アーカイブ」を手がけて、大きな注目を集めました。デジタル地図上に被爆者の証言がインタラクティブに表示され、体験した人々に強い印象を残します。これまでアーカイブ、つまり情報をストックする取り組みをされてきた、渡邉さんが「Twitterに投稿」という、いわばフローの手法を採られているのは、少し意外な気もします。
実は、“食い足りない”という感覚を持っていたのです。
――食い足りない？
はい。「ヒロシマ・アーカイブ」では、原爆が投下された頃、つまり72年前の写真をデジタルマップ上に表示することで、伝わりやすい形にしたはずだった。でも、伝えたい人たちに伝わりきっていないな、と。
もともと、「ヒロシマ・アーカイブ」を作ったのは、戦争の記録に関するデータベースの使いづらさを改善したかったというのが、その理由でした。たとえば、戦争中の記録がアーカイブされているあるウェブサイト。そこでは、そこに掲載されている写真や体験談といったコンテンツにたどり着くには、まずサイトにアクセスし、メニューから項目を選び、さらに気になるものをクリックして……と4、5回アクションをしなければならない。
しかも、ツリー型に情報が構成されているようなデータベースだと、縦のつながりはともかく、同じ階層にどんな情報があるのか推し量ることは難しいのです。末端の情報にたどりついた時に、それが自分の見たかった情報でなければ、さかのぼる気も失せて、もうアクセスしてもらえなくなってしまうでしょう。
「ヒロシマ・アーカイブ」の画面。赤い球体は、原爆が炸裂した位置を示している
そういった情報構造を無くそうとして作ったのが「ヒロシマ・アーカイブ」でした。デジタルマップにアクセスすると、全ての情報が俯瞰できる。そして、クリックすると、情報が表示されるだけではなく、他の情報との「位置関係」が明らかになるのです。たとえばこちらの画面では、広島の爆心地を中心に当時の地図を表示し、そこで被爆された方の証言や写真をアイコンで配置しています。こうすると、自分が関心を持った記録から、その近くの記録へ……といった具合に、関心の赴くままに学んでいくことができるわけです。
しかし、時間が経つと、徐々に「ヒロシマ・アーカイブ」に強い関心を持つ人だけがアクセスするようになってきます。最近では「フィルターバブル」という言葉も知られるようになりました。これは、テクノロジーにより、段々と似た嗜好・関心を持った人たちだけが集まるようになることを意味します。つまりせっかく良いコンテンツと見せ方を提供しても、届けきれていないという感覚＝食い足りない感を持ち始めていたんですね。
――なるほど。
国内外の高校生を集めて「ヒロシマ・アーカイブ」を用いたワークショップを開くと、さまざまな交流・対話が生まれます。でも、ネットだとそういった新しいコミュニケーションがなかなか生まれてこない。行き詰まりを覚えていた時に、写真のAI自動着色に出会って、さほど大きな期待はせずに試すだけ試してみたんです。そうしたら、その結果に驚いてしまって。思わず、Twitterに投稿したんですね。
「原爆ドームと調査団」の写真の自動カラー化。「ヒロシマ・アーカイブ」より。こちらも早稲田大のサービスを利用。ほんとうにすごいと思う。 https://t.co/5aVTQMlCPG pic.twitter.com/qy7uVtuVZ6
— 渡邉英徳 (@hwtnv) 2016年10月30日
この写真もよく見ると、焼け跡が緑に着色されているなど、おかしな部分はあります。でも、Twitterに投稿したことで、本質的な議論もできるようになった。たとえば、当時の広島に詳しい方が「市電の色がおかしい。当時は青かったはずだ」と、僕の気がつかなかった点に指摘をくれる、なんてこともありました。
この写真を「ヒロシマ・アーカイブ」にアップしたとしても、サイトにアクセスしてくれる人にしか届かない。でもTwitterなら、リツイートによる拡散という機能がある。それによって、歴史に詳しい人や今回の取材のように技術に関心を持った人からのアプローチなど、さまざまな反応が返ってきます。そこに可能性を感じたんです。
それから継続的に色づけした写真を投稿するようになりました。最初は「AIってすごい」といった、技術に対する反応が多かったのですが、Twitterならではの手応えを感じたのが、「72年前の今日」という投稿です。
72年前の今日。1945年8月6日，「この世界の片隅に」に登場する，呉の海軍工廠から撮影されたきのこ雲。尾木正己氏撮影。ニューラルネットワークによる自動色付け。 pic.twitter.com/i7dhdlVsmS
— 渡邉英徳 (@hwtnv) 2017年8月5日
Twitterは本来、「いま起きていること」が流れてくるメディアです。「AIがすごい」というのは興味を持ってもらうきっかけには確かになるのだけれど、それだとやはり、そういうことに興味がある人しか集まりません。だから、過去の白黒の写真を色づけして流すだけでは不十分で、「同時性・同時代性」を持たせなければいけない。つまり、Twitterが持つリアルタイム性。「日時」という、いわば「縦串」でした。膨大な量のアーカイブでも、「○○年前の今日」起こったことを、Twitter上に流しても自然なカラー写真で投稿すれば、身近に感じてもらえる。
――原爆雲という白黒であったはずの写真がカラーで、しかも同じ日付でTwitter上に流れてくると、「え、これは現代の写真なの？」と一瞬、混乱するというか。スクロールする手が止まりますよね。
たとえAIで着色された写真であっても、昔の写真が流れてくるだけなら、「すごいな」で終わってしまう。でも、今日この日と同じように暑くて青空がまぶしかったであろう日に、このような写真が撮られた、という「同時代性」が見る人にさまざまな感情を呼び起こすのだと思います。
（撮影：尾木正己）
たとえば、「原爆のキノコ雲」と言えば、みなさんこんな具合に白黒の写真として記憶に固定化されていることでしょう。でも、実際の広島は晴れていたので、人々の目には色づけした写真のように見えていたはずです。それは、「ヒロシマ・アーカイブ」を作った僕にとっても、思いが至らなかったことでした。だから、AIが着色したこの写真には新鮮な驚きがありました。
――渡邉さんが投稿した時点では判明していなかった、その写真を巡るさまざまな情報が、Twitter上の反応から明らかになることもあります。
象徴的な展開としては、1880年（明治18年）に京都の伏見稲荷を撮影した写真の「鳥居の色」を巡るやり取りですね。
137年前の京都・伏見稲荷。1880年に撮影されたもの。鳥居の色がこうなるところに、機械の限界を感じる。ニューラルネットワークによる自動色付け。 pic.twitter.com/0jzII89H2T
— 渡邉英徳 (@hwtnv) 2017年9月19日
109年前の日本，男の子をおんぶする少女。Arnold Gentheが1908年に撮影したもの。掲載するのは二度目，お気に入りの一枚です。ニューラルネットワークによる自動色付け。 pic.twitter.com/xSwOrdpeS0
— 渡邉英徳 (@hwtnv) 2017年9月13日
これは僕のお気に入りなのですが、109年前の少女の写真です。僕は、2人は兄弟か従兄弟かと思ったんですが、「眉の剃り方や髪のまとめ方が大人のものなので、母親ではないか」という指摘があり、驚かされました。幼顔に見えますが、当時は15歳くらいでお嫁にいくのは普通でしたから、もしかしたらと。実際に僕の研究室の留学生に見せると、母親に見えるという反応が多かったですね。
人間が持っている先入観をAIは持っていません。AIが「素直に」色づけした写真を生成した結果、僕たちの先入観が覆される例だと思います。
――AIが“正解”を示すわけではないけれど、固定概念を覆すような情報を与えてくれるとも言えそうですね。このような「揺らぎ」は、フィルターバブルを防ぐことにもつながりそうです。
AIは私たちが見てきた以上に膨大な写真を「見て」きていますから、私たちより妥当な案を提示している、とも言えます。
WIRED元編集長のケビン・ケリーが『＜インターネット＞の次にくるもの』（NHK出版刊）という書籍で「コンテンツを保持していることに意味はなく、共有され活性化されることで、情報に「フロー」が生まれることに、皆が価値を見いだしている」といった主旨のことを述べているのですが、僕がやっているのも恐らくこれです。YouTubeやSpotifyなども、まさにこれを体現しています。
デジタルアーカイブの奥底で凍って「圧縮」されていた写真たちを、色づけする。つまり、私たちが普段思い起こすことのない、いわば人類の記憶を「解凍」していると思うんです。僕はこれを「名詞が動詞になる」と呼んでいます。たとえば「190年前の女の子の写真」が「190年前の女の子がこちらを見ている」という具合に、Twitterのタイムラインを眺める私たちに、直接何かを訴えかけてくる。
解凍され、動詞化された写真を、「Twitterに投稿する」というのも大事なポイントです。Facebookだと、たとえ一般公開で投稿してもほとんど僕の友だちの間でしか共有されません。Instagramだといいねがつくけれども、やはり拡散されることがない。Twitterのリツイートによって、直接関係がない人たちにも届く、というのが重要なんです。感想を述べてくれる人もいれば、いま見てきた例のように、当時の歴史や技術に詳しい人が、写真だけでは得られなかった情報を補い、さらに拡散につながっていくこともあるからです。そうなることで、名詞を動詞に変えてくれる人も増えていきます。
実は白黒写真の時代って、19世紀末から20世紀前半までというとても短い期間なんです。それ以降はカラーフィルムが発明されましたし、それ以前は絵、つまり色がついたものも珍しくありません。たまたま白黒写真の時代に、2度の世界大戦など大きな出来事が集中しました。結果として、戦争のイメージを僕たちが頭に思い浮かべるとき、それは白黒でいわば「灰色の時代」として再現されるのです。でも、それが記憶を凍らせている。つまり、つい少し前に起こった現実のこととして振り返ることがなくなっている。でも実際は当たり前ですが、そこには色があり、日常があった。
映画『この世界の片隅で』の監督である片渕須直さんも、私のTwitterによくリプライをしてくださるのですが、この「解凍」というプロセスは、おそらく映画づくりの中でも片渕さんが突き詰められた作業なのではないかと僕は捉えています。ビックリするくらい細かなコメントをいつもいただいています（笑）
このクレーンは迷彩塗粧っきりわかりますね。矩形パターンの都市迷彩で、暗い方は黒色、着色が正確と思います。明るい方は建屋に使われた迷彩の白色よりトーンが落ちるので、白ではない別の色であるようです。
— 片渕須直 映画「この世界の片隅に」公開中 (@katabuchi_sunao) 2017年9月23日
このやり取りは、クレーンの迷彩塗装についてのコメントです。カラー写真で学習したAIであれば赤と白で塗られるはずなんですが、そうならなかったのがおもしろいところです。AIがどう「考えて」この色にしたのかはわかりませんが。
――先ほどの鳥居もそうですが、なぜ「妥当」な答えを導きだせるのか……。
おそらくこのAIを開発された先生方にもそれはわからないと思います。学習を経たAIは、人間の脳と同じような構造になっているのかどうかにも興味を惹かれますし、そこから生まれてくるカラー写真になぜ僕たちが心を惹かれるのか、ということにも関心が尽きませんね。
「ヒロシマ・アーカイブ」では、被爆者やそのご遺族・ご親族の方から当時の写真をお借りして、白黒写真にそれほど馴染みのない高校生たちが、このプログラムでカラー化するというプロジェクトも行っています。たとえば着物の色を巡って、写真を提供してくださった方との対話――これを僕は「記憶のコミュニティ」と呼んでいます――が生まれることに刺激を感じてくれているのかな、と。
プロジェクトに取り組む高校生たちの様子（画像提供：渡邉英徳さん）
――みな笑顔ですね。凝った仕組みを提供しなくても、むしろ写真から何かを感じ取って、楽しみながら自ら動いてくれている、というわけですね。
当時の写真の中からイケメンを探して、カラー化したりしてますね（笑）。写真にロマンを感じてくれているのかもしれません。そして彼ら彼女らが色づけし、被爆者の方々のコメントと共にアップロードすることで、またそれが新たなアーカイブとして記録されていくわけです。
Twitterと連携する機能はありませんが、その写真にメッセージを投稿した人が、どこから投稿を行ったか青い線で表示するようにしています。アメリカからもたくさんのメッセージが、ヒロシマ・アーカイブに寄せられていることがわかります。
タイムライン上で完結するコミュニケーションにどう「揺らぎ」を与えるか？
――2011年に「ヒロシマ・アーカイブ」や、そこから発展した「東日本大震災アーカイブ」といったコンテンツを生みだしていたからこそ、Twitterを通じた自動色づけ写真の投稿と、コミュニケーションの意義に気づかれたわけですね。
そうですね。私自身どのツールを用いるかということよりも、それが生み出す人々のコミュニケーションに関心があります。そして、2011年は日本においてTwitterの活用が拡大した時期でもありました。当初は私も、ヒロシマ・アーカイブという仕組みを作って、そこへのリンクを貼るという使い方をしていたのですが、いまや人々はコミュニケーションも情報収集も、Twitterのタイムライン状で完結させています。しかも人々はそれぞれに閉じた、フィルターの中にあるタイムライン上で過ごしている。
ヒロシマ・アーカイブのような仕組みももちろん大切なのですが、それが届きにくくなりました。であればAIに手伝ってもらって、タイムラインに色づけを施した写真をそのまま投稿しようというのが、デジタルアーカイブ研究者として、「できるだけ多くの人に、実感を伴ってアーカイブに触れてもらうにはどうすればよいか？」という問いに対して、現在の僕の見出した答えですね。
――最終的にはアーカイブのところに来てほしい、というのは変わらない？
はい、今年の8月6日にも「72年前の今日」という一連のツイートをした後で、「ヒロシマ・アーカイブ」を案内しています。
――一般の企業がどうSNSを活用して、自分たちのコンテンツにアクセスをしてもらうかという話にも通じるものがあるように思えます。
ソーシャルメディアに触れる人々の日常の中に「差し込む」ということでしょうね。コンテンツの存在そのものをアピールするだけではダメで、メディアの特性、Twitterであれば同時性を伴ったメッセージが重要なのだと思います。そうしないと、「自分とは関係がない」で終わってしまいますから。
――色づけした写真をTwitterに投稿するというのは、一見容易な作業に見えますが、投稿時間の調整や準備も必要ですよね。反応が返ってくれば、タイミング良く回答しなければならない。研究や講義もあるなかで、大変なのではないですか？
そうですね。でも僕にとっては「学び」なんです。毎日、「今日は何が起こった日なのだろうか」と調べることにも、Twitter上で生じるコミュニケーションにも学びがあります。それ自体が研究の一環でもありますし、日々の講義にも活かされていると思いますね。
ヒロシマ・アーカイブは、原爆が投下された「その日」を描き出すものですが、実際はその前後にも「何か」が起こっていた。原爆が落ちた日だけが戦争ではないのです。1日1日に過去の出来事に思いを馳せる「何か」があるはずです。
この他にも、自動色づけを行った写真を元に現地取材を行うことで、当時の文化・風習に紐付いた新しい発見があったりもします。白黒写真では気づかなかった部分が、カラー化されることで研究の対象となったり、取材を通じて当時を知る人とのコミュニケーションも生まれたりしています。AIと人がコラボレーションしてはじめて得られる成果だと感じています。
――なるほど、よくわかりました。アーカイブとコミュニケーションについて先生はデジタルマップから、AI・Twitterを活用した研究へと進んできたわけですが、この先、どういった針路を想定されていますか？
デジタルマップ自体も、当初はGoogleマップを使用していたのですが、APIの提供終了を受け2014年にオープンソースでJavaScriptだけで動くCESIUMに切り替えています。これ自体も進化ですし、いま起こっているAIの活用も進化を促進することになるはずです。ただ通底しているのは「名詞の動詞化」で、これからも変わらないと思います。アーカイブを息づかせる技術であれば、どんどん取り入れていきたいですね。
執筆：まつもとあつし 編集：ノオト
本稿は2018年2月13日、HRナビに掲載された記事です。