河野恭之さん : テクノロジーによる記憶の拡張は可能か？

記録するというのがいかに重要か

  • 歩数と体重の推移グラフ
  • 定量化して記録していくと目標ができる
  • 結果: 着実に体重が落ちている

これまでにやってきたこと

  • Life Logから「思い出す」ことを支援する
  • 思い出すことのトリガーとなる
  • 未踏ソフトウェア「体験メディア」PM
    • 体験を記録して、再利用するプロジェクト

記憶拡張への基本スタンス

  • 人間の一生分の記録に必要な容量は10TB
  • 全部記録(録画)しておいて必要な記録をあとからみればよい
    • 「この人はだれ」
    • 「あれはどこ」
    • 「ここで何をした？」
    • あとから思い出せればいい

記録 == 記憶

  • 昔から人は記録から知見を得てきた
    • 書物・絵による知識の継承
    • 記憶を絵に圧縮: 動画 -> 静止画
    • 記憶を言語に圧縮: 動画 -> 文字列
  • デジタル時代の記録は？
    • 画像・映像が記録閲覧可能になれば記憶は？
  • 「記録==記憶」の妄想は過去に多数
    • これから紹介

悪夢・デジャブ: 思い出したくない系

人生記録・演出、書き換え系

  • 記録の検索
  • 「Final Cut」
    • 人生記録演出
    • その人の一番いいシーンを切っていく
  • 「Matrix」
    • 記録の書き換えと記憶の書き換え

即物系

ドラゴンボールのスカウター

  • パイロット用バイザーの延長
  • ARアプリの一分野:

憑依系

モニュメント・人型メモリ

  • 「トライアングルブレイス」
    • 死んだ人の形を残してやる
  • 大きなのっぽの古時計の歌
    • 人が記憶しているというより古時計が見ていた記録?
    • 古時計に対する記憶

作ったもの

  • 思い出し系: その場所での出来事
    • Residual Memory
  • 即物系: もの探し
    • I'm Here!

アンチデジャビュ

  • 「ここでなにかみたんだけどな」を思い出す操作
    • デジャブはなかったのにあったように思う
  • 取得情報(視点映像)を追加しながらの検索処理
  • 人が思い出すためのトリガーとして

Residual Memory

  • 常時獲得画像からの類似映像検索
  • 記録: 映像のセグメンテーション
  • 検索: 移動情報を利用した映像検索
    • 実時間類似映像検索
  • 1. ジャイロを利用した画像補整、映像のセグメンテーション
    • 頭が動いている領域に対しては類似検索をしない
  • 2. 位置に依存した観測画像の連続性を考慮した高速検索
  • エレベーターの前に来る映像からこの前エレベーターの前ですれ違った人の映像を検索

I'm Here: 物忘れ防止ウェアラブルIF

  • 対象物をカメラの前で回転させて登録
  • カメラで視点方向の映像を常時取得・記録し、保持物体を認識
    • 登録済み物体が写ったら記録
  • もの探し発生時: 探したい対象物をリストから検索
  • 対象物が現在ある(であろう)場所の情報を*映像として*提示
    • 最後に記録した映像が表示

ObjectCam2

I'm here 用の近接物を簡単に取り出せるようなカメラを作った

I'm Here (ファッション展開)

  • 奈良女子の人にヘルメットなんかかぶりたくないと言われた
    • というわけで、腰につけるポーチ型にした
  • 実は腰につけた方がもの探しという観点に対しては適している
    • 物を置いた時には人の頭は別のところを向いている

「妄想」と比べて

  • 「日常生活」には驚きが少ない
    • 映画とは異なる
  • 日常を扱うことは難しい
    • ありふれた出来事 = 大量の類似イベント
    • ここから検索することが課題

過去を振り返るだけでよいのか？

その先に自分がすべきことを教えてくれるわけではない

  • はやりの記録利用形態
    • ソーシャル・集合知
      • 過去にみんなが検索したのはこれ？
      • あなたが買った物を買った人は過去にこれを買った？
      • それで満足？
  • 未来志向!: Contextの収集・利用
    • 結局は(現在を含む)過去を利用することになるのか

答えはでてない。

といいつつ現在目指している物

  • 一人称情報のシームレスな記録と分節化
    • ソーシャルなアプローチは誰かがやるでしょう
  • 歩行 <--> パーソナルビークル <--> 自動車
  • いくつかのセンサ情報を併用してContext把握

Q and A

  • Q: 腰につけた奴のカメラが横に向いているのは？
  • A: ベルトの位置から人間の手が動く領域がなんとなく撮れる
    • Try & Error で決めた
  • Q: 携帯電話を登録するときにカメラ前2cmで撮っていたが、そんなカメラがあるのか？
  • A: あれはテレビ用
  • Q: NICTで同じようなことをやっていた
    • 定期入れに全部RFIDをつけて、忘れ物チェック
    • あの当時のRFIDはすぐ近くだけしか読めなかった
    • バッグを前にかざしてぐるぐる回す
      • 回しているうちに忘れ物を自分で思い出す
      • 「忘れ物をチェックします」と言われるだけで思い出す
    • 短期的なものはいらないかも
    • もっと長期的なもの(冬物はどこに置いたっけ、とか)
  • A: I'm Hereはもっと日常的に、オフィスでコーヒーカップをどこかに置き忘れたとか日常的に無意識に何かをしてしまったのを回復したい
  • Q: 写して見せるというだけで忘れなくなるのでは？
  • A: それはmiss readingかも。登録は一回だけ。
  • Q: 登録し忘れた物こそが忘れやすい。
  • A: おっしゃるとおり。半分YESで半分NO
    • カップと鍵の置き忘れが非常に多い
  • Q: そこまでいうと、最後に必ず写るという保証が必要
  • A: ユビキタスアタッチドカメラというのもいいかもな。
  • Q: 記録したものの好ましい再現のタイミング
    • 人は記録したと分かっているものは見直さない
      • あらゆる運動会のビデオは見返さない
      • 女子高生は機種変してもメールはそのまま
    • 本人が予期せぬタイミングで価値が出る
  • A: 実世界のものに対してカメラ映像を仮想的に貼り付けるという研究をしていた
    • 誰かからもらったプレゼントに映像を貼り付ける
    • 記憶とか記録を再現するキーとして実世界のものを利用する
    • 大きなのっぽの古時計が覚えている
      • 古時計が、人が記憶をretrieveする鍵となっている
  • Q: I'm Hereに関して
    • もの忘れ防止の映像を取っていることをしていると、安心してどんどん物忘れをしそう
  • A: 技術が出てくると人の能力が落ちるという話は前からある
    • 仮名漢字変換で字を覚えなくなるという話
    • マシンがあれば字を書くなんてレガシーなんてことしなくていい
    • ものを忘れないようにするアプローチがいいのか？
      • ぼくはぴんときていない
    • ものを忘れないようにするためのデータを全部持っていなければならない
    • 曜日によって持って行くものが違う場合、ややこしい
  • Q: 外に出すと確実に忘れる、というのはblogである
    • 検索すると悩んでいたログだけが見つかって一歩も進んでない
    • 固定化されたことはある。
    • 外だししておくと誰かが書き込んでくれるかもしれない
  • A: 外だしすればいいかというとそうでもない
    • 被験者Rの情報がリアルタイムに見れるといやですよね。
  • R: それは程度問題。
  • A: 映像記録が見られるとうれしいこともある
    • 自分が持っているカメラだと自分は絶対に撮影されない
    • ほかの人のカメラからは自分が見えるかもしれない
      • -