Point Clouds for 3D Visualizations – Science View
thislookslikeadrone shotofbefulchry blossoms butthesearevirtual cherryblossoms3D visualizationsbased ondatafromactrivers location ifyoulookcarefully youseemadeupof countlessdot [音楽] [音楽] ス試 スキャンを開始しましたマーカーを取得します cap itcancreateadigital 3Dmapwitheachdata pointcontainingown spalcoordinates thesepointcloudsare nowusedforrangeof applications thisisanautonomous buScurrentlybeing tested roadmapsthatuse pointcloudstyledata helpguidethevehicle [音楽] ontoday’sscience viewweexplorehowthe precise3Ddataof pointcloudsmightbe usedinthefuture [音楽] somethingrather artisticaboutthe cloud thoseimagesjustseen abitofearly impressionpaintings wecouldsaythatcloud dataarelikethe canvasforthedigital agetofindoutsome moreaboutthistopic todayverypleasedto welcome oftheNippon Instituteof Technologyhe resarchespointcloud data石川さんようこそ よろしくお願いしよろしくお願いします 早速ですがえこの膨大なデータはどのように取得してるんですか 測料とか建設の人たちがま 3D レザースキャナーというのを使って現在の状況計測して把握したりとかあとはえっと自動運転の分野では 3D ライダーって言われるセンサーを使って車の位置を推定したりあとは障害物 避けたりとか最近ではです ですねあの一般の人はスマートフォン使っ てもえ3次元天取ることができるように なっていますえ今日はですねあの私が研究 で使ってる3Dライダーをちょっと持って きましたライダーというのはライト ディテクションアレンジングっていうえま 略語なんですけどもライダーあのこの部分 にレーザー甲が出る部分とあとはえ レーザー光を受行する部分が付いてまして あのまこっから光を出してそれが対象に あたって帰ってくるまでの時間をえ測って えま距離を出すっていう光をどの方向に 出すかっていうのをコントロールして あげることで3次元の天軍を取るような そういうえセンサーになります このデータを用ればどういうことが分かるんですか ですねあの例えばあの遺跡調査とかですねそういったことにもえ使われています こちらのデータなんですけどこれあの航空写真のように見えますけど 3 次元の天軍データなんですがこの中に遺跡が隠れてるんですけれども分かりますかね 地形をあの専門として扱ってる私としてちょっとね当てないといけないんですがこの辺がちょっと怪しそうですね はいさすがですね天軍データをあの処理してあげると 投稿線になってるんです 投稿線を作ることができるんですね 上から見ると木の葉っぱの部分って隙間が あるのであの地面までレーザー届いてます のでその上の葉っぱとか樹目を取り除いて あげるとえま地面だけの点を取り出せるの でそれを解析してああげて線書いてあげる とこういうような形で出てきますすごい ですね だから普通の写真だと影とかそういうところが邪魔して下見えないし低できないっていうことでえこういう風に距離をあの注目すると明らきになるっていうことですね STdevelopmentcompy iscapturingpoint clouddatatosurvefor thepersondoingthe survecaresasmall unit canlectdatajustby beingcarriedaround thelaserbeamcandet [音楽] Whenanalysis softwareisusedonthe acquiredpointcloud data theforestbecomes treeseachprecisely replicated [音楽] lookingatthesur capturtheheanddiam ofeachtreeincluding theofbranches [音楽] pointclouddatalike thiscanalsobe capturedfromabove usingdrones un onthe Alaserispointedata sectionofforcefrom 50abovetheground thecombinationof dronesandlightmak easytocollectdata overare Whatdoesitfind ifyoulookcloselyyou canmakeouttheshape ofthetreesandonce youknowtheshapeyou canidentifythe numberoftreesand eventhespeciesof trees itcanalsogenerate topographicaldata thelaserpenetrates betweenthetreesand allthewaytothe groundrevealingthe shapeoftheterrain beneat 私の分野ですとま自分があの見えて例えば隠れた段をどういう風に走してるかとかあの役に立ちそうなんですがこういう技術はいつからあったんですか レーザー使ってま航空機からあの地面の形状を取るみたいなもの は90 年代後半ぐらいから始まってでそこから地上から取る人たちも出てきてまライダーもですねあの 1度に1 点ぐらいしか取ってかなかったんですけどそれだんだん今はもう 0.1°ごとに取ったりとか密度がどんどん上がってきてます なるほどですねえっとレーザースキャナー のえっとまここ10年以内に発売された ような製品でいくと1回測ってえ7000 万点とか1億点とかいう点が大体取れます でえっと自動運転とかで使われてるような ものだと 10万点 10万点はすごいそうですねそういうされ ますね データ量がなんか指数関数的にこう増えてるようなイメージなんですけどその点にするメリットって何ですか そうですねあの点にするとですねもうあの全部座標がついてます で実際のこういった空間のそれぞれの場所 の例えばこう机の位置のここのえここの 座標がいくつなのかここがいくつなのここ のエッジはいくつなのかっていうのこれが 全部取れてますのであのそれをモーラ的に 全部空間全体を天にしてるので後からここ 測りたいなっていう時に測ったりとかも できますし凹凸も含めて全部分かるの で後で解析したいっていう時に解析したりとかですねそういうこともできます だからbefore の比較はまあ普通の映像でもできるんですけどその定量的にこの点これぐらい変わったっていうことを示そうと思ったら点じゃないと あの実際あの石書きとか崩れた時にあのま 事前にもう測ってあったデータを使って あげてこの石がどこにはまってたのかって いうのをえま計算とかま出してあげて実際 積み上げる時に昔の通りに正確に 積み上げ直すというようなこともえ実際 やられてる inLAthereയuntosmall mobilerobot [音楽] theusestomonitor surroundingsand autonomously whenitdetectsan obstacleitpausesand goesaround [音楽] wedothiswhile rolling itcanalsocapture pointclouddataasit movestokeeptrackof positioning in2024theChidcity governmentconducted testrunsofabusthat usespointclouddata fornavigation [音楽] Thisistheelectricbu usedinthetestrun thebuisequipwith multipleunitsas camerasandradar itheadsoutontothe roadway [音楽] adriverispresentfor safet [音楽] Thebuusestwotypesof mapsforthis oneisapointcloudmap comprisedofpoint data [音楽] theotherisavector mapthatshowsroot guidance [音楽] thegreenlines reflectrootandspeed data thewhitelines delimittheside boundariesofthe travelpath andthepinklinesmark intersectionswith correspondingdata arrivingatan intersectionthepink lineturn thesignalis thebu [音楽] tomakethisweneedto knowwhereonthemap thebuisatallforthis pointclouddat Whileinmotionthebus usesmultiplelight unitstocollectpoint datafromthe surroundingarea theresultingpoint cloudisthen overlisting pointcloudmapto reconfirmthebu currentlocationthis isscanmat [音楽] スキャンマッチングはどこまで正確なんですか えっとそうですねあのスキャンマッチング基本的にその元々持ってるその地図のえ形状の情 とリアルタイムにライダーで取ってるえ 天軍の形状のどこが一致するかっていうの を数学的な計算で求めるんですけれども 結局形状が似てるところと一致してしまう のであの例えばトンネルの中とか同じよう な形状が長距離に渡って続く場合スキャン マッチング単独でやろうとするとそのどこ でも一致してしまうので位置がずれてしま うっていうような課題はありますね なるほど それよこあの乗り越えるためになんか工夫ありますか えっとそうですねあのトンネルの中でやる時にはですねあのま回転数測ってどのくらい進んだかってやるのも 1 つなんですけどより高精度に位置出そうとする時にトンネルの中のその少ないえ形状の特徴が色々あるのでそれを使って位置を合わせようとかっていうこともあのできます Pointcloudscanbe usedformorethanjust autonomousdriving wevisitedprefal governmentofficein 2019launchedaproto collectpointdatfor thewholeprefecture [音楽] calledvirtual静岡 for fromafrom astagering500 billiondatpoints moreoverallthedata isopenablesoanycan use youcouldforexleuse thistogetto graphicalimageoff [音楽] bes andwithcolorthisdat createsvirtutourof fujiallowingusersto getwhatsliketostand atthetopofjapan thispointcloudalso containspotentially useful 例えばこれから空飛ぶ車とかドローン宅配 が現実的に地域実装されるためにはそう いった高圧線とかをクリアしながら行くっ ていうのが必須だと思っておりましてそう いったのも効果としてですね出てくれば いいかなと思ってます 実学が専門の私にとって火山とかま知質学的に面白いところのバーチャルツアができるっていうのは魅力的ですね 街ごとえ天軍にすることはま応用幅が色々広がりそうなんですけど まいろんなところに応用ができて例えば新しく工事をしたいという時にですねあのま街の中今日本の場合電線がいろんなところにありますけど例えばクレン車使いたいっていう時にその電線に対してそのそこでクレンを使ったらぶつかるかぶつからないかとかですねそういうシミュレーションをかけてあげたりとかそういう使い方もできます その現場を貸視化することによってえそういう問題を最初からえ避けることができるということです そうですよねでさらにその天をそのまデータ上で消してあげて新しい例えば橋をかけたらこういう風になるとかですねデータで見せてあげたりとかっていうことも可能になります ああ こういうのあのデジタルツインっていう風に言われますけどもあのま実際の空間を全部ま天軍としてデジタル化してあげてそのデジタル空間上でそのデータを解析してあげてまた実空間に戻してより良い結果をもたらそうとするというようなことをやってますね うん 他にはえ石川さんがま特に面白いともう事例色々あると思うんですけど 1つ紹介していただけますか 修理場がえま火災で消失出した時にですねその当時の修理場の形状が分からないんであの観光客の方が撮った写真をいっぱい集めてきて修理場を 3 次元復現するというようなプロジェクトがありました カメラで見た時にそのま修理場がどこに 映ってるかって工軸を見てでその工軸のえ ま位置関係からあのどこにあの屋根の位置 があるかとか柱の位置がどこかっていうの をいろんなカメラのところから見て計算を することで3次元を復言してく技術本当に 市民が参加するま市民科学のあの実例の1 つですね このデータが一般の人科学者じゃなくて一般の人が取ったデータは本当に役に立ってるっていうのは面白いですねそう思いますね WellIthinkit’svery interestingthatweve seenthatpointcloud dataareessentialto developing tobeextremelyuseful inbuildingsafer societyit’snotonly therethisnewwayof lookingatthingsis reachingoutinto fieldssuchasartand archologyandall sortsof [音楽] virtualworldandreal worldandthiscloudof datapointsinbetween whatwetoday whattheweliketo Whenweheardeep learningthiskindof voicerecognitionor imagerecognitionis well deeplearningcanalso beusedtodiagnose cancerfromimages deeplearningbasedAI looksathugenumbers ofcancerimagesto learntodistinguish betweennormaltissue andsmalltums butthistimeinstead ofdigital informationlike voicesorimagesa robotthatcanlearn movementthroughdeep learninghasbeen developedwhatkindof robotcoulditbe today’svanguard researcherisHidos whodevelopsrobots foramajor electronics manufacturer [音楽] heshowedusarobot thatus こんにちはこんにちはあ こんにちは 可愛いですねよろしければ握手の方 おおできますかはい このロボットはいろんな作業ができるように腕が非常に長くなっております これによって例えばハートマークを作ったり [音楽] このロボットに手取り足り動きを教えてあげると真層学習を用いて学習することで自的に動くことは可能になります うんなるほど Deeplearningisaform ofAIusestofind themby 行きますよはい [音楽] Therobothadlearnto openthewashing machinedoorbyitself ittooktowelsoutand learnhowtohelpout withさん日生活でどんな [音楽] ん止まってますか 洗濯物ですね今すごい止まってます そうでは早速ですねこのロボットに選択の取り込みをですね習させたいと思いますので 一緒にやってみましょう是非 Firsttherobot operatorcontrsthe moves themby こういうごですねあの 450回ロボットに教えてあげます え50回って多いんじゃないですか でも慣れるとですね意外とすんなり教えることができまして ああ でそん時のロボットのカメラ画像とか関節画のデータですね センサーデレーター取っといて学習させるとあとはもう洗濯物の位置とかですねの位置が変わっても自分で認識して [音楽] お片付けしてくれるようになります [音楽] Italsorecordsdata aboutthearmsangle positionandgrasp strengthwhen performingeachgure overthecourseofhour itkeepsrepeatingthe action50timesin total [音楽] thisiswherethedeep learning [音楽] algormprocessesthe cameraimagesand movementdatathat onthecomputerthis algormturnsdatafrom the50practiceruns into3000waser unloadingpat [音楽] Thereddotsshowthe pointsofattention thepartsoftheinput datathatthe algorithmfocuseson whenpredicting possibleoutcomes suchastheshapeofthe washingmachinedoor andhowitopens outwardtoopenthe dooritneedstorecogn andrememberwherethe doorhingeandhandle arelocated [音楽] Afterഫhoursofde learning it’sreadytogo andherearethe results therobotthe [音楽] 成功の鍵はですねロボットの現在見てるカメラ画像と うんAI が予測した次の近未来の状態を比較しながらその誤差を最小にするようにリアルために動作を実行しているところが肝になっております 真相学習で学習し予測で実行する深層予測習というアルゴリズムになります [音楽] Thisishowdeep predictivelearning workstheleftimage showswhatactually happeningrightnow therightimageshows whattherobotis expectingamoment fromnowthealgorithm tellstherobotto chooseactionsthat minimthedifferences betweenthesetwo images [音楽] etohasbeenworkingon robotsthat incorporatethis approachforthep 我々の人生活環境をですねロボットによって支援して欲しいなと思っておりましてその老人やその若手皆さんとかの家庭とかでこういったロボットが活躍してくれたらなと思っております Thedeeppredictive learningalgorimis nowbeingadoptedelse in2021arobotthatcan unzipziperson fabricsthatmove aroundwasannounced ithasalsobeenopen sourcedsonowfreefor anyonetouse it’sbeingusedbyJaxa andspacerelatedAI startupcompanies robotsworkingin spacecouldreduce risks [音楽] まさか宇宙でニーズがあると思わなくて 実況してくれて非常に嬉しかったと sence andwillusnextmentin searchfornew discoveries
Watch more science shows on NHK WORLD-JAPAN:
https://www3.nhk.or.jp/nhkworld/en/shows/category/23/?cid=wohk-yt-2506-sv337-hp
More quality content available on NHK WORLD-JAPAN:
https://www3.nhk.or.jp/nhkworld/en/ondemand/video/?cid=wohk-yt-2506-sv337-hp
Point cloud data can create incredibly precise maps with applications in architecture, archaeology, and autonomous driving.