Kinect センサー　の　プログラミング　？　

----------▼--- 2012/11/5 14:09 add -----▼----------------

=======▽===== Kinect Sensor Link List =======▽==========

・kinect センサー首振ロボ 　http://zigsow.jp/portal/own_item_detail/211988/

・CheckAttend by Kinect Sensor on Vector Ultrabook

http://zigsow.jp/portal/own_item_detail/221111/

・CheckAttend by Kinect Sensor on MA8 　http://zigsow.jp/portal/own_item_detail/220407/

・Kinect for Windows センサー L6M-00005 　http://zigsow.jp/review/166/205520/

・やってみよう！kinectアプリ開発連載1〜3回 受講票 　http://zigsow.jp/review/166/205521/

・やってみよう！kinectアプリ開発連載4〜7回 受講票 　http://zigsow.jp/review/166/205522/

・やってみよう！kinectアプリ開発連載8〜11回 受講票 　http://zigsow.jp/review/166/205523/

・やってみよう！kinectアプリ開発連載12,13回 受講票 　http://zigsow.jp/review/166/205524/

・Kinect for Windows センサー L6M-00005 　http://zigsow.jp/portal/own_item_detail/205048/

=========(↓2012/12/29 追加↓）=============

 ★ CheckAttend by Kinect Sensor (ダウンロードできます！試用版あり） http://www.vector.co.jp/soft/winnt/hardware/se500038.html

● Kinect センサーを使った これからの仕事 (第10回 NHK映像大賞作品) http://zigsow.jp/portal/own_item_detail/216499/

 ● Kinect センサーを使った これからの映画 (第10回 NHK映像大賞作品) http://zigsow.jp/portal/own_item_detail/216498/

● Check Attend by Kinect Sensor http://incomesoftdotnet.blogspot.jp/2012/08/check-attend-by-kinect-sensor.html

● Western Digital Caviar Green 3.5inch 5400rpm 2.0TB 64MB SATA 6.0Gbps WD20EARX

【開発環境】http://zigsow.jp/portal/own_item_detail/214346/

 ・CheckAttend by Kinect Sensor on MA8 http://zigsow.jp/portal/own_item_detail/220407/

 ・CheckAttend by Kinect Sensor http://ma8.mashupaward.jp/works/246

 ・CheckAttend by Kinect Sensor http://www.vector.co.jp/soft/winnt/hardware/se500038.html

・Check Attend by Kinect Sensor on MA8 http://incomesoftdotnet.blogspot.jp/2012/10/check-attend-by-kinect-sensor-on-ma8.html

==========(↑2012/12/29 追加↑）============

=======△===== Kinect Sensor Link List =======△==========

そうだ、このKinect Sensor の売りは商用利用可能であるということなんだ！

あらためて、Kinect Sensor のアプリの商用利用について考える。

運良く手に入ったのだから、商用利用するのがゴールだ！？

開発だけなら、Xbox360の非商用Kinect Sensor でもできるからだ！？

但し、2種類のセンサーは若干仕様が異なるので？同じ機能ではができない？

日記のタイトルは、商用Kinect Sensor のゴールは商用利用だ！？

[zigsow:diary:59452]

----------▲--- 2012/11/5 14:09 add -----▲----------------

----↓---- Kinect Sensor と Windows ストアアプリの連携の準備開始しました！-------

まずは一つWindows ストアアプリを作ることから初め、どうやって連携することができるかを調査する

FreeOrder (前編） http://zigsow.jp/portal/own_item_detail/215050/

FreeOrders（中編）後半が中編となります。 http://zigsow.jp/portal/own_item_detail/214669/

FreeOredes for 1st AEL（後編） http://zigsow.jp/portal/own_item_detail/215302/

----↑---- Kinect Sensor と Windows ストアアプリの連携の準備開始しました！-------

 2012/8/16 am 7:25 末尾に吹き出し画像などをアップしました

　　　　ENDキーを押すとページの末尾から簡単にみることができます。

まずは回の分だけでレビューの先出しをした。
続いて、 回分を半分だけ追記しました
さらに、 回分で深度画面表示後エラーのところまでの情報を追記しました

未だに、 回分で深度画面表示後エラー深みにはまっている情報を追記しました

第回分を動作不安定だけど最後までできました

第6回分を簡単だと思って入力したらいきなりエラー！

第6回分吹き出しだせました！

第7回　吹き出しテキスト改造後初回起動でエラー！
第7回　吹き出しテキスト改造後SpeechRecognizedのイベントハンドラ登録でエラー！

第7回　吹き出しテキスト改造後SpeechRecognizedのイベントハンドラ登録できました！ 

第7回　吹き出し内にテキストが表示されません！

第7回　吹き出し内にテキストが表示できました！完了です！

 ■　やってみようKinectアプリ開発 - 第4回 骨格情報の利用

ブログの手順に沿って、画面キャプチャの写メモを撮って以下に貼り付けた。
簡単に解説をつける。

まずば顔の画像としてブルーボーイを作成する。

画像は四角形で扱われると顔だけの画像が用意できない。
この背景画像が透明の顔の形や卵の形をした画像を作成する必要がある。

Expressin Design 3 or 4 で楕円形で背景が透明の画像を用意する。
楕円形の顔をしたBlue Boyをベクタ図形でpngにエクスポートして作成する。

Expressin Designも評価版やWebseiteSparkなどがあるから利用するのもいいかもしれない。
kinect も windows phone も windows 8 metro アプリもコンテンツ画像が必須だから、操作に慣れておくとコンテンツ作成に困らないかも

w8kinect11blueboy01.jpg

w8kinect11blueboy02.jpg

w8kinect11blueboy03.jpg

w8kinect11blueboy04.jpg

以下、右の画面の手順を左の画面に入力するだけでも、入力ミスしたりで赤波線でエラーになっているのが画面から確認できる。

w8kinect11blueboy05.jpg

w8kinect11blueboy06.jpg

w8kinect11blueboy07.jpg

w8kinect11blueboy08.jpg

エラーと入力に疲れたから本日この作業は終了これも結構大切な開発のテクニック

さて、以下翌日朝の元気なときに作業開始。
たくさん入力するのがいやなのでコメントも省いて入力している。
でも、見慣れていないから入力だけで疲れる。はやく、慣れてしまわないと

w8kinect11blueboy09a.jpg

w8kinect11blueboy09b.jpg

どうしてスタブ側でパラメーターの名前を変えているのだろう
スタブを自動生成するとパラメータ名は同じになる。理由を考えるのはやめて、私は変更せずに利用する。

w8kinect11blueboy09c.jpg

w8kinect11blueboy09d.jpg

パスをへんてこに変更したのでエラーとなった。

w8kinect11blueboy09e.jpg

顔を傾けない版が動作した。嬉しい。
一人でやっているのでこんな写メモになってしまう。ブログのはなん名でやっているのだろうか？ それとも、ロボットのスタッフでも使っているのだろか？

w8kinect11blueboy09f.jpg

顔を傾けても動作できた。
コードも意味も深く理解せず、まんま入力してもここまで動作できるのだからすごい。

SDKの1.5だからこんな近くでkinectの動作が正常にできている
座った状態だし、4m離れてないし。ますます良くなっているみたいだ。

肩に顔があってもいいじゃないか
精度をあげたり、改造を加えるにはソースコードの理解が必須だ。
でも、headって名前がついていたり、結構理解しやすいのではとも思った。

w8kinect11blueboy09g.jpg

blue boy はWindows Phone 7 アプリで作成するときに作成したキャラクタだ。
kinect アプリの開発練習で、WP7のコンテンツもスキルも再利用できた。

アプリ開発のテクニック繋がっているというか、自分のコンテンツを増やすほど、
ますます、アプリ開発は楽しくなってくることを感じた。

最初はしょぼいのでOKだ。がんがん作りませう。


第5回のブログが出る前にWindow 8 メトロアプリで usb カメラを動作させてみる。
何かいいアイデア増えるかもかも

ちなみに今はkinectアプリをつ作る予定です。

-------2012/6/27 以下を追加-----------------------------------------------------------

次のページにkinect と windows 8 metro アプリと usb web camera の連携するための
調査結果を追記した。c#メトロwebカメラアプリを作成した手順を書いた。
⇒Windows 8 Metro スタイルアプリ開発ハンズオン　無料セミナーテキスト (NECラーニング)
http://zigsow.jp/portal/own_item_detail/205658/

次はハンズオンテキストがそのままではエラーばかりなので、直しながらkinect の理解を深めてゆく。

----2012/6/30 以下を追加 ----------
630　Go　Azureで得た情報

センサー
一人の利用の電気自動車についていたセンサー

RoboVision
⇒　http://www.zmp.co.jp/e-nuvo/jp/robovision.html

Optical Flow-Z
⇒ google　すると英語の文献だ
⇒


⇒これらのもどきをkinectで作れるのでは
⇒

ipadの位置センサーを使って、ipad を車のハンドルとみたてて回転させると車輪を操作できるデモを見た。
⇒
ipad にはスピードメーターなども確認できる。


自転車の走行位置情報などをクラウドアプリに集め、表示するデモをみた。
⇒下記のWEBサイトでも90日1年間無料低アクセスなら
なので利用してみるのもいいかも。


新しいAzureでは評価期間に以下の機能を無料で使える

Azure の新ポータルからGit ギットへPublishできる
⇒Git というのは、ソースコードがバージョン管理できるもので、個人の作業用とマスターに分けて管理できるらしい。
⇒同じようにソース管理をTFS(Team Foundation Service)でもできる。おお、サービス化されたんだ。
⇒どちらもAzure ポータルから直接ソースコードをpublish(発行できる。
⇒


azure でメディアサービス
⇒ここから、kinect のオリジナルアプリ映像を公開するIISスムーズストリーングが使える
⇒
⇒これが使えるとハイスペックでない環境からのユーザーのアクセスの場合、画像を粗くしてもたつき感を自動でなくしてくれるからいいかも
⇒
⇒もしかして、Expression encorder 4 pro とか不要
⇒
⇒kinect の映像でもリアルタイムでなく、ファイルに保存した映像ならメディアサービスも利用できるのでは
⇒
⇒でも、従量課金でアクセス
⇒

Webサイト
⇒こちらもkinect 連携アプリ公開に利用する
⇒
⇒メトロWEBアプリダウンロードセンターをつくる
⇒


kinect + ラジコンカー +　アンドロイド + ipad
kinectセンサーを乗せた車が、子供を自動で追いかける。ipadには追いかけている子供の姿が映る
⇒


さて、上掲とは別に

intune + kinect
⇒kinect はデバイスとしてintuneから管理できる確認してみよう。
⇒

lync + kinect
⇒kinect と lync をコラボできない
⇒

office 365 + kinect ?
⇒kinect と office 365 をコラボできない
⇒


-----2012/7/1 以下を追加 ----

indows Azureテクニカルハンドブック
http://zigsow.jp/portal/own_item_detail/206322/
⇒kinect と　最新の　azure を使って何か作れない
⇒



------2012/7/2 以下を追加 -----


東京国際ブックフェア招待券
http://zigsow.jp/portal/own_item_detail/206502/

Kinect T シャツ
http://zigsow.jp/portal/own_item_detail/206503/


やってみようkinectアプリ開発連載407回 受講票
http://zigsow.jp/portal/own_item_detail/205522/

■　やってみようKinectアプリ開発 - 第5回 深度情報の利用
http://kinection.jp/post/71

緑の矢印に注目
どうです。助手が奥のほうに小さく写っているでしょミニプルーボーイが。
まあ、テストは成功のようです。

よくできました　立派な助手です。上掲　Kinect T シャツ　を参照。

kinect4thdemo01.jpg

kinect T シャツの男子を認識した
やかんやかんの反射光を顔と認識した
女の子たちは認識できていないから、やっぱり男子の顔を頭と認識した

節電対策として、エアコンやクーラーをまったく利用していない。
そのため、究極のクールビズで作業している。
これが、写メモと重ねている理由。

今年の新しい節電アイテムはTシャツだ、blue boy にTシャツを着れるように改造する予定だ
これで、写真を重ねる必要がなる

見ている、皆さんが試着できるようにできるかも

kinect4thdemo02.jpg

さあ、後半戦の入力開始だ。ミス入力するとインテリセンスが効かないから、
画面に左右に並べて表示しても、やっぱり入力ミスする。はずかしいけど、
前に進む。

kinect4thdemo03.jpg

kinect4thdemo04.jpg

kinect4thdemo05.jpg

kinect4thdemo06.jpg

kinect4thdemo07.jpg

kinect4thdemo08.jpg

やっと入力できた。でもエラーだ。

kinect4thdemo09.jpg

kinect4thdemo09a.jpg

kinect4thdemo09b.jpg

メモリもGあれば十分なのでは
まさかコアなのがいけない

kinect4thdemo09c.jpg

kinect4thdemo09d.jpg

kinect4thdemo09e.jpg

エラーが変化するのはなぜ
配列ところで入力をミスしてる可能性が高い

自問自答とgoogleで解決してゆく。

でも、プログラマーでないとエラーに遭遇したら大変かも・・・。
逆にプログラマーだとこれくらいのエラーを取れないと大変かも・・・。
つまり、エラーになると皆大変

いったん、休憩するそれとも明日にする気分を変えてgoogle 三昧だ

----------2012/7/3 10:20 以下を追加-----

kinect studio download で google

Kinect for Windowsで機器を作るヒント(2) ―― Kinect for Windows SDK 1.5を試す http://www.kumikomi.net/archives/2012/06/ep06knc2.php?page=3 のDeveloper Toolkit Browserを起動するの下にkinect Studio v1.5.0 がある。 ⇒最初にインストールしたまんま手を付けていなかった。

 ⇒どうやって使う

Kinect for Windowsで機器を作るヒント(2) ―― Kinect for Windows SDK 1.5を試す http://www.kumikomi.net/archives/2012/06/ep06knc2.php?page=5 の”●Kinect Studioを動かす”の部分を読んでみる。

⇒Color Viewer　、Depth Viewer、3D Viewer とある。でも、すべてkinect アプリが正常動作している例だ。

⇒kinect アプリが起動してから秒後に割り込み状態エラーで停止する場合にも使える使い方は

 ⇒

⇒もしかして、室内がごちゃごちゃしているのが原因

 ⇒

kinect studioヘルプをクリックする。 ⇒Enumerating and Starting a Kinect for Windows Sensor http://msdn.microsoft.com/en-us/library/hh973072 のヘルプを見るとコードを埋め込む必要がある ⇒

ソースコードの目視チェックのほうが原因発見が早い

⇒

やっぱり、修正を間違っていた。我ながら情けない・・・・。

9

余分なコードをコメントアウトすると、ブルーのフィルタのような画面が表示できるようになった。 でも、そのあと次のエラーとなる。

まったく何のエラーかわからない。

-2003304445 で google する。

⇒何も見つからない。

0x88980003　kinect で google する。

⇒英語が数件ヒットした。

⇒

 もういちど、4回と5回分を比較して確認する。

 完璧に修正ができていることを確認するために、改めて並べて確認。

 F5実行するとしばらくたってエラーだo to ka jo? どうしょう What should I do?

 9e

 こういう行き詰ったときに、zigsow レポートを作成して、へこむ心を落ち着かせる。

しかし、逆にデータを消失してしまった。(下書きのほうで

★ コピーアンドペースト時にタグの閉じるがない状態のテキスト文字を画面上に入力すると、それ以降のデータが全部消失し、復活できない。これはFC2でも同じ経験がある。

Zigsowもテキストと画像をまとめて選択してコピーできない操作方法に変わったので、なんとかコピペしようと必死になっていたら、案の定同じヘマを私はやってしまった。以後、私はバックアップをあらかじめとっておくなり、消えないところで下書きするなり、データがいつ消えてもいいようにページをダイレクト編集をFC2と同様に注意深く行うことにする。

⇒でも、原因はこれ以外にもページサイズが大きすぎたというのもあるのでは

⇒

------2012/7/3 14:51 以下を追加 ------

これからしばらくはエラーの調査の歩みなので、うまくプログラムで動作した方には無用の長物

ですので、飛ばして下さい。深み入った方のみ必要です。なにかヒントがあるかも

MSDN オンライン更新情報

http://go.microsoft.com/fwlink/?linkid=83096&clcid=411

で、以下を発見

 Kinect を使用したマルチモーダルなコミュニケーション

http://msdn.microsoft.com/ja-jp/magazine/hh975374.aspx

⇒コード サンプルのダウンロード してみる Context-Aware Dialogue with Kinect http://archive.msdn.microsoft.com/mag201204Kinect

⇒

http://archive.msdn.microsoft.com/mag201204Kinect/Release/ProjectReleases.aspx?ReleaseId=5846

 Code_HolmquestKinect0412.zip

VBCode_HolmquestKinect0412.zip

をダウンロードする

⇒どうやって使う

 ⇒

Kinect を使った状況に応じた会話 Leland Holmquest

http://msdn.microsoft.com/ja-jp/magazine/hh882450.aspx

に『・・・文法を作成して音声認識エンジンをロードする ・・・人間のアシスタントのように錯覚させる・・・』を発見 ⇒これって、kinect秘書のプログラム

コード サンプルのダウンロード http://archive.msdn.microsoft.com/mag201204Kinect

⇒上と同じ

これを動かせるだけどもかなり勉強できるのでは

⇒ 寄り道している間に何かヒントが掴める

⇒

MSDN 例外のトラブルシューティング : System.OutOfMemoryException http://msdn.microsoft.com/query/dev11.query?appId=Dev11IDEF1&l=JA-JP&k=k(EHOutOfMemory);k(TargetFrameworkMoniker-.NETFramework,Version%3Dv4.5);k(DevLang-csharp)&rd=true

⇒やっぱりArrayの記述周りのエラー

 ⇒

試しに、private const DepthImageFormat depthFormat = DepthImageFormat.Resolution320x240Fps30; と先に変更してもしばらくしてエラーとなる。他にエラーがあるようだ。

 ⇒

★まさか、imageFrameとimgFrame の変数名を分けて使う必要があった

⇒fillBitmapの引数名を変更してみる

 ⇒同じエラーだ。

 ⇒

メモリの使用量を減らすため、次のことを実行した。

デバックモードをやめリリースモードに変更。

VSを使わず、配置したexeから起動。

 しかし、メモリが足りないのはなぜ

 ⇒

タスクマネージャー見るとGBで、残りが予約されているので、もう今の状態はメモリ不足を示す

 ⇒

背景をシンプルにしたが、まだシンプルさが足りない

⇒

windows 8 RCだからメモリ不足となっている最適化されていない

⇒

windows 7 からだと動く

⇒

メモリをGBからGBに増やす

⇒

メモリのGBの別マシンに環境作成する

⇒

回の前半ところで顔を認識するのにかなりの時間を待った記憶がある。 初回の頭の認識できるまで、なぜでないなぜでないとかなり待ち時間があった。 この間にプログラムが作業していたとすると、それよりも必要なメモリが増えたためにエラーとなっている

 ⇒

深度の処理はメモリがたくさん必要になる

 ⇒

まさかusb 3.0 だがらNG?

⇒

まだ、ソースの修正が間違っている

⇒

g

h

i

j

k

l

m

 ----2012/7/3 17:57 以下を追加 -----

kinect sample プログラムを windows 7 x64 en-us entirprize evalution with win7 sp1 上の vs2012 RC の kinect で動作させたところ以下の写メモのエラーとなった。

⇒エラーの内容が違う

⇒

vs2012 RC ではエラーとなる

⇒VS 2010 SP1?で作成しなおさないと正常に動作しない

⇒

 ----2012/7/4 9:23 以下を追加----------------

kinect browser の　depth の正常に動くか確認するために、サンプルを動かしてみる。

あっけなく windows 8 RC 上で動いた。

winodws 7　でも動かなかったことをあわせると、やっぱりソースの修正ミスだ

正常に動く depth デモのソースをデスクトップにインストールして、vs2010 C# expressで開き、

kinectsampleをvs2012RCで開く。vs2010とvs2012を反対にはできない。kinectsampleをvs2012で作成したため、vs2010では開けないエラーとなる。

同時にソースを眺めることでなにが違うかを確認しつつ、kinect のコードを学習していく。

この方針で今から作業を始める。これらのサンプルを制覇する必要があるかも

おお、画像がカーソルの位置に挿入できるようになったうれしい。

 ソースをみるととてもシンプルだ。何が違う

96.0 の .0 を入れてみると、少し動作できる確立が上がって安定した

作業場とシンプルにする。

太陽光をなくす。

距離を広げる。

とサンプルは正常に動作できる確立が上昇する

でも、Depth Basic-WPF は同じ環境でも安定して動作できている

処理する内容が少ないので安定しているだけ

さて、これから、どうやって安定させよう

他のサンプルをつつ改造して、デバイス・センサー・kinect　のお作法を覚える

つぎの回のお題が出るまでに、少し手をつけてみよう。

作りたいオリジナルのアイデアを実現する方法を早く探さないと

では、カッケ。あんにょん。 See you.

 ---2012/7/4 18:19 以下を追加 -----

上記ではモデルさんにカンパニーシャツ制服を着させてみた。

次の写メモで助手の正体を確認できた

おばけざしきわらしが住んでいるようで夏の夜にぴったりだ

demo を確認するためにいろいろインストールしてみる。

Microsoft.Kinect.Toolkit Microsoft.Kinect.Toolkit.FaceTracking

Kinect for Windows Language Packs v1.5.0

http://www.microsoft.com/en-us/download/details.aspx?id=29864 ⇒KinectSpeechLanguagePack_ja-JP.exe

⇒KinectSpeechLanguagePack_en-GB.exe

DirectX Software Development Kit

http://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=6812 ⇒DXSDK_Jun10.exe

DirectX End-User Runtimes (June 2010)

 http://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=8109

⇒

http://www.microsoft.com/en-us/download/confirmation.aspx?id=8109

⇒DirectX 11 Technology Update

⇒Microsoft .NET Framework 4 Client Profile (Web Installer)

 ⇒dotNetFx40_Client_setup.exe

Microsoft XNA Game Studio 4.0

http://www.microsoft.com/en-us/download/details.aspx?id=23714 ⇒XNAGS40_setup.exe

環境が評価版のテンポラリー(win8 rp)なので気にせずなんでもありだ。

 インストールできないのはwin8 だから、win7 ならどうだ

kinect はまだus版でないとだめかも。

安心してほしい。

これを使えるからだ。

 ２つのうち１つはwin7 us でもインストールできない。ビデオカードがdirectx11に対応してないからインストールエラーとなる？

まあ、づづいて他のデモも見てみよう！全部動かせるかな？

でも、不安定なアプリの強力な助っ人を呼んできました。紹介しましょう。

これでkinectの前の空間を生み出せば、第5回以降のアプリも安定して、起動し、動作して落ちない時間も増えるかも？

ソースの改造も不要になる？

では、本日、今回はこれにてごめん。

----2012/7/15 に以下を追加 ---

kinect 第６回のに使う音源のWP7アプリを作成しつつ、 おばかアプリのコンテストWP7アプリを作成中にkinectの情報を見つけた。

ゼロからはじめるWindows Phone、Kinect連携

http://www.slideshare.net/stknohg/windows-phonekinect

⇒おお、kinectで電話をかけるってのを解説している！

 slideshareに登録すると

clrh62wp7kinect-110917215800-phpapp01.pdfを ダウンロードできるかも。

でも、なぜ先頭の第n回のnが消えてなくなった？

以上

 ---2012/7/23 15:00　以下を追加 --------

■　やってみよう！Kinectアプリ開発 - 第6回 音源の方向の取得

コミPo!はWinodw 8 のデスクトップではすぐにエラーとなるので

吹き出しが使えない。そこで、Expressin Design で背景が透明の吹き出しを作ることにした。

さて、ここから、３回？でバックアップしてあったソースに改造を加えてゆく。

入力が楽になるTAB TAB　の2回押しを写メモ上にテキストで記入しておいた。

なんのエラーだろう？

簡単なんておもっていたら、いきなりエラーとなった。

また、いつもの入力ミスか？

ソースの修正はOKだった。

初期化後にブレイクポイントを設定して、いったん止めて、そこからステップ実行（F10）して

エラー箇所を特定していく。

さあ、動いたので顔を認識してくれないと！

顔を認識できないと、とうぜん声を先に認識するはずはない？

さて、どうする？

 一歩進んだと思ったら、また次の問題だ。吹き出しが声に反応してでないのはなぜ？

 実は吹き出していました。 透明にしたので気づきにくく、 サイズも小さすぎた？

本日はここまで、アンニョン。

--------2012/7/24 8:26 以下を追加---------

■　やってみよう！Kinectアプリ開発 - 第7回 音声認識

大きな吹き出しをexpressio designで作成して、吹き出し内に文字が入るようにする。

はさみアイコン後、○のところを2か所クリックすると、この２点間の赤色が消えた。

なんかカットできたようだ。 

さあ、吹き出しテキストのための改造を始める。

注意深くやっても、いつものお約束のようにエラーだ。

入力ミス？今回も？

h

i

j

k

k1

k2

k3

ソース修正を見直したほうがはやそうだ。

 k4

ソースを見る限り正しい。

透明の図形がいけない？

昼休憩しよう。

ツタヤに　”戦火の馬”　を返しにいこう。2日で450円が誕生日プレゼントのはがきで

0円だった。

k5

k6

おお、はまっている。抜け出せない！

フォントを小さくする？

⇒FormattedText プロパティ

http://msdn.microsoft.com/ja-jp/library/system.windows.media.formattedtext_properties(v=vs.100)

パラメータにフォントサイズってない？

ならば

１文字にする？

⇒NGだ！それ以前でエラーだ。

吹き出しを大きくする？

⇒

もしかして、windows 8 rc だから次のバージョンが必要？

 Software Development Kit (SDK) for the Microsoft Speech Platform Runtime 11.

http://www.microsoft.com/en-us/download/details.aspx?id=27226

⇒

まさかとは思うがインカムつけてyoutubeで音楽聞きながらやっているから、

エラーになっている？

⇒

speechEngine.SpeechRecognized += で google

http://cse481c-robotics.googlecode.com/svn-history/r234/final_project/grounding/grounding.parser/SpeechToText.cs

 // Grammar and speech things

using System.Speech.AudioFormat;

using System.Speech.Recognition.SrgsGrammar;

using System.Speech.Recognition;

Speech Tasks in C#

http://msdn.microsoft.com/en-us/library/jj131035.aspx

 に『・・・ Initialize the Speech Recognition Engine

speechEngine.SpeechRecognized += SpeechRecognized; speechEngine.SpeechRecognitionRejected += SpeechRejected;

speechEngine.SetInputToAudioStream( sensor.AudioSource.Start(), new SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, null)); speechEngine.RecognizeAsync(RecognizeMode.Multiple);

・・・』 とある。

⇒ここでは、スタートの記述は

speechEngine.SetInputToAudioStream( sensor.AudioSource.Start(), となっている。

⇒

speechEngine.SpeechRecognized += SpeechRecognized;　で google

Patrick Godwin's Blog-O-Rama! Possible Kinect Fun Labs Dev Kit in the works?

http://ximplosionx.com/blog/tag/kinect-for-windows/

 に『・・・ using Microsoft.Research.Kinect.Audio; using Microsoft.Speech.AudioFormat; using Microsoft.Speech.Recognition; using System.IO; ・・・ speechEngine.SpeechRecognized += new EventHandler<SpeechRecognizedEventArgs>(sre_SpeechRecognized); ・・・』となっている。

⇒using Microsoft.Research.Kinect.Audio; using System.IO;

⇒追加してみる ⇒関係ないか。

 k7

もう一度x64のSDKを入れ直してみる。

 k8

winodws 8 rp? は対象外？ windows 7があるからOK?

⇒

x64ビットだ。なぜx86を探しにいってエラーとなっている？

⇒

 行き詰まったときはOSを変えて同じことをしてみる。

winodws 7 us でこのプロジェクトを起動して、Frameworkが4.5になっていたのがいけないのかも？

に気づいた。

すこし、進んだようだが、まだWindows 7 us でも動作できていない。

以下、その時の写メモ

us01

us02

us02a

us02b

us02c

us02d

おお、疲れた。

本日はここらで、アンニョン。

明日はwindows 8 で framwork 4.5 を 4 にしてやってみる。

 ---------------2012/7/25 8:32 以下を追加-------------------------------

 kinectCameraSample.vshost.exe - アプリケーション エラー

内部エラー： Debugger::HandleIPCEvent で処理不能な例外が発生しました。

イベント ID =0x246。

例外コード = 0xc0000005、Eip = 0x6ae66899。

プロセス ID = 0x1854(6228)、

スレッドID = 0x1aa4(6820)。

⇒なんだろこのエラー

プロジェクトのFrameworkのバージョンと4.5 から 4に変更すると割り込を表示せず終了してしまう。かえって悪くなった？

⇒

HandleIPCEvent01.jpg

 HandleIPCEvent02

 HandleIPCEvent03

HandleIPCEvent04

おお、おかしな状態から元のエラー状態に戻して再開だ。

どうしよう?  o to ka jo? What should I do?

⇒ダルマ状態で手が出なくなった？こういう時はコヒーを作って飲もう！

⇒

kinect c0000005 で google

kinect-ultra

http://code.google.com/p/kinect-ultra/issues/detail?id=1

 ⇒ヒントがある？

 ⇒かえって難しい深みにはまる？

 ⇒視点を変える？

 ⇒

 HandleIPCEvent05

HandleIPCEvent05a

HandleIPCEvent05b

HandleIPCEvent05c

kinectpfxWin7us01

kinectpfxWin7us02

windows 7 us でも動かないなら、ソースの修正ミス？

windows 8 rp に戻ってソースをもう一度見直す。

 でも、こういう行き詰まった時は第８回を先にすると解決法がみつかるかも？

どうする？ o to ka jo? What should I do?

⇒

その前に別なkinectをつないでテストしてみる。

⇒

The Kinect sensor plugged into your computer is for use on the Xbox 360. You may continue using your Xbox 360 Kinect sensor on your computer for development purposes. Microsoft does not guarantee full compatibility for Kinect for Windows applications and the Xbox 360 Kinect Sensor.型 'System.NullReferenceException' の初回例外が KinectCameraSample.exe で発生しました プログラム '[5868] KinectCameraSample.vshost.exe: マネージ (v4.0.30319)' はコード -1073741819 (0xc0000005) 'Access violation' で終了しました。

xboxkinect01

xboxkinect02

なにがみつからないからnullになる？

⇒

もしかして、PCに音源が必要？

⇒

今、サーバー機なので音源がない。usbの音源でもいい？

⇒

 6thのでUSBの差し込みが不十分だと起動エラーとなることを発見した。

7thのはしっかりUSBを挿し直したのでこれが原因ではない。

HandleIPCEvent05d

 HandleIPCEvent05e

 HandleIPCEvent05f

 やっとエラーを発見できた。原因は次の２つ。

（１）日本語ロケールをインストールしていなかった。

Kinect for Windows Language Packs v1.5.0 日本語用ロケール

（２）KinectのKを小文字にしていた。

苦労したが発見もあった。

発見した内容は

nullのあと7thのプログラムは割り込んで終了するという改善点があること。

 HandleIPCEvent06

ステップ実行でデバックして、ソースのどの箇所を通っているかを確認する。

HandleIPCEvent06a

HandleIPCEvent06b

 文字がでないのはなぜ？

⇒

一文字はNG？

⇒

ひらがな？カタカナ？

⇒

母音はNG？子音のみ？

⇒

吹き出しが小さい？

⇒

ソース修正間違っている？

⇒

まだ、大文字小文字の違っているとこがある？

⇒

んー、デバックも”未知との遭遇だ！”

どうしよう？ o to ka jo? What should I do?

 HandleIPCEvent06c

新しいブレイクポイントを見つけた。

 recognizedText　がいつもnullだ。

アイウエオもキネクトも読み取ってテキスト生成して、

画像がつくれていない？

⇒

固定で文字を書くと吹き出しと文字のサイズの関連性というか、

問題がないのか確認できる？

⇒

 HandleIPCEvent06d

 ああ、疲れてきた。

SpeechRecognizedEventArgs Confidence でgoogle

Kinect recognition doesn't work fine (working with sample Speech) http://social.msdn.microsoft.com/Forums/en-US/kinectsdkaudioapi/thread/22fc3a89-f56b-4d5a-840e-7d8a6dc4e0ec/

 ⇒デバックライトしている。

 ⇒他を見る

⇒

SpeechRecognizer.SpeechRecognized イベント

http://msdn.microsoft.com/ja-jp/library/system.speech.recognition.speechrecognizer.speechrecognized(v=vs.90).aspx

⇒.NET Framework 3.5だ。

⇒vs2012rcは4.5だ

⇒▼で4.5に変更

⇒SpeechRecognizer.SpeechRecognized イベント

http://msdn.microsoft.com/ja-jp/library/system.speech.recognition.speechrecognizer.speechrecognized(v=vs.110).aspx

⇒　ctrl+F　で　Confidence　を探すと、このページには無い。

 ⇒Confidenceが知りたいので他をみる

 ⇒

  音声認識プログラミング 信頼度

http://reaile.com/speechLecture/confidence.html

 に『・・・信頼度という言葉は、Confidence・・・』とある

⇒また『・・・ Confidenceの値が低い場合は認識失敗とすれば、誤認識の可能性が低くなり・・・ ・・・閾値を高・・・認識率が落ち・・・ どの程度の値が適当・・・ 0.75～0.8・・・』

 ⇒0.7fにしてみる？

⇒

HandleIPCEvent06e

あすはこのあたりと0.7f　から再開。

きょうはここまで。アンニョン。

-----------2012/7/26 AM 5:01 以下を追加 --------

kinect でgoogle

TechCrunch Japan

コードが公開されたKinectにハッキングの秀作が続々登場 http://jp.techcrunch.com/archives/20101207videos-the-best-kinect-hacks-and-mods-one-month-in/

 ⇒コード？ビデオ？

⇒

吹き出し画像を大きくしてみた。

 fukidasimorebig01

fukidasimorebig01a

fukidasimorebig01b

fukidasimorebig01c

fukidasimorebig01d

fukidasimorebig01e

fukidasimorebig01f

fukidasimorebig01g

fukidasimorebig01h

実物大の吹き出し

なぜ小さい？kinectアプリのパラメータでサイズを変える？

⇒６回をよく読むと『・・・96×64のサイズで、右に32ピクセルずらして描画・・・』

を書いてあった。ほんと、読まずにやっていたことがばれてしまった。

⇒対応するソースの箇所を変更してみる。

⇒でも、馬鹿でかい吹き出しはやめたほうがいい？

⇒1200×900ｋら300×300に変更する？

⇒

でも、のは顔の２倍？くらいの大きさでキネクトを表示できているのはなぜ？

⇒

 fukidasimorebig01i

吹き出しは十分大きいのに文字が表示できないのはなぜ？

⇒

逆に文字のフォントがでかすぎる？

⇒

ソースの修正ミス？

⇒

音は認識できているから、吹き出しがでている。

このあと、ことばを理解してくれていない？なぜ？

⇒

windows 8 languagepack RC x86 DVD 864427 のISOファイルをダウンロードして

DVDにimgburnで焼いておいたが、これをインストールしておかないと

日本語認識できない？

⇒どうやってインストールする？

⇒

逆に英語にすれば現状の環境でもソースの一部を英語用に変更すれば認識できるのだろうか？

⇒

windows 7 ultimate DSPで音声認識をOSの機能で試したことがあるが,

windows 8 rc でもOSの機能で音声認識できるか確認できない？

⇒

Windows 8 os　付属ツール群？で日本語の音声認識確認できれば、

環境に問題がないことを確認できる？

⇒

windows 8 language pack で google

Windows 8 How To: 11. Install Language Packs for Multilingual Support http://blogs.msdn.com/b/zxue/archive/2012/03/07/win8-howto-11-install-language-packs-for-multilingual-support.aspx

⇒コントロールパネルを見れば何かわかる？

 ⇒

 ⇒コントロールパネルからインストールするの？

 ⇒

 fukidasimorebig01k

おお、やっと出た！

18000と入力していたので、吹き出し内にテキスト表示できなかった原因？

⇒１６０００とするとテキスト表示を初めて確認できた。

それとも、１８０００でも表示できていた？気づかなかっただけ？

⇒

出たのはいいが、吹き出し内にテキストが収まらないのはなぜ？

⇒吹き出しのサイズをもとにもどすと収まった。

⇒サイズの変更だけではいけないようだ。表示位置も変更が必要だ。

 fukidasimorebig01l

0.3を0.7fに変更したからか なかなか認識してくれなかった？

⇒この精度については、まだ確認が必要だろう。

以上、これで今回のミッション完了しました。2012/7/26 AM 10:02

アンニョン

--------2012/8/16 am 7:25 以下に吹き出し画像などをアップしました -------

このページで利用していた画像です。画像を選択して、右クリックして画像を保存して利用できるようにしました。妙にでかい吹き出しがあったりと、このページで利用したものたちです。

世界に Blue boy が旅立つ日となった？