自分向けに，情報科学をまとめる.
情報量の定義から始まり，ベイズ自由エネルギーをゴールとし，物理学との対応関係に注目しながら体系的にまとめる.
1.情報量の定義
2015年11月20日金曜日
幾何学Ⅰ 多様体入門 1-1 単語帳
位相空間：位相空間（いそうくうかん, 英語: topological space）とは、集合に要素どうしの近さや繋がり方に関する情報（位相、topology）を付け加えたもの
開集合・閉集合：実数直線の開区間の考えを一般化した抽象的な概念である。最も簡単な例は距離空間におけるものであり、開集合をその任意の点に対しそれを（元として）含む開球を（部分集合として）含むような集合（あるいは同じことだが境界点を全く含まないような集合）として定義できる。
近傍：位相空間 X と X の点 p に対して、p の近傍とは、p を含む X のある開集合 U を含むような X の部分集合
https://ja.wikipedia.org/wiki/ファイル:Neighborhood_illust1.png
https://ja.wikipedia.org/wiki/ファイル:Neighborhood_illust2.png
ユークリッド的：「ユークリッド的」という修飾辞は、これらの空間が非ユークリッド幾何やアインシュタインの相対性理論に出てくるような曲がった空間ではないことを示唆している。
同相：位相空間 A, B の間の写像 f: A → B が連続かつ全単射で、その逆写像もまた連続であるとき、f を同相写像 (homeomorphism)、あるいは単に同相という。
ハウスドルフ：Xを位相空間とする。X上の任意の相違なる2点 x, y に対して、U ∩ V = Ø であるような x の開近傍 U および y の開近傍 V が必ず存在するとき、Xはハウスドルフ空間であるといわれる。
開集合・閉集合：実数直線の開区間の考えを一般化した抽象的な概念である。最も簡単な例は距離空間におけるものであり、開集合をその任意の点に対しそれを（元として）含む開球を（部分集合として）含むような集合（あるいは同じことだが境界点を全く含まないような集合）として定義できる。
近傍：位相空間 X と X の点 p に対して、p の近傍とは、p を含む X のある開集合 U を含むような X の部分集合
https://ja.wikipedia.org/wiki/ファイル:Neighborhood_illust1.png
https://ja.wikipedia.org/wiki/ファイル:Neighborhood_illust2.png
ユークリッド的：「ユークリッド的」という修飾辞は、これらの空間が非ユークリッド幾何やアインシュタインの相対性理論に出てくるような曲がった空間ではないことを示唆している。
同相：位相空間 A, B の間の写像 f: A → B が連続かつ全単射で、その逆写像もまた連続であるとき、f を同相写像 (homeomorphism)、あるいは単に同相という。
http://hooktail.maxwell.jp/kagi/eff3554f9a0248ab56c69ebb97992bec.html
ハウスドルフ：Xを位相空間とする。X上の任意の相違なる2点 x, y に対して、U ∩ V = Ø であるような x の開近傍 U および y の開近傍 V が必ず存在するとき、Xはハウスドルフ空間であるといわれる。
閉曲線：
巡回順序：
おまけ
ハウスドルフ次元：
2015年11月19日木曜日
TensorFlowを使ってみた
Tensor Flowを使ってみた。。。
使った感じは、自動微分があって、symbolic mathematical representationで。。。
これ、theanoとどう違うの？
「Tensor flowとtheanoの違い」
https://www.quora.com/How-is-Googles-TensorFlow-different-from-Theano
Internally, Theano compiles the symbolic representation into a native implementation for the target device (i.e. CPU or GPU). TensorFlow interprets the representation and dynamically links the implementation. The TensorFlow approach is more tractable and more maintainable.
Umm...イメージはわくけど、よくわからない。。。
ただ、結果的に、parallel computingに強いのか。。。
Umm...イメージはわくけど、よくわからない。。。
ただ、結果的に、parallel computingに強いのか。。。
よし、theanoとのベンチマークをしよう！
2015年11月18日水曜日
2015年11月17日火曜日
パリのテロとISISのねらい（予想）
一部の評論家は、パリのテロの目的は、フランス世論をシリア空爆中止に誘導することと予想しています。
しかし、私は寧ろ、今回のテロの目的は、フランスやアメリカ等の西側陣営に、シリアへ地上軍を投入させることにあると考えています。
なぜならば、シリアに強力な地上軍と空軍を展開する、ロシアを中心としたアサド政権支持派勢力によって、既にISISは追い詰められているからです。今ここでフランスが空爆を止めたところで、大勢に影響を与えることはないと考えられます。
しかしもし、利害関係が相反するロシアと欧米諸国の地上軍を同時にシリアに招き入れることができれば、３すくみの状況を作り出すことができ、結果的にISISが生存可能な権力の空白地帯を生じさせることができるからです。
彼らは、このわずかな可能性に一縷の望みをかけたものと予想します。
しかし、私は寧ろ、今回のテロの目的は、フランスやアメリカ等の西側陣営に、シリアへ地上軍を投入させることにあると考えています。
なぜならば、シリアに強力な地上軍と空軍を展開する、ロシアを中心としたアサド政権支持派勢力によって、既にISISは追い詰められているからです。今ここでフランスが空爆を止めたところで、大勢に影響を与えることはないと考えられます。
しかしもし、利害関係が相反するロシアと欧米諸国の地上軍を同時にシリアに招き入れることができれば、３すくみの状況を作り出すことができ、結果的にISISが生存可能な権力の空白地帯を生じさせることができるからです。
彼らは、このわずかな可能性に一縷の望みをかけたものと予想します。
2014年7月15日火曜日
Vrepロボットシュミレータを用いたDeepLearningによる強化学習（導入）
Vrep3Dロボットシュミレータを用いて、強化学習型DeepLearningを行なって、attenntionが生まれるか等、見ていきたいと思います。
さて、このシステムには何が必要か？
最初に必要なものを整理の意味も含めて列挙したいと思います。
１．Vrep：フリーの3Dロボットシュミレータ
http://www.coppeliarobotics.com/
２．CDBN(ConvolutionalDeepBeliefNetwork)：DeepLearning！！
http://web.eecs.umich.edu/~honglak/thesis_final.pdf
３．CUDA環境：言わずと知れたGPU環境、DeepLearningには必須？
（良いCPU使って最適化すれば十分という話も、、、）
http://www.nvidia.co.jp/object/cuda-jp.html
４．RBMを用いた強化学習モデル：あのHintonさんが１０年前に既に作ってくれ
てます。偉大すぎ(> <)
http://www.ai.mit.edu/projects/jmlr/papers/volume5/sallans04a/source
/sallans04a.pdf
５．微分幾何：NeuralNetの最大の問題点！中で何が起こってるのかわからない
（汗）を回避する為に、、、
（Bengio2011のdeep learningと階層的representationの論文に詳しいです）
というか、自分の最終目標はこれを使って、現象を解析することです！
おすすめ教科書（なぜこれかって？ だってブルバキ記法嫌いでしょ？w）
上記５項目を、気の向くままに行なっていきます。なので、タイトルにはそれぞれの番号を振っていきます！
初回は、OSの選定だけしておきます、、、
GPU乗せているのがUbuntuなので、Ubuntuで作業します（以上w）
CUDAプログラムはMacのIDE上(nsight/cuda用)で作成し、Ubuntuに送りコンパイル&実行します（このときもlinux用nsight上で作業します）。CudaプログラムはWindowsでも作成可能ですが、Cデフォルトの乱数の出力がlinux.macとwindowsで違ったりと、デバッグとか面倒なので、今回Windowsは使いません。（でも、インストールはwindowsが一番楽です。）
IDE使うなよという話には対応できかねますw
私の本格的なプログラミング歴、まだ３年ちょっとなのでw
以下が環境の詳細です
Ubuntuマシン
CPU：cerelon（涙）
GPU：nvidia titan black
MEMORY：5GB（涙）
Macマシン
MacBook Pro 2009（涙）
GPU：nvidia
メモリ：4GB（涙）
HDD：SSD！！
それぞれ、CUDA5.5をインストール済み。
マシンしょぼすぎ、、、GPU以外全部私物だからねwww
結果出せてない院生の悲哀 orz
では、次回は１．Vrepの環境設定から、、、
さて、このシステムには何が必要か？
最初に必要なものを整理の意味も含めて列挙したいと思います。
１．Vrep：フリーの3Dロボットシュミレータ
http://www.coppeliarobotics.com/
２．CDBN(ConvolutionalDeepBeliefNetwork)：DeepLearning！！
http://web.eecs.umich.edu/~honglak/thesis_final.pdf
３．CUDA環境：言わずと知れたGPU環境、DeepLearningには必須？
（良いCPU使って最適化すれば十分という話も、、、）
http://www.nvidia.co.jp/object/cuda-jp.html
４．RBMを用いた強化学習モデル：あのHintonさんが１０年前に既に作ってくれ
てます。偉大すぎ(> <)
http://www.ai.mit.edu/projects/jmlr/papers/volume5/sallans04a/source
/sallans04a.pdf
５．微分幾何：NeuralNetの最大の問題点！中で何が起こってるのかわからない
（汗）を回避する為に、、、
（Bengio2011のdeep learningと階層的representationの論文に詳しいです）
というか、自分の最終目標はこれを使って、現象を解析することです！
おすすめ教科書（なぜこれかって？ だってブルバキ記法嫌いでしょ？w）
上記５項目を、気の向くままに行なっていきます。なので、タイトルにはそれぞれの番号を振っていきます！
初回は、OSの選定だけしておきます、、、
GPU乗せているのがUbuntuなので、Ubuntuで作業します（以上w）
CUDAプログラムはMacのIDE上(nsight/cuda用)で作成し、Ubuntuに送りコンパイル&実行します（このときもlinux用nsight上で作業します）。CudaプログラムはWindowsでも作成可能ですが、Cデフォルトの乱数の出力がlinux.macとwindowsで違ったりと、デバッグとか面倒なので、今回Windowsは使いません。（でも、インストールはwindowsが一番楽です。）
IDE使うなよという話には対応できかねますw
私の本格的なプログラミング歴、まだ３年ちょっとなのでw
以下が環境の詳細です
Ubuntuマシン
CPU：cerelon（涙）
GPU：nvidia titan black
MEMORY：5GB（涙）
Macマシン
MacBook Pro 2009（涙）
GPU：nvidia
メモリ：4GB（涙）
HDD：SSD！！
それぞれ、CUDA5.5をインストール済み。
マシンしょぼすぎ、、、GPU以外全部私物だからねwww
結果出せてない院生の悲哀 orz
では、次回は１．Vrepの環境設定から、、、
ブログを始めるにあたって
ブログを始めるにあたって、いつまでも続けることをここに宣言しますｗ
はじめなので、取り急ぎ、ブログタイトルの説明をします。
これまで物理学は、基本的に位置と運動量を持つ「モノ」を説明してきました。
そして、素粒子物理学等では、このモノを説明する統一理論を目指しています。しかし、基本となる原理以外にも、物理学には多体系、複雑系といった、技術上の問題があります。つまり、人間程度の能力では、いくら原理がわかっても、それらが複雑にくみ合わさった、マクロな世界は予測できないと言う問題です。
わたしはこの問題に対して、人間の持っている「情報」という概念を使うことで乗り越えられるのではと考えています。つまり、量子力学的（ミクロ）現象もマクロで複雑な現象（温度とか？）も人間にとっては同じ情報だから、この視点でみれば良いんじゃね？ということです。
この視点でのわたしの試行錯誤をこのブログに記述していきたいと思います。
ちなみに、短期的には技術的特異点を目指します。（なんと傲慢なことでしょうw）
以下、前のブログからの引き継ぎ部分です。
技術的特異点とは、「強い人工知能」や人間の知能増幅が可能となったとき出現する。フューチャリストらによれば、特異点の後では科学技術の進歩を支配するの は人類ではなく強い人工知能やポストヒューマンであり、従ってこれまでの人類の傾向に基づいた人類技術の進歩予測は通用しなくなると考えられている。 （Wikipedia）
要は、人間の文明の成長速度が直線的であるのに対して、ムーアの法則などで有名なように、IT関連技術の発展速度が指数関数的であることから、人間のような人工知能ができたら、文明の発展速度が指数関数的になるということです。
このことに対しては、賛否両論ありますが、のび太君を信奉する私としては、「趣味は？」「仕事です」「奇特なご趣味をお持ちですね」という、働かなくていい世の中の実現は、素朴に大歓迎ですｗ
（参考）レイ・カーツワイル：今後現れるシンギュラリティ（技術的特異点）を学ぶ大学
http://www.ted.com/talks/lang/ja/ray_kurzweil_announces_singularity_university.html
はじめなので、取り急ぎ、ブログタイトルの説明をします。
これまで物理学は、基本的に位置と運動量を持つ「モノ」を説明してきました。
そして、素粒子物理学等では、このモノを説明する統一理論を目指しています。しかし、基本となる原理以外にも、物理学には多体系、複雑系といった、技術上の問題があります。つまり、人間程度の能力では、いくら原理がわかっても、それらが複雑にくみ合わさった、マクロな世界は予測できないと言う問題です。
わたしはこの問題に対して、人間の持っている「情報」という概念を使うことで乗り越えられるのではと考えています。つまり、量子力学的（ミクロ）現象もマクロで複雑な現象（温度とか？）も人間にとっては同じ情報だから、この視点でみれば良いんじゃね？ということです。
この視点でのわたしの試行錯誤をこのブログに記述していきたいと思います。
ちなみに、短期的には技術的特異点を目指します。（なんと傲慢なことでしょうw）
以下、前のブログからの引き継ぎ部分です。
技術的特異点とは、「強い人工知能」や人間の知能増幅が可能となったとき出現する。フューチャリストらによれば、特異点の後では科学技術の進歩を支配するの は人類ではなく強い人工知能やポストヒューマンであり、従ってこれまでの人類の傾向に基づいた人類技術の進歩予測は通用しなくなると考えられている。 （Wikipedia）
要は、人間の文明の成長速度が直線的であるのに対して、ムーアの法則などで有名なように、IT関連技術の発展速度が指数関数的であることから、人間のような人工知能ができたら、文明の発展速度が指数関数的になるということです。
このことに対しては、賛否両論ありますが、のび太君を信奉する私としては、「趣味は？」「仕事です」「奇特なご趣味をお持ちですね」という、働かなくていい世の中の実現は、素朴に大歓迎ですｗ
（参考）レイ・カーツワイル：今後現れるシンギュラリティ（技術的特異点）を学ぶ大学
http://www.ted.com/talks/lang/ja/ray_kurzweil_announces_singularity_university.html
登録:
投稿 (Atom)