IT技術者のAIに関する雑記

AI関連のMicrosoft技術やデータサイエンスの話をメインに。

Azure Machine Learning WorkbenchからSparkクラスタを使う場合の注意点

最近リリースされたAzure Machine Learning Workbenchは、機械学習の実行環境を ローカルPC ローカルPC上のDocker リモートPC上のDocker (AzureのGPUインスタンス等で実行できます) Azure HDInsightのSparkクラスタ から選択できます。リモートPCのDocker及…

Cognitive Toolkitを使ってみる ~ 深層学習を数値データの二値分類から初めてみよう

深層学習の入門としては、画像識別アルゴリズム実験用の画像データセットとして公開されているMNISTデータセット(http://yann.lecun.com/exdb/mnist/)を使った画像識別が、いわゆるプログラミング言語のHello Worldに相当するものとされています。ただし、二…

Microsoft Translatorを使ったテキスト機械翻訳 -基本編

Microsoft Translatorは機械翻訳のためのSaaS APIです。現在はAzure Cognitive Servicesという人工知能サービスAPI群の一つとして提供されています。 以前はAzure DataMarketというサービスで提供されていましたが、DataMarketは2017年3月31日で提供終了、Da…

私訳:NumPy Quickstart tutorial

Pythonの数学計算ライブラリであるNumPyは深層学習を含めた機械学習に必須のライブラリですが、日本語情報があまり多くないため、Quickstart tutorialを翻訳してみました。 あくまで私訳ですので、原文と合わせてみて頂ければと思います。 原文: https://do…

データサイエンスにおけるETL vs ELT

ETLといえば、昔からBIの領域で様々なマスター/トランザクションデータを収集するために使われている技術です。すなわち、Extract (抽出) - Transform (変換) - Load (読み込み) という3つのプロセスで、BI側に役立つ形にデータを加工して取り込むことで…

従来の統計処理と機械学習

最近様々な新聞や雑誌に、毎日のように機械学習(マシンラーニング)や深層学習(ディープラーニング)といった言葉がでてきますが、先日あるお客様より 「今までの統計処理と何が違うの?人工知能とはどう違うの?」 という質問をされました。 機械学習の使用し…