DatabricksのSQL Warehouse (SQL Endpoint) と Databricks Clusterの違い
こんにちは。最近Databricksを勉強しているのですが、GUIを触っていて??となったタイトルの件について調べてみたので、分かったことをまとめておきたいと思います。 なお、私はAzure上のAzure Databri...
Azure DatabricksMicrosoftAzure
Azure DatabricksSynapse AnalyticsAzure Synapse Analytics サーバレスSQL / 専用SQLプール / Sparkプールのクエリ速度を比較してみた
こんばんは。今日は、しばし気になっていたAzureの分析データストアソリューション、Azure Synapse Analyticsの専用SQLプール/サーバレスSQL/Sparkプールのクエリ速度比較の実験をしてみました...
Cognitive ServicesAzure Cognitive Service Container (OCR Read) を使ってみる
新年あけましておめでとうございます。昨年8月を最後にブログの投稿が止まっていて久しぶりの投稿ですが、今年も時間をみつけて記事を残していきたいと思います。 新年１発目はAzure Cognitive Serviceの話にな...
Azure Data FactoryAzure Data Factoryのコピーアクティビティでスキーマ構造を動的に定義する
こんばんは。今日は、Azure Data Factoryのコピーアクティビティで、スキーマ構造を動的に定義する方法を試してみたので、備忘メモを残しておきたいと思います。 それではまいります。 やりたいこと 例えばAzur...
Virtual MachinesAzure SQL仮想マシンでプロビジョニングの状態が”Failed”になってSQL Serverに接続できない
こんにちは。Azure SQL 仮想マシンでちょっとつまづいたことがあったので備忘のためメモを残しておきたいと思います。 問題 Azure SQL仮想マシンの設定がポータル上グレーアウトされていじれなくなった。 プロビジ...
Synapse AnalyticsAzure Synapse Analyticsの専用SQLプールにデータを取り込む方法まとめ
こんばんは。今日はAzure Synapse Analyticsの専用SQLプールにデータを取り込む方法を調べたり試したりしていたので、分かったことを残しておきたいと思います。 それではまいります。 専用SQLプールにデ...
Synapse AnalyticsAzure Synapse Analytics 専用SQLプール上の分散テーブルのData Skewを特定して改善する
こんばんは。今日は、Azure Synapse Analyticsの分散テーブルのSkewを特定して改善する方法を試してみたので、メモを残しておきたいと思います。 それではまいります。 Synapse Analytics...
Cognitive Services【１０分でできる】Azure Cognitive Service – Custom Visionで独自の画像分類モデルを構築～デプロイしてみる【ノーコード】
こんにちは。今日は、Cognitive ServiceのCustom Visionをちょっとだけ触ってみる機会があったので、触れた内容を記録として残しておきたいと思います。 それではまいります。 Azure Cognit...
Cognitive ServicesAzure Cognitive Service – Computer Visionを使って一瞬でOCRアプリケーションを作成する
こんにちは。今日は、Azure Cognitive ServiceのComputer Visionを少し触ってみたので、それをもとに簡単にOCRアプリケーションを作成する方法のメモを残しておきたいと思います。 それではま...
Synapse AnalyticsAzure Synapse Analyticsのパイプライン実行で”CREATE EXTERNAL TABLE AS SELECT statement failed as the path name…”エラーが発生する
こんにちは。今回はAzure Synapse Analyticsのトラブルシューティングメモです。 問題 Synapase Analyticsで、パイプラインを実行したところ以下のエラーがでて失敗した。 パイプラインで、...
Azure SQL Database【３分で流し読み】SQL Serverの拡張イベントログを理解する
こんばんは。今日は、SQL Serverの拡張イベントログについてちょっと調べてみたので、分かったことをまとめておきたいと思います。 ネットを探してもあまり記事をみつけられなかったので、同じ情報を探している方の参考になり...
Azure SQL DatabaseSQL Server / Azure SQL Databaseの監査機能まとめ
こんばんは。今日最後の記事はSQL Serverの監査の話になります。 SQL Serverの監査機能にはどんな機能があるのかを整理しつつ、Azure SQL Databaseでの監査機能との違いについても調べておきたい...
Azure SQL Database【３分で流し読み】SQL Server / Azure SQLの高速データベース復旧（ADR）でできることを理解する
こんばんは。今日は、SQL Serverの高速データベース復旧機能について少し勉強をしたので、分かったことなどを簡単にまとめておきたいと思います。 高速データベース復旧とは？ 高速データベース復旧 – SQL...
Azure SQL Database【５分で流し読み】SQL Server / Azure SQL Databaseのテンポラルテーブルでできることを理解する
こんにちは。今日は、SQL Server / Azure SQL Databaseのテンポラルテーブルという機能を触ってみましたので、どういったことができるのか、何が嬉しいのか、分かったことを簡単にまとめておきたいと思い...
Azure SQL Database【５分で流し読み】SQL Server / Azure SQL DatabaseのAlways Encrypted機能でできることを理解する
こんにちは。今日はSQL ServerのAlways Encrypted機能について勉強しましたので、分かったことなぞ簡単にまとめておきたいと思います。 Always Encryptedとは？ データの暗号化と復号をクラ...
Azure SQL Database【３分で流し読み】SQL Server / Azure SQL Databaseの自動チューニング機能でできることを理解する
自動チューニング機能とは 概要 https://docs.microsoft.com/ja-jp/sql/relational-databases/automatic-tuning/automatic-tuning?vi...
Azure Monitor【５分で流し読み】Azure MonitorのWorkbookでできることを理解する
こんばんは。今日はAzure MonitorのWorkbookを使ってみたので、分かったことをまとめておきたいと思います。 それではまいります。 Azure MonitorのWorkbookとは https://docs...
Azure Data Factory【５分で流し読み】Azure Data Factoryのマネージド仮想ネットワーク/マネージドプライベートエンドポイント機能を理解する
おはようございます。 今日は、Azure Data Factoryのマネージド仮想ネットワーク/マネージドプライベートエンドポイント機能について勉強したので、分かったことをまとめておきたいと思います。 マネージド仮想ネッ...
Azure StoragePythonのDataframeをCSVでAzure Blob Storageに出力する方法
おはようございます。PythonとAzure絡みの小ネタですが、備忘メモです。 やりたいこと PythonのDataframeをCSVでAzure Blob Storageに出力したい。 実現方法 Blob Storag...
Azure SQL DatabaseAzure SQL DatabaseにBULK INSERTしたら日本語が文字化けした
こんばんは。今回はAzure SQL Databaseでちょっとつまづいたことがあったので対処法をメモっておきます。 問題 Azure SQL Databaseに、CSVファイルをBULK INSERTしたところ日本語が...
Azure Data FactoryAzure Data Factoryのセルフホステッド統合ランタイム（SHIR）とは？実際に構成してみた
こんにちは。今日は、Azure Data Factoryのセルフホステッド統合ランタイムを構成してみる機会があったので、手順を簡単にメモしておきたいと思います。 （手順面倒くさいんじゃないかとちょっと身構えていたのですが...
Cosmos DBAzure CosmosDB (MongoDB API)上のデータをSortしようとすると”The index path corresponding to the specified order-by item is excluded”エラーが発生する
問題 こちらはPythonで書かれたコードですが、こんな感じでCosmosDBのコレクション上のデータにソート（以下例では”id”でソート）をかけようとしたときに、エラーがでてしまいました。 ロー...
Azure MigrateAWS LightSail / EC2からAzure VMに移行する方法【うまくいけば１時間でできる】
こんにちは。先週このブログをAWS LightSailからAzure VMに移行しましたので、その手順をこちらに整理しておきたいと思います。 なお、AWS LightSailからAzure VMへの直接移行は行えなさそう...
MicrosoftAzureこのブログはこうやってうごいています
こんばんは。この週末は、このブログサービスの裏側をごっそり変える改修を行っていました・・。（思った10倍骨が折れた・・）ので、この機会に、このブログサービスのつくりを記事にまとめておきたいと思います。 それではまいります...
Azure SQL DatabaseAzure SQL Databaseに.bakファイル形式のデータをインポートする方法
こんにちは。Azure SQL Databaseに.bakファイルをインポートする方法を試したので、簡単ですが手順を残しておきます。 Azure SQL DatabaseではBACPACファイル形式しかサポートされていな...
Microsoft Purview高度なデータガバナンスを実現するMicrosoft Purviewを徹底解説
こんにちは。今日は兼ねてから気になっていたAzure Purview改めMicrosoft Purviewを触ってみましたので、調べて分かったことなどを記事に残しておこうと思います。 それではまいります。 Microso...
Azure Data FactoryAzure Data Factoryってどんなサービス？何ができるの？
こんばんは。今回は、Azure DataFactoryについて調べてみたことをこの記事にまとめていきたいと思います。 それではまいります。 Azure DataFactoryとは？ 一言でいうと、AzureのETL &a...
Synapse Analytics【図解】SQL Server / Azure Synapse Analyticsのインデックスの種類と考え方を整理する
こんにちは。この記事では、SQL ServerやAzure Synapse Analyticsで登場するインデックスの種類と、その考え方を絵などを用いながら整理してみたいと思います。 それではまいります。 インデックスの...
Azure SQL DatabaseAzure SQL DatabaseにbcpコマンドでCSV/TXTファイルを一括インポートする
こんばんは。本日は、Azure SQL DatabaseにCSVファイルを一括登録する手段として、bcpコマンドを使った方法の手順を確認したので、メモとして残しておきます。 なお、このbcpコマンドはAzure SQL ...
Aure Data Explorer【徹底解説】Azure Data Explorerとは？何ができるの？どういう時に使うの？
こんばんは。今晩は、Azure Data Explorerについて勉強しました。 いったい何者なのか、何ができるのか、どんな時に使うとよいのか、調べて分かったことを参考文献とともに箇条書きメモ形式でまとめておきたいと思い...
Profile
初めまして。
東京で働くデータ分析屋兼アプリケーションエンジニアです。旅行とカメラと江戸時代が趣味です。日々勉強したこと、趣味のことについて、自分の記録も兼ねて。
もともとは旅行記残そうと思って始めたブログですが、いつのまにか技術の話ばっかりに・・
＊記事はすべて個人の見解で、かつ記載時点の情報に基づいています。
