DatabricksのSQL Warehouse (SQL Endpoint) と Databricks Clusterの違い
こんにちは。最近Databricksを勉強しているのですが、GUIを触っていて??となったタイトルの件について調べてみたので、分かったことをまとめておきたいと思います。 なお、私はAzure上のAzure Databri...
こんにちは。最近Databricksを勉強しているのですが、GUIを触っていて??となったタイトルの件について調べてみたので、分かったことをまとめておきたいと思います。 なお、私はAzure上のAzure Databri...
こんばんは。今日は、しばし気になっていたAzureの分析データストアソリューション、Azure Synapse Analyticsの専用SQLプール/サーバレスSQL/Sparkプールのクエリ速度比較の実験をしてみました...
新年あけましておめでとうございます。昨年8月を最後にブログの投稿が止まっていて久しぶりの投稿ですが、今年も時間をみつけて記事を残していきたいと思います。 新年1発目はAzure Cognitive Serviceの話にな...
こんばんは。今日は、Azure Data Factoryのコピーアクティビティで、スキーマ構造を動的に定義する方法を試してみたので、備忘メモを残しておきたいと思います。 それではまいります。 やりたいこと 例えばAzur...
こんにちは。Azure SQL 仮想マシンでちょっとつまづいたことがあったので備忘のためメモを残しておきたいと思います。 問題 Azure SQL仮想マシンの設定がポータル上グレーアウトされていじれなくなった。 プロビジ...
こんばんは。今日はAzure Synapse Analyticsの専用SQLプールにデータを取り込む方法を調べたり試したりしていたので、分かったことを残しておきたいと思います。 それではまいります。 専用SQLプールにデ...
こんばんは。今日は、Azure Synapse Analyticsの分散テーブルのSkewを特定して改善する方法を試してみたので、メモを残しておきたいと思います。 それではまいります。 Synapse Analytics...
こんにちは。今日は、Cognitive ServiceのCustom Visionをちょっとだけ触ってみる機会があったので、触れた内容を記録として残しておきたいと思います。 それではまいります。 Azure Cognit...
こんにちは。今日は、Azure Cognitive ServiceのComputer Visionを少し触ってみたので、それをもとに簡単にOCRアプリケーションを作成する方法のメモを残しておきたいと思います。 それではま...
こんにちは。今回はAzure Synapse Analyticsのトラブルシューティングメモです。 問題 Synapase Analyticsで、パイプラインを実行したところ以下のエラーがでて失敗した。 パイプラインで、...
こんばんは。今日は、SQL Serverの拡張イベントログについてちょっと調べてみたので、分かったことをまとめておきたいと思います。 ネットを探してもあまり記事をみつけられなかったので、同じ情報を探している方の参考になり...
こんばんは。今日最後の記事はSQL Serverの監査の話になります。 SQL Serverの監査機能にはどんな機能があるのかを整理しつつ、Azure SQL Databaseでの監査機能との違いについても調べておきたい...
こんばんは。今日は、SQL Serverの高速データベース復旧機能について少し勉強をしたので、分かったことなどを簡単にまとめておきたいと思います。 高速データベース復旧とは? 高速データベース復旧 – SQL...
こんにちは。今日は、SQL Server / Azure SQL Databaseのテンポラルテーブルという機能を触ってみましたので、どういったことができるのか、何が嬉しいのか、分かったことを簡単にまとめておきたいと思い...
こんにちは。今日はSQL ServerのAlways Encrypted機能について勉強しましたので、分かったことなぞ簡単にまとめておきたいと思います。 Always Encryptedとは? データの暗号化と復号をクラ...
自動チューニング機能とは 概要 https://docs.microsoft.com/ja-jp/sql/relational-databases/automatic-tuning/automatic-tuning?vi...
こんばんは。今日はAzure MonitorのWorkbookを使ってみたので、分かったことをまとめておきたいと思います。 それではまいります。 Azure MonitorのWorkbookとは https://docs...
おはようございます。 今日は、Azure Data Factoryのマネージド仮想ネットワーク/マネージドプライベートエンドポイント機能について勉強したので、分かったことをまとめておきたいと思います。 マネージド仮想ネッ...
おはようございます。PythonとAzure絡みの小ネタですが、備忘メモです。 やりたいこと PythonのDataframeをCSVでAzure Blob Storageに出力したい。 実現方法 Blob Storag...
こんばんは。今回はAzure SQL Databaseでちょっとつまづいたことがあったので対処法をメモっておきます。 問題 Azure SQL Databaseに、CSVファイルをBULK INSERTしたところ日本語が...
こんにちは。今日は、Azure Data Factoryのセルフホステッド統合ランタイムを構成してみる機会があったので、手順を簡単にメモしておきたいと思います。 (手順面倒くさいんじゃないかとちょっと身構えていたのですが...
問題 こちらはPythonで書かれたコードですが、こんな感じでCosmosDBのコレクション上のデータにソート(以下例では”id”でソート)をかけようとしたときに、エラーがでてしまいました。 ロー...
こんにちは。先週このブログをAWS LightSailからAzure VMに移行しましたので、その手順をこちらに整理しておきたいと思います。 なお、AWS LightSailからAzure VMへの直接移行は行えなさそう...
こんばんは。この週末は、このブログサービスの裏側をごっそり変える改修を行っていました・・。(思った10倍骨が折れた・・)ので、この機会に、このブログサービスのつくりを記事にまとめておきたいと思います。 それではまいります...
こんにちは。Azure SQL Databaseに.bakファイルをインポートする方法を試したので、簡単ですが手順を残しておきます。 Azure SQL DatabaseではBACPACファイル形式しかサポートされていな...
こんにちは。今日は兼ねてから気になっていたAzure Purview改めMicrosoft Purviewを触ってみましたので、調べて分かったことなどを記事に残しておこうと思います。 それではまいります。 Microso...
こんばんは。今回は、Azure DataFactoryについて調べてみたことをこの記事にまとめていきたいと思います。 それではまいります。 Azure DataFactoryとは? 一言でいうと、AzureのETL &a...
こんにちは。この記事では、SQL ServerやAzure Synapse Analyticsで登場するインデックスの種類と、その考え方を絵などを用いながら整理してみたいと思います。 それではまいります。 インデックスの...
こんばんは。本日は、Azure SQL DatabaseにCSVファイルを一括登録する手段として、bcpコマンドを使った方法の手順を確認したので、メモとして残しておきます。 なお、このbcpコマンドはAzure SQL ...
こんばんは。今晩は、Azure Data Explorerについて勉強しました。 いったい何者なのか、何ができるのか、どんな時に使うとよいのか、調べて分かったことを参考文献とともに箇条書きメモ形式でまとめておきたいと思い...