fabric-lakehouse
Fabric Lakehouseとその機能に関するコンテキストを取得するためのスキルです。Lakehouseのデータコンポーネント、スキーマやショートカットを使った整理方法、アクセス制御、コード例などを提供します。ベストプラクティスに基づいてLakehouseソリューションの設計・構築・最適化を行うユーザーをサポートします。
description の原文を見る
Use this skill to get context about Fabric Lakehouse and its features for software systems and AI-powered functions. It offers descriptions of Lakehouse data components, organization with schemas and shortcuts, access control, and code examples. This skill supports users in designing, building, and optimizing Lakehouse solutions using best practices.
SKILL.md 本文
このスキルを使用する場合
このスキルは次の場合に使用してください:
- Fabric Lakehouse の定義、コンテキスト、その機能についてドキュメントや説明を生成する必要がある場合
- ベストプラクティスを使用して Lakehouse ソリューションを設計、構築、最適化する場合
- Microsoft Fabric の Lakehouse の核となる概念とコンポーネントを理解したい場合
- Lakehouse 内のテーブルデータと非テーブルデータを管理する方法を学びたい場合
Fabric Lakehouse
核となる概念
Lakehouse とは
Microsoft Fabric の Lakehouse は、ユーザーがテーブルデータ (テーブルなど) と非テーブルデータ (ファイルなど) を保存するための場所を提供するアイテムです。データレイクの柔軟性とデータウェアハウスの管理機能を組み合わせています。次のものを提供します:
- OneLake への統合ストレージ: 構造化および非構造化データ
- Delta Lake 形式: ACID トランザクション、バージョニング、タイムトラベル
- SQL 分析エンドポイント: T-SQL クエリ用
- セマンティックモデル: Power BI 統合用
- CSV、Parquet などの他のテーブル形式のサポート
- あらゆるファイル形式のサポート
- テーブル最適化とデータ管理用のツール
主要コンポーネント
- Delta テーブル: ACID コンプライアンスとスキーマ強制を備えた管理テーブル
- ファイル: Files セクション内の非構造化/半構造化データ
- SQL エンドポイント: クエリ実行用の自動生成された読み取り専用 SQL インターフェース
- ショートカット: データをコピーせずに外部/内部データへの仮想リンク
- Fabric 具体化ビュー: 高速クエリパフォーマンスのための事前計算テーブル
Lakehouse のテーブルデータ
テーブル形式のテーブルデータは「Tables」フォルダの下に保存されます。Lakehouse のテーブルの主な形式は Delta です。Lakehouse は CSV や Parquet などの他の形式のテーブルデータを保存できます。これらの形式は Spark クエリでのみ利用可能です。 テーブルには、データが「Tables」フォルダの下に保存される内部テーブルと、「Tables」フォルダの下に参照のみが保存されておりデータ自体が参照先の場所に保存される外部テーブルがあります。テーブルはショートカットを通じて参照されます。ショートカットは、Fabric 内の別の場所を指す内部ショートカット、または Fabric 外に保存されているデータを指す外部ショートカットになります。
Lakehouse のテーブル用スキーマ
Lakehouse を作成する際、ユーザーはスキーマを有効にすることを選択できます。スキーマは Lakehouse テーブルを整理するために使用されます。スキーマは「Tables」フォルダの下のフォルダとして実装され、それらのフォルダ内にテーブルを保存します。デフォルトスキーマは「dbo」で、削除または名前変更はできません。他のすべてのスキーマはオプションであり、作成、名前変更、または削除が可能です。ユーザーはスキーマショートカットを使用して別の Lakehouse に配置されているスキーマを参照できます。これにより、単一のショートカットで宛先スキーマ内のすべてのテーブルを参照できます。
Lakehouse のファイル
ファイルは「Files」フォルダの下に保存されます。ユーザーはフォルダとサブフォルダを作成してファイルを整理できます。任意のファイル形式を Lakehouse に保存できます。
Fabric 具体化ビュー
スケジュールに基づいて自動的に更新される事前計算テーブルのセット。複雑な集約とジョインに対して高速クエリパフォーマンスを提供します。具体化ビューは PySpark または Spark SQL を使用して定義され、関連するノートブックに保存されます。
Spark ビュー
SQL クエリで定義された論理テーブル。データを保存しませんが、クエリ実行のための仮想レイヤーを提供します。ビューは Spark SQL を使用して定義され、テーブルの隣にある Lakehouse に保存されます。
セキュリティ
アイテムアクセスまたはコントロールプレーンセキュリティ
ユーザーはワークスペースロール (Admin、Member、Contributor、Viewer) を持つことができ、これは Lakehouse とその内容への異なるレベルのアクセスを提供します。ユーザーは Lakehouse の共有機能を使用してアクセス許可を取得することもできます。
データアクセスまたは OneLake セキュリティ
データアクセスには OneLake セキュリティモデルを使用します。これは Microsoft Entra ID (旧称 Azure Active Directory) とロールベースアクセス制御 (RBAC) に基づいています。Lakehouse データは OneLake に保存されるため、データへのアクセスは OneLake アクセス許可を通じて制御されます。オブジェクトレベルのアクセス許可に加えて、Lakehouse はテーブルの列レベルおよび行レベルセキュリティもサポートしており、特定の列または行を見ることができるユーザーを細かく制御できます。
Lakehouse ショートカット
ショートカットはデータをコピーせずに仮想リンクを作成します:
ショートカットのタイプ
- 内部: 他の Fabric Lakehouse/テーブルへのリンク、ワークスペース間でのデータ共有
- ADLS Gen2: Azure の ADLS Gen2 コンテナへのリンク
- Amazon S3: AWS S3 バケット、クラウド間のデータアクセス
- Dataverse: Microsoft Dataverse、ビジネスアプリケーションデータ
- Google Cloud Storage: GCS バケット、クラウド間のデータアクセス
パフォーマンスの最適化
V-Order の最適化
セマンティックモデルを使用してデータを高速に読み取るには、Delta テーブルで V-Order の最適化を有効にします。これにより、一般的なアクセスパターンのクエリパフォーマンスを向上させる方法でデータが事前にソートされます。
テーブル最適化
テーブルは OPTIMIZE コマンドを使用して最適化することもできます。このコマンドは小さいファイルを大きなファイルにコンパクトし、特定の列のクエリパフォーマンスを向上させるために Z-ordering を適用することもできます。定期的な最適化は、データが取り込まれ更新される時間の経過に伴うパフォーマンスの維持に役立ちます。Vacuum コマンドは古いファイルをクリーンアップし、特に更新と削除の後にストレージスペースを解放するために使用できます。
系統図
Lakehouse アイテムは系統図をサポートし、ユーザーはデータの起源と変換を追跡できます。系統図情報は Lakehouse のテーブルとファイルに対して自動的にキャプチャされ、ソースから宛先へのデータの流れを示します。これは、デバッグ、監査、データの依存関係の理解に役立ちます。
PySpark コード例
詳細については、PySpark コード を参照してください。
Lakehouse へのデータの取得
詳細については、データの取得 を参照してください。
ライセンス: MIT(寛容ライセンスのため全文を引用しています) · 原本リポジトリ
詳細情報
- 作者
- github
- ライセンス
- MIT
- 最終更新
- 不明
Source: https://github.com/github/awesome-copilot / ライセンス: MIT
関連スキル
agent-browser
AI エージェント向けのブラウザ自動化 CLI です。ウェブサイトとの対話が必要な場合に使用します。ページ遷移、フォーム入力、ボタンクリック、スクリーンショット取得、データ抽出、ウェブアプリのテスト、ブラウザ操作の自動化など、あらゆるブラウザタスクに対応できます。「ウェブサイトを開く」「フォームに記入する」「ボタンをクリックする」「スクリーンショットを取得する」「ページからデータを抽出する」「このウェブアプリをテストする」「サイトにログインする」「ブラウザ操作を自動化する」といった要求や、プログラマティックなウェブ操作が必要なタスクで起動します。
anyskill
AnySkill — あなたのプライベート・スキルクラウド。GitHubを基盤としたリポジトリからエージェントスキルを管理、同期、動的にロードできます。自然言語でクラウドスキルを検索し、オンデマンドでプロンプトを自動ロード、カスタムスキルのアップロードと共有、スキルバンドルの一括インストールが可能です。OpenClaw、Antigravity、Claude Code、Cursorに対応しています。
engram
AIエージェント向けの永続的なメモリシステムです。バグ修正、意思決定、発見、設定変更の後はmem_saveを使用してください。ユーザーが「覚えている」「記憶している」と言及した場合、または以前のセッションと重複する作業を開始する際はmem_searchを使用します。セッション終了前にmem_session_summaryを使用して、コンテキストを保持してください。
skyvern
AI駆動のブラウザ自動化により、任意のウェブサイトを自動化できます。フォーム入力、データ抽出、ファイルダウンロード、ログイン、複数ステップのワークフロー実行など、ユーザーがウェブサイトと連携する必要があるときに使用します。Skyvernは、LLMとコンピュータビジョンを活用して、未知のサイトも自動操作可能です。Python SDK、TypeScript SDK、REST API、MCPサーバー、またはCLIを通じて統合できます。
pinchbench
PinchBenchベンチマークを実行して、OpenClawエージェントの実世界タスクにおけるパフォーマンスを評価できます。モデルの機能テスト、モデル間の比較、ベンチマーク結果のリーダーボード提出、またはOpenClawのセットアップがカレンダー、メール、リサーチ、コーディング、複数ステップのワークフローにどの程度対応しているかを確認する際に使用します。
openui
OpenUIとOpenUI Langを使用してジェネレーティブUIアプリを構築できます。これらはLLM生成インターフェースのためのトークン効率的なオープン標準です。OpenUI、@openuidev、ジェネレーティブUI、LLMからのストリーミングUI、AI向けコンポーネントライブラリ、またはjson-render/A2UIの置き換えについて述べる際に使用します。スキャフォルディング、defineComponent、システムプロンプト、Renderer、およびOpenUI Lang出力のデバッグに対応しています。