🏔️ Data Lake Architecture

Build production data lakes with S3, Lake Formation, and Glue Catalog.

Module: AWS Data Engineering • Topic 20 of 65 • Premium Content

Data Lake Architecture

Architecture Diagram

┌─────────────────────────────────────────────────────────────────────────────┐
│                    AWS DATA LAKE ARCHITECTURE                                 │
│                                                                             │
│  ┌─────────────────────────────────────────────────────────────────────┐    │
│  │  DATA SOURCES                                                       │    │
│  │  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐          │    │
│  │  │ RDS/     │  │ SaaS     │  │ IoT      │  │ APIs     │          │    │
│  │  │ Aurora   │  │ Apps     │  │ Devices  │  │          │          │    │
│  │  └────┬─────┘  └────┬─────┘  └────┬─────┘  └────┬─────┘          │    │
│  └───────┼──────────────┼──────────────┼──────────────┼───────────────┘    │
│          ▼              ▼              ▼              ▼                     │
│  ┌─────────────────────────────────────────────────────────────────────┐    │
│  │  INGESTION                                                          │    │
│  │  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐          │    │
│  │  │ DMS      │  │ Glue     │  │ Kinesis  │  │ Data     │          │    │
│  │  │ (CDC)    │  │ (Batch)  │  │ (Stream) │  │ Pipeline │          │    │
│  │  └────┬─────┘  └────┬─────┘  └────┬─────┘  └────┬─────┘          │    │
│  └───────┼──────────────┼──────────────┼──────────────┼───────────────┘    │
│          ▼              ▼              ▼              ▼                     │
│  ┌─────────────────────────────────────────────────────────────────────┐    │
│  │  S3 DATA LAKE (Medallion Architecture)                               │    │
│  │                                                                     │    │
│  │  ┌───────────────────────────────────────────────────────────────┐  │    │
│  │  │  BRONZE (Raw)                                                  │  │    │
│  │  │  s3://data-lake/bronze/{source}/{date}/                       │  │    │
│  │  │  • As-is data from sources                                     │  │    │
│  │  │  • No transformations                                          │  │    │
│  │  │  • Retention: 90 days → Glacier                                │  │    │
│  │  └───────────────────────────────────────────────────────────────┘  │    │
│  │                                                                     │    │
│  │  ┌───────────────────────────────────────────────────────────────┐  │    │
│  │  │  SILVER (Cleaned)                                             │  │    │
│  │  │  s3://data-lake/silver/{table}/{date}/                       │  │    │
│  │  │  • Deduplicated, validated                                     │  │    │
│  │  │  • Schema enforced                                             │  │    │
│  │  │  • Format: Parquet                                             │  │    │
│  │  │  • Retention: 1 year → IA                                      │  │    │
│  │  └───────────────────────────────────────────────────────────────┘  │    │
│  │                                                                     │    │
│  │  ┌───────────────────────────────────────────────────────────────┐  │    │
│  │  │  GOLD (Business-ready)                                        │  │    │
│  │  │  s3://data-lake/gold/{domain}/{metric}/                      │  │    │
│  │  │  • Aggregated, enriched                                        │  │    │
│  │  │  • Business logic applied                                      │  │    │
│  │  │  • Ready for analytics                                         │  │    │
│  │  └───────────────────────────────────────────────────────────────┘  │    │
│  └─────────────────────────────┬───────────────────────────────────────┘    │
│                                │                                           │
│  ┌─────────────────────────────┼───────────────────────────────────────┐    │
│  │  GOVERNANCE & CATALOG                                               │    │
│  │  ┌──────────────┐  ┌──────────────┐  ┌──────────────┐             │    │
│  │  │ Lake         │  │ Glue Data    │  │ AWS Config   │             │    │
│  │  │ Formation    │  │ Catalog      │  │ Rules        │             │    │
│  │  └──────────────┘  └──────────────┘  └──────────────┘             │    │
│  └─────────────────────────────────────────────────────────────────────┘    │
│                                                                             │
│  ┌─────────────────────────────────────────────────────────────────────┐    │
│  │  ANALYTICS                                                          │    │
│  │  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐          │    │
│  │  │ Athena   │  │ Redshift │  │ QuickSight│  │ EMR/Spark│          │    │
│  │  │ (Ad-hoc) │  │ (WH)     │  │ (BI)     │  │ (ML)    │          │    │
│  │  └──────────┘  └──────────┘  └──────────┘  └──────────┘          │    │
│  └─────────────────────────────────────────────────────────────────────┘    │
└─────────────────────────────────────────────────────────────────────────────┘

Lake Formation Permissions

import boto3

lakeformation = boto3.client('lakeformation')

# Grant database permissions
lakeformation.grant_permissions(
    Principal={'DataLakePrincipalIdentifier': 'IAM_ARN:arn:aws:iam::123456789012:role/AnalystRole'},
    Resource={
        'Database': {'Name': 'data_lake_db'}
    },
    Permissions=['CREATE_TABLE', 'ALTER', 'DROP']
)

# Grant table permissions
lakeformation.grant_permissions(
    Principal={'DataLakePrincipalIdentifier': 'IAM_ARN:arn:aws:iam::123456789012:role/AnalystRole'},
    Resource={
        'Table': {
            'DatabaseName': 'data_lake_db',
            'Name': 'sales'
        }
    },
    Permissions=['SELECT', 'INSERT', 'DELETE']
)

# Grant column-level permissions
lakeformation.grant_permissions(
    Principal={'DataLakePrincipalIdentifier': 'IAM_ARN:arn:aws:iam::123456789012:role/AnalystRole'},
    Resource={
        'TableWithColumns': {
            'DatabaseName': 'data_lake_db',
            'Name': 'customers',
            'ColumnNames': ['customer_id', 'name', 'email'],
            'ColumnWildcard': {'ExcludedColumnNames': ['ssn', 'credit_card']}
        }
    },
    Permissions=['SELECT']
)

Interview Q&A

Q1: What is the Medallion Architecture?

Answer: Bronze (raw) → Silver (cleaned) → Gold (business-ready). Each layer adds quality and value while maintaining data lineage.

Q2: How does Lake Formation differ from IAM policies?

Answer: Lake Formation provides fine-grained (column/row level) permissions on data catalog objects. IAM controls AWS resource access. Both work together.

Q3: What is the key benefit of a data lake over a data warehouse?

Answer: Data lakes store raw, schema-on-read data at lower cost. Warehouses store structured, schema-on-write data optimized for queries.

Summary

Architecture: Bronze → Silver → Gold layers
Storage: S3 with lifecycle policies
Governance: Lake Formation for fine-grained permissions
Catalog: Glue Data Catalog for metadata management
Formats: Parquet for processed data, raw format for Bronze
Analytics: Athena, Redshift, QuickSight on the same data

Data Lake Architecture on AWS

🏔️ Data Lake Architecture