İçeriğe geç
Veri ambarı & depolama aktarımı

Verileriniz, kendi bucket'ınızda.

SegmentHub her gece olayları, profilleri, ziyaretçileri ve kampanya istatistiklerini sahibi olduğunuz depolama alanına, veri ambarınızın dönüştürme adımı olmadan yüklediği bir formatta yazar. Bucket, kimlik bilgileri, depolama faturası ve saklama politikası tamamen sizindir — kendi e-posta gönderim sunucunuzu ve kendi reklam hesabı kimlik bilgilerinizi kullanmanızla aynı ilke.

s3://your-bucket/segmenthub/

acme/events/

dt=2026-09-05/

part-00001.parquet

part-00002.parquet

_load.sql

_manifest.json

dt=2026-09-06/

part-00001.parquet

_manifest.json

acme/profiles/

acme/email_campaign_stats/

Manifest = yüklemeye hazır
Yeniden çalıştırılabilir bölümler

Her gün altı veri kümesi

Her birinin sabit ve yayımlanmış bir sütun sözleşmesi vardır — çünkü bir bölüm yüklendiği anda bu adlar artık birilerinin modellerinde ve panellerindedir.

events

olay zamanına göre

profiles

son görülmeye göre

visitors

son görülmeye göre

campaign_stats

site içi

email_campaign_stats

günlük satırlar

push_campaign_stats

günlük satırlar

Kendi öznitelik adlarınız ve olay parametreleriniz, tabloyu hesap başına genişletmek yerine bir JSON sütununda taşınır; böylece her hesap aynı sabit şemaya yüklenir ve yeni bir öznitelik dünkü modeli asla bozmaz.

Üç format, araçlarınızın zaten tanıdığı tek bir düzen

Parquet

Snappy ile sıkıştırılmış, depolama ve tarama maliyeti açısından en verimli sütunlu dosyalar. Diziler gerçek dizi olarak kalır; JSON sütunları, veri ambarınızın okurken ayrıştırdığı metin değerleridir.

NDJSON

Gzip ile sıkıştırılmış, satır başına bir nesne; iç içe yapı olduğu gibi korunur. Her yere yüklenir ve bir insan bir parçayı açıp okuyabilir — bu, gece 3'te göründüğünden çok daha önemlidir.

CSV

Gzip ile sıkıştırılmış ve düzleştirilmiş; elektronik tablolar ve eski yükleyiciler için. Kaçış karakterleri doğru işlenir, çünkü öznitelik değerleri sık sık virgül, tırnak ve satır sonu içerir.

Hive tarzı bölümler

Dosyalar dt=YYYY-MM-DD/ altına yazılır; BigQuery, Athena, Redshift Spectrum, Spark ve DuckDB bunu hiçbir yapılandırma gerektirmeden bir bölüm sütunu olarak tanır. Veri dosyaları part- ile, meta veri dosyaları ise alt çizgiyle başlar; böylece joker karakterli bir yükleme manifesti asla yanlışlıkla veri olarak ayrıştıramaz.

Manifest, tamamlanma işaretidir

Önce parçalar, en son manifest yazılır; böylece “bu bölüm yüklemeye hazır mı?” sorusu tek bir ucuz kontrolle yanıtlanır. Manifest; şemayı, dosya başına satır sayılarını, bayt sayılarını ve sağlama toplamlarını, ayrıca satırların nereden geldiğini belirten bir satırı içerir — olağandan hafif görünen bir gün için herkesin sorduğu ilk sorunun yanıtı da budur.

Her bölüm, yeniden yapılabilen bir iş birimidir

Zamanlanmış aktarım, doksan günlük geriye dönük doldurma, bir bucket kesintisinin ardından yeniden deneme ve elle sıraya aldığınız bir yeniden aktarım; hepsi aynı kod yolundan geçerek aynı kayıt defteri satırına ulaşır. Hiçbirinin veri ambarınızdaki bir satırı ikiye katlayamamasının nedeni budur.

Talep üzerine geriye dönük doldurma

Olaylar canlı akıştan kopyalanmak yerine platformun kendi olay arşivinden yeniden okunur; böylece arşivde hâlâ bulunan herhangi bir gün bugün aktarılabilir — ve olaylar arşivlendikleri zamana göre değil, gerçekleştikleri zamana göre bölümlenir.

Ekleme yok, her zaman değiştirme

Yeniden çalıştırma, manifesti yazmadan önce daha kısa bir çalıştırmanın geride bıraktığı eski parçaları siler; böylece “bölümü değiştir” ifadesi yaklaşık olarak değil, tam anlamıyla doğrudur. Bugün asla aktarılmaz: bugünün bölümü henüz kapanmamıştır.

Asla platformun aleyhine değil

Tarama, hesap başına bir üst sınırla kendi işçi havuzunda on beş dakikada bir çalışır; böylece üç aylık açığını kapatmaya çalışan bir hesap, kitle sorgularınızın dayandığı indekslemeyi yavaşlatamaz.

Yalnızca bir bucket'a değil, veri ambarının içine

BigQuery'ye yerel yükleme. Her gün kendi tablo bölümünü hedefler ve onu değiştirir; böylece bir yeniden deneme günü ikiye katlamak yerine düzeltir. Şema otomatik algılanmak yerine açıkça iletilir — aksi hâlde bir sütunun tesadüfen boş kaldığı bir gün farklı bir veri türüyle yüklenir ve haftalar sonra yüklemeleri bozardı.

Snowflake, Athena ve Trino için çalıştırmaya hazır SQL. Her bölüm; COPY INTO, LOAD DATA ve CREATE EXTERNAL TABLE içeren, otomatik oluşturulmuş bir betik taşıyabilir. Betik, dosyaların yazıldığı şemanın aynısından üretilir; böylece ikisi birbiriyle çelişemez.

Mevcut bir tabloya dokunulmaz. Tabloyu kümelemiş, sütun eklemiş ya da bir saklama politikası belirlemiş olabilirsiniz; bunların hiçbirinin üzerine yazmak bize düşmez.

Bağlantı testi gerçek bir nesne yazar ve siler. Dürüst olan tek kontrol budur — salt okunur bir anahtar diğer her testi geçer, sonra da kimsenin izlemediği bir bölümde saat 03:00'te başarısız olur.

Bölüm kayıt defteri

events · 2026-09-05Tamamlandı
profiles · 2026-09-05Tamamlandı
events · 2026-09-04Çalışıyor
visitors · 2026-09-04Sırada
events · 2026-09-03Yeniden deneniyor

Deneme başına değil, veri kümesi ve gün başına tek satır. Başarısız bir bölüm, bekleme süresini artırarak kendiliğinden yeniden denenir; panelden herhangi bir tarih aralığı yeniden aktarım için sıraya alınabilir. Arayüz değerleri örnek amaçlıdır.

“Verilerimizi dışarı alabilir miyiz?” sorusunu bir bucket yoluyla yanıtlayın.

Günlük sorular için raporlama modülüyle, aradaki her şey için REST API ile birlikte kullanın.

İlk aktarımınızı kurun