Esportazzjoni tal-ħażna tal-oġġetti

1. Il-vojt li jimla

Qabel triq waħda lejn Google. Għal Snowflake, Redshift jew ClickHouse xejn, għalkemm kollha jaqraw object storage faċilment.

Il-bridge jikteb fil-ħażna minflok kull warehouse separat: Snowflake minn S3, Redshift minn S3, ClickHouse minn S3, BigQuery minn Google Cloud Storage. Esportazzjoni waħda għal kulħadd.

Fejn	Kif indirizzat
Amazon S3	Signature Version 4, bucket fil-host
Cloudflare R2	Signature Version 4 mal-endpoint tal-kont
Google Cloud Storage	API kompatibbli ma’ S3 b’ċavetta HMAC
MinIO, Wasabi, Backblaze B2 u oħrajn	Signature Version 4 mal-endpoint tagħkom
Azure Blob Storage	link SAS tal-container — bla iffirmar minna

2. Għaliex Azure differenti u aħjar

Azure juża SharedKey, mhux Signature Version 4. Minflok skema oħra nieħdu link SAS tal-container — URL ġġenerat fil-kont tagħkom b’signature diġà fih.

Inqas kodiċi minna u fiduċja minnkom. Qatt ċavetta tal-kont: permess limitat għal container wieħed, skadenza magħżula, revokabbli bla tibdil ieħor.

3. Oġġett kull għan, iċ-ċavetta data

Object storage bla append. Fajl ta’ kuljum jinkiteb kollu kull darba u għanijiet simultanji jissostitwixxu lil xulxin. Għalhekk oġġett separat għal kull għan.

Ħafna oġġetti żgħar; dan il-layout jagħmilha prattika:

prefix/YYYY/MM/DD/channel/session-goal.json

Jum bħala partizzjoni waħda u backfill scan tal-prefiss, mhux query. Għal partizzjoni bi proġett, channel ID fil-prefiss.

Kull oġġett linja JSON

Bla indent apposta: prefiss sħiħ NDJSON bla tiftaħ wieħed wieħed. Ħin, proġett, sessjoni, klijent, għan, valur, munita u link.

Valur vojt null, mhux żero

Għan bla valur monetarju jikteb null. Żero jingħadd f’total li qatt ma eżista — "ebda ammont" jibqa’ differenti minn "ammont żero".

4. Jekk 403, aqraw l-ewwel

S3 jirrifjuta bla ħafna tagħrif; il-log tagħna jgħid aktar minn S3 għax: ir-reġjun jidħol fis-signature. Reġjun ħażin u ċavetta ħażina t-tnejn 403; iċ-ċavetta suspett ġust nofs il-ħin biss.

Iċċekkjaw b’dan l-ordni:

• Ir-reġjun, eżatt tal-bucket. R2 u Google Cloud Storage jieħdu auto u ma jiċċekkjawhx; l-oħrajn iva.
• Permess tal-prefiss. Ċavetta limitata għal mouseplayer/ ma tiktebx f’ mouseplayer-goals/ — slash finali importanti f’resource ARN.
• L-endpoint, għal R2 u S3-kompatibbli. Host mingħajr https://; inneħħuh xorta, iżda path miżjud bucket differenti.