Извоз во објектно складиште

1. Празнината што ја пополнува

Досега имаше точно еден пат од MousePlayer до складиште на податоци и водеше до Google. Ако користите Snowflake, Redshift или ClickHouse, немаше ниту еден - иако сите три без проблем читаат од објектно складиште.

Затоа мостот запишува во објектно складиште наместо во секое складиште на податоци одделно. Snowflake презема од S3, Redshift презема од S3, ClickHouse презема од S3, а BigQuery презема од Google Cloud Storage. Еден извоз стигнува до сите нив.

Каде	Како се адресира
Amazon S3	Signature Version 4, кофата во домаќинот
Cloudflare R2	Signature Version 4 кон крајната точка на вашата сметка
Google Cloud Storage	преку својот API компатибилен со S3, со HMAC-клуч
MinIO, Wasabi, Backblaze B2 и други	Signature Version 4 кон вашата крајна точка
Azure Blob Storage	SAS-врска до контејнер - воопшто нема потпишување на нашата страна

2. Зошто Azure е различен и зошто тоа е подобро

Azure Blob не користи Signature Version 4; потпишува со SharedKey. Можевме да изградиме втора шема за потпишување. Наместо тоа мостот прифаќа SAS-врска до контејнер - URL-адреса што ја создавате во вашата сметка за складирање, со веќе вклучен потпис.

Тоа е помалку код на нашата страна и помалку потребна доверба на вашата. Воопшто не гледаме клуч на сметката: ни давате дозвола чиј опсег сами сте го одредиле, за еден контејнер, со рок на истекување што сте го избрале, отповиклива во секое време без да допирате ништо друго.

3. Еден објект по цел, а клучот е датум

Објектното складиште нема додавање на крај. Дневна датотека би морала целосно да се препишува секојпат, а две цели што пристигнуваат истовремено би се препишале меѓусебно. Затоа секоја исполнета цел станува посебен објект.

Цената е многу мали објекти; распоредот на клучевите го прави тоа изводливо:

prefix/YYYY/MM/DD/channel/session-goal.json

Складиште на податоци чита еден ден како една партиција, а дополнување за минат период е скенирање префикс наместо пребарување. Ако сакате поделба по проект наместо по датум, ставете го ID на каналот во префиксот.

Секој објект е еден ред JSON

Намерно без вовлекување, за цел префикс да се чита како NDJSON без отворање на објектите еден по еден. Временски печат, проект, сесија, ID на клиентот, цел, вредност, валута и врска што ја репродуцира снимката.

Празна вредност е null, а не нула

Цел без парична вредност запишува null. Во складиште на податоци нулата би влегла во збир што никогаш не постоел - разликата меѓу „нема договорен износ“ и „износ нула“ се зачувува во извозот.

4. Ако одговара со 403, прво прочитајте го ова

Одбиено S3-барање кажува речиси ништо и има причина зошто пораката за грешка во нашиот дневник кажува повеќе од S3: регионот е дел од потписот. Погрешен регион и погрешен клуч создаваат исто 403, па очигледниот осомничен - клучот - е точниот само во половина од случаите.

Три нешта за проверка, по овој ред:

• Регионот, точно како што го пријавува кофата. R2 и Google Cloud Storage прифаќаат auto и не го проверуваат; сите други го проверуваат.
• Дозволата за префиксот. Клуч со опсег mouseplayer/ не може да запишува во mouseplayer-goals/ - косата црта на крајот е важна во ARN на ресурсот.
• Крајната точка, за R2 и складишта компатибилни со S3. Залепете го домаќинот без https://; го отстрануваме во секој случај, но патека додадена на него е друга кофа.