Amazon S3 Cheat Sheet: commando's, opslagklassen, etc. (2023)

Wat is AWS S3?

Amazon eenvoudige opslagservice (Amazon S3)is een objectopslagservice die hoge schaalbaarheid, beschikbaarheid van gegevens, beveiliging en prestaties biedt. Het biedt functies om de toegang tot uw gegevens te optimaliseren, organiseren en configureren om aan de vereisten van de organisatie te voldoen.

Het is de meest fundamentele en globaleInfrastructuur als een service (IaaS)oplossing aangeboden doorAmazon-webservices (AWS).

Met zijn eenvoudige webservice-interface is het gemakkelijk om overal op internet gegevens op Amazon S3 op te slaan en op te halen. Het enige dat u hoeft te doen, is een regio kiezen (wat een apart geografisch gebied is, kies de dichtstbijzijnde regio), maak een S3-bucket en begin met het opslaan van gegevens.

Amazon S3maakt automatisch meerdere replica'svan uw gegevens zodat deze nooit verloren gaan.

Belangrijkste voordelen

• Duurzaamheid: S3 biedt 99,999999999 procent duurzaamheid. In het geval van gegevensbeschadiging worden meerdere kopieën bewaard om regeneratie van gegevens mogelijk te maken. Het verifieert regelmatig de integriteit van opgeslagen gegevens met behulp van controlesommen (als S3 bijvoorbeeld detecteert dat er enige beschadiging in gegevens is, wordt dit onmiddellijk hersteld met behulp van gerepliceerde gegevens).
• Beschikbaarheid: S3 biedt 99,99% beschikbaarheid van objecten.
• Goedkoop: Met S3 kunt u gegevens opslaan in een bereik van 'opslag klassen.' Deze klassen zijn gebaseerd op de frequentie en urgentie voor toegang tot bestanden.
• Schaalbaarheid: S3 brengt u alleen kosten in rekening voor de bronnen die u daadwerkelijk gebruikt, en er zijn geen verborgen kosten of extra kosten. U kunt uw opslagresources schalen volgens de vereisten van de organisatie.
• Veerkracht: Een van de indrukwekkendere kenmerken van Amazon S3 is hoe goed het omgaat met storingen. Het doet dit gedeeltelijk door elk object automatisch minimaal in drie beschikbaarheidszones op te slaan, met 99,999999999%duurzaamheid en beschikbaarheidvan objecten in de loop van een jaar.
• Beveiliging: S3 biedt een indrukwekkend scala aanhulpmiddelen voor toegangsbeheeren coderingsfuncties die eersteklas beveiliging bieden. Het biedt beideclient-side en server-side encryptievoor gegevensbeveiliging.
• Flexibiliteit:S3 is ideaal voor een breed scala aan toepassingenzoals gegevensopslag, gegevensback-up, softwarelevering, gegevensarchivering, noodherstel, websitehosting, mobiele applicaties, IoT-apparaten en nog veel meer.
• Eenvoudige gegevensoverdracht: Gegevensoverdracht op S3 is eenvoudig en gebruiksvriendelijk.
• Versiebeheer: S3 bewaart meerdere kopieën van een bestand om de wijzigingen in de loop van de tijd bij te houden. Dit is handig bij het omgaan met gevoelige gegevens.
• Gemak van migratie: Met Amazon S3 krijg je meerdere kosteneffectieve opties (rsync, S3-opdrachtregelinterface en Glacier-opdrachtregelinterface) voorMigratie van cloudgegevens, waardoor het eenvoudig is om een ​​grote hoeveelheid gegevens in of uit Amazon S3 over te dragen. Amazon S3-opslag biedt u ook de mogelijkheid om ofexportgegevensnaar elk fysiek apparaat of op elk netwerk.

Bakken in S3

Aemmeris een container voor objecten die zijn opgeslagen in Amazon S3. In S3 worden bestanden opgeslagen in buckets. Het is vergelijkbaar met mappen op uw computer. De unieke naam van een bucket is handig om resources te identificeren. Er is geen limiet aan het aantal bestanden dat u in een bucket kunt opslaan. Bakken bieden ook extra functies zoalsversiebeheer.

Een gebruiker maakt een bucket en specificeert de regio waarin de bucket moet worden geïmplementeerd. Later, wanneer bestanden naar de bucket worden geüpload, bepaalt de gebruiker het type S3-opslagklasse dat voor specifieke objecten moet worden gebruikt. Hierna worden bucketfuncties gedefinieerd, zoals bucketbeleid, levenscyclusbeleid, versiebeheer, enz.

S3 opslagklassen

S3 standaard

S3 Standard is het standaard opslagplan. Deze opslagklasse heeft uitstekende prestaties, duurzaamheid en beschikbaarheid. Het is de beste optie wanneer gegevens vaak moeten worden geraadpleegd.

S3 Onregelmatige toegang (S3-IA)

S3 Infrequent Access biedt een lagere prijs voor data in vergelijking met het standaardplan. S3-IA kan worden gebruikt wanneer gegevens minder nodig zijn.S3-IAis geweldig voor op back-ups en op rampen gebaseerde use-cases.

Gletsjer

Glacier is de goedkoopste opslagoptie in S3 en is ontworpen voorarchief opslag. Gegevens kunnen niet zo snel van Glacier worden opgehaald in vergelijking met Standard of S3-IA, maar het is een geweldige optie voorlangdurige gegevensarchivering. Naast het kiezen van een van deze drie opslagklassen, kunnen we ook levenscyclusbeleid instellen in S3, wat betekent dat bestanden kunnen worden gepland om na een bepaalde periode automatisch naar S3-IA of Glacier te worden verplaatst.

Eén zone-IA-opslagklasse

Het is ontworpen voor gegevens die niet vaak worden gebruikt maar snelle toegang vereisen. Het gebruik van S3 One Zone-IA is geïndiceerd voor zelden gebruikte gegevens zonder behoefte aan hoge veerkracht of beschikbaarheid, gegevens die opnieuw kunnen worden gemaakt en waarvan on-premise een back-up kan worden gemaakt.

Amazon S3 Standaard verminderde redundantieopslag

Geschikt voor een use-case waarbij de gegevens niet-kritiek zijn en snel worden gereproduceerd. Voorbeeld: Boeken in de bibliotheek zijn niet-kritieke gegevens en kunnen bij verlies worden vervangen.

AWS S3-replicatie

S3 ondersteuntautomatisch,asynchroonkopiëren van objectenover emmers. Objecten kunnen worden gerepliceerd naar een enkele bestemmingsbucket of naar meerdere bestemmingsbuckets. De bestemmingsbuckets kunnen zich in verschillende AWS-regio's bevinden of binnen dezelfde regio als de bronbucket.

S3 ondersteunt een live replicatiefunctie zoals Same-Region Replication (SRR) of Cross-Region Replication, waarbij objecten worden gerepliceerd wanneer en wanneer ze worden gemaakt.

AWS S3 Command Line Interface (CLI)-opdrachten

Bucket maken vanuit CLI

$ aws s3api create-bucket --bucket cdtest-bucket --region us-east-1{ "Locatie": "/cdtest-bucket"}

Upload een bestand naar de bucket

$ aws s3api put-object –bucket cdtest-bucket –key dir-1/testfile.txt –body testfile.txt

Een object downloaden

$ aws s3api get-object --bucket cdtest-bucket --key dir-1/testfile.txt download.txt{ "AcceptRanges": "bytes", "LastModified": "2022-06-01T02:28:59+00 :00", "ContentLength": 12, "ETag": "\"07c0431842313cc81b68b1c0ba3ab467\"", "ContentType": "binary/octet-stream", "Metadata": {}}

Object verwijderen in S3

$ aws s3api delete-object --bucket cdtest-bucket --key dir-1/testfile.txt

Maak een lijst van alle objecten in S3-buckets

$ aws s3api list-objects --bucket cdtest-bucket{ "Contents": [ { "Key": "dir-1/testfile1.txt", "LastModified": "2022-06-01T02:41:16+00: 00", "ETag": "\"1df628533018d9ceac1c5842219a174e\"", "Size": 28, "StorageClass": "STANDARD", "Owner": { "DisplayName": “, "ID": “” } }, { "Sleutel": "dir-1/testfile2.txt", "LastModified": "2022-06-01T02:41:23+00:00", "ETag": "\"1df628533018d9ceac1c5842219a174e\" ", "Size": 28, "StorageClass": "STANDARD", "Owner": { "DisplayName": “, "ID": “” } } ]}

Emmer met objecten verwijderen

$ aws s3 rb s3://cdtest-bucket --force delete: s3://cdtest-bucket/dir-1/testfile1.txtdelete: s3://cdtest-bucket/dir-1/testfile2.txtremove_bucket: cdtest- emmer

Maak een lijst van alle S3-emmers

$ aws s3api list-buckets{ "Buckets": [], "Owner": { "DisplayName": “, "ID": “” }}aws s3api put-object --bucket cdtest-bucket --key dir-1/testbestand.txt --body testbestand.tx

Vooraf ondertekende URL voor het delen van privébestanden

$ aws s3 presign s3://cdtest-bucket/dir-1/testfile1.txt

Amazon S3 om een ​​statische website te hosten

Laten we meer leren over AWS S3 via een praktisch voorbeeld. Hieronder staan ​​een paar eenvoudige en makkelijke stappen om een ​​statische website op S3 te hosten.

Stap 1: Maak een S3-bucket

Om een ​​statische website op S3 te hosten hebben we eerst een bucket nodig.

• Log in op uw AWS-account.
• Selecteer bij services "S3" van de "opslag" sectie.

• Klik in het S3-dashboard op "emmer maken”.

• Kies jouwfavoriete AWS-regio.

• OnderOpenbare toegang blokkereninstellingen voor deze bucket-sectie, verwijder het vinkje bij "Blokkeer alle openbare toegang" checkbox en accepteer de bevestiging.

• Klik op "Emmer maken”

Stap 2: upload webbestanden naar S3-bucket

• Klik op het S3-dashboard op denaamvan de bucket die u zojuist hebt gemaakt.

• Op de "Voorwerp" tabblad, klik op de "Uploaden" knop.

• Klik "Bestanden toevoegen” om de websitebestanden toe te voegen en gebruik “Map toevoegen” om de websitemappen toe te voegen.

• Klik op de "Uploaden" knop. Het uploaden zou binnen enkele minuten moeten gebeuren, afhankelijk van de grootte van de inhoud.

• Klik na het opslaan op debucket website-eindpunten het zal uw website weergeven.

Stap 3: S3-bucket beveiligen via IAM-beleid

• Klik vanuit het S3-dashboard op de naam van de bucket en klik vervolgens op de knop "rechten" tabblad.

• Ga naar de “Bucket-beleid" sectie en klik op de "bewerking" knop.

• Voeg het volgende bucketbeleid toe en zorg ervoor dat u bucketnaam vervangt door de naam van uw bucket. Scroll naar beneden en klik vervolgens op de "redden " knop.

{"Version":"2012-10-17","Statement":[ { "Sid":"AddPerm", "Effect":"Toestaan", "Principal": "*", "Action":["s3 :GetObject"], "Resource":["arn:aws:s3:::bucket-name/*"] }]}

Stap 4: S3-bucket configureren

• Klik in het S3-dashboard op de naam van de bucket en klik vervolgens op het tabblad "Eigenschappen".

• Ga naar de “Statische website-hosting" sectie en klik op zijn "Bewerking" knop.

• Voer de index- en fout-HTML-bestandsnaam van uw website in, klik op "Wijzigingen opslaan".

Als u op het eindpunt van de bucket-website zou klikken, zoals hieronder weergegeven, zou uw website worden weergegeven.

AWS S3 levenscyclusbeheer

We kunnen S3 gebruiken vooropslag van systeemlogboeken. De vereiste is om de logbestanden automatisch te verplaatsen naar goedkopere opslagklassen zoalsAmazone Gletsjernaarmate het ouder wordt (laten we zeggen na 60 dagen) of verwijder alle objecten wanneer een bepaalde datum of tijdsperiode is bereikt.

1. Klik vanuit het S3-dashboard op de naam van de bucket en klik vervolgens op het tabblad "Beheer".
2. Voer een goed gedefinieerde regelnaam in en kies het regelbereik voor "Toepassen op alle objecten in de bucket". Klik op het selectievakje "Ik erken de regel ...".
3. Vink in het gedeelte "Levenscyclusregelacties" het selectievakje "Huidige versies van objecten verplaatsen tussen opslagklassen" aan en klik op de knop "Overgang toevoegen".
4. Voer het invoerveld "Dagen na het maken van het object" in.
5. Nogmaals, schakel in het gedeelte "Levenscyclusregelacties" het selectievakje "Huidige versies van objecten laten verlopen" in.
6. Voer het invoerveld "Dagen na het maken van het object" in.
7. Scroll naar beneden en klik op "Regel maken".

Meer informatie over andere Amazon-databases zoalsRDSEnRoodverschuiving.

Wat nu?

Ik hoop dat dit bericht je zal helpen een algemeen idee te krijgen over S3 en hoe het het beste kan worden gebruikt. De beste manier om aan de slag te gaan met AWS-services is door te leren door te doen.

Als u het meeste uit uw S3-gegevens wilt halen, overweeg dan om eengratis datastrategie-evaluatiemetDetailhandel. We laten u zien hoe we u kunnen helpen bij het automatiseren en beheren van uw datapijplijn door bijvoorbeeld S3 te verbinden met eenanalyseplatform zoals Tableauom sneller en gemakkelijker betere inzichten te krijgen. Bovendien, onzeRunner-oplossingkan de processen beheren die nodig zijn om gegevens in en uit S3 te krijgen, inclusief integratie, modellering, automatisering, monitoring, enz.

FAQ

Wat is een typische use case voor Amazon S3?

Hieronder volgen enkele use-cases voor S3:

• Back-up en opslag– Zorg voor gegevensback-up en -opslagservices voor anderen.
• Applicatie-hosting– Bied services die webapplicaties implementeren, installeren en beheren.
• Media-hosting– Bouw een redundante, schaalbare en zeer beschikbare infrastructuur voor het uploaden en downloaden van video's, foto's of muziek.
• Softwarelevering– Host uw softwaretoepassingen die klanten kunnen downloaden.

Is Amazon S3 een database

Amazon S3 is een gedistribueerde objectopslagservice. In S3 bestaan ​​objecten uit data en metadata. Een gegevensopslag is een opslagplaats voor het permanent opslaan en beheren van gegevensverzamelingen, waaronder niet alleen opslagplaatsen zoals databases, maar ook eenvoudiger opslagtypen zoals eenvoudige bestanden, e-mails enz.

Hoe slaat S3 bestanden op?

In Amazon S3 zijn emmers en objecten de primaire bronnen, waar objecten in emmers worden opgeslagen. Amazon S3 heeft een platte structuur zonder hiërarchie zoals je zou zien in een typisch bestandssysteem. U kunt mappen in mappen hebben, maar geen buckets in buckets. U kunt objecten rechtstreeks naar een map uploaden en kopiëren. Mappen kunnen worden gemaakt, verwijderd en openbaar gemaakt, maar ze kunnen niet worden hernoemd. Objecten kunnen van de ene map naar de andere worden verplaatst.

Waarom is S3 zo populair?

AWS S3 heeft moderne technologische opslagfuncties zoals hoge beschikbaarheid, meerdere opslagklassen, lage kosten (betaal alleen voor wat u gebruikt), sterke coderingsfuncties en andere voordelen.

Hoeveel gegevens kan S3 bevatten?

Het totale volume aan gegevens en het aantal objecten dat u kunt opslaan, is onbeperkt. Individuele Amazon S3-objecten kunnen in grootte variëren van minimaal 0 bytes tot maximaal 5 TB. Het grootste object dat in een enkele PUT kan worden geüpload, is 5 GB.

Wanneer moet S3 worden gebruikt?

Wanneer:

• Je opslag- of bandbreedtebehoeften groeien verder dan wat je hebt en S3 is goedkoper dan het upgraden van je huidige oplossing.
• U stapt over naar een oplossing met meerdere dedicated servers vanwege failover-/prestatieredenen en u wilt uw bedrijfsmiddelen op één gedeelde locatie kunnen opslaan.
• Uw bandbreedtebehoeften zijn zeer variabel (zodat u een maandelijks bedrag kunt vermijden als u geen verkeer ontvangt).

Zijn gegevens opgeslagen in S3 altijd versleuteld?

S3 versleutelt standaard niet de gegevens die in zijn service zijn opgeslagen. Maar als de Server Side Encryption-functie wordt gebruikt, zal S3, als de juiste headers worden doorgegeven (in REST), eerst de gegevens coderen en vervolgens die gecodeerde gegevens opslaan.

Hoeveel buckets kunnen worden gemaakt in S3?

U kunt standaard maximaal 100 buckets maken in elk van uw AWS-accounts. Als u meer buckets nodig heeft, kunt u de bucketlimiet van uw account verhogen tot maximaal 1000 buckets door een verhoging van de servicelimiet in te dienen.