GMOT

Computers & Elektronica => Computers & Internet => Topic gestart door: Tomboman op 16 December 2014, 17:35:34



Titel: Super back-ups?
Bericht door: Tomboman op 16 December 2014, 17:35:34
Hoi hoi,

Ik heb deze week een mysterieus probleem gehad.
Op mijn dropbox zijn opeens alle mappen verdwenen die de naam 'controllers' hadden.

Dit betekent dat ik meer dan 2.000 bestanden kwijt ben!

Normaal is dit op te lossen via de dropbox website, door verwijderde bestanden te herstellen. Maar hier stonden deze niet tussen.

Ik heb contact gehad met dropbox, die zien ook dat de bestanden (ongeveer een week geleden) verwijderd zijn, maar kunnen deze ook niet herstellen.

Nu ben ik voor meer dan 200 uur aan programmeerwerk kwijt.


En dat brengt me tot de volgende vraag:
Hoe kan je bestanden veilig opslaan, zodat je ze nog onmogelijk kwijt kan raken?


Titel: Re: Super back-ups?
Bericht door: djekkoo op 16 December 2014, 17:38:18
Niet devven in je backup? :P


Titel: Re: Super back-ups?
Bericht door: kaas1 op 16 December 2014, 17:38:43
Wtf.


Titel: Re: Super back-ups?
Bericht door: blacksmid op 16 December 2014, 17:40:15
git en raid arrays.

Wel vreemd dat de bestanden zomaar verdwenen zijn en dat dropbox ook geen backup heeft.. Beetje matig. Als je geen 3rd party met je backups kan vertrouwen moet je dat dus zelf gaan doen. Koop een paar enterprise grade HDD en zet ze in RAID.


Titel: Re: Super back-ups?
Bericht door: MBeentjes op 16 December 2014, 17:52:39
Git en inderdaad raidarrays.


Titel: Re: Super back-ups?
Bericht door: Goudewup op 16 December 2014, 18:05:59
Git en raidarrays op verschillende fysieke locaties


Titel: Re: Super back-ups?
Bericht door: ericlegomeer op 16 December 2014, 20:04:19
Wel vreemd dat de bestanden zomaar verdwenen zijn en dat dropbox ook geen backup heeft.. Beetje matig. Als je geen 3rd party met je backups kan vertrouwen moet je dat dus zelf gaan doen.
Er staat als het goed is gewoon vermeld in de gebruikersvoorwaarden van Dropbox dat dat kan gebeuren :eyes: Ik ben sowieso al een beetje klaar met Dropbox, maar ik zal jullie de rant besparen ^^

Waar ik eigenlijk voor kwam, is de nodige opmerking: RAID != backup. Wat hierboven geroepen wordt, heeft een zekere nuance nodig. Ga niet zomaar wat schijven in je desktop erbij gooien en in RAID zetten, want dat kan vervolgens alsnog verkeerd aflopen c: Stroomuitval much? Er komt wat meer bij kijken als je er wérkelijk een veilige backupomgeving van wilt maken. Je moet je echter afvragen of dat het geld allemaal waard is ;)

Het beste advies en goedkoopste blijft (volgens mij) om zelf (handmatig en) regelmatig backups te maken waarbij je ook oudere backups bewaart en zorgt dat niet al je backups met het origineel op dezelfde locatie zijn. Op die wijze ben je beschermd tegen brand, diefstal, et cetera. Mocht er een backup corrupt raken, heb je ook nog andere backups liggen om misschien niet alles helemaal te herstellen maar het is beter dan alles kwijt te zijn :)

Qua meerdere locaties kun je denken aan eenvoudig een externe hardeschijf bij vrienden of familie onderbrengen. Als Nederland dan onder water komt te staan, heb je misschien wel nog een probleem, maar ik denk dat je dan wel andere zorgen aan je hoofd hebt.

Je kunt bijvoorbeeld samen met een vriend ieder dezelfde externe hardeschijf aanschaffen en deze iedere week (bijvoorbeeld) omruilen met van een ieder jullie laatste backup erop. Zo blijft de laatste backup niet lang in de buurt van het origineel en kun je die herstellen indien nodig. Mocht de hele schijf de geest geven, heb je nog een schijf waar nagenoeg hetzelfde op staat. Dit vereist natuurlijk een zekere discipline en vertrouwen in je medemens (encryptie much?), maar het lijkt me een vrij goede (en goedkope) manier om je bestanden veilig te stellen.

Maar vooral dit:
Niet devven in je backup? :P


Titel: Re: Super back-ups?
Bericht door: Laloeka op 16 December 2014, 20:23:27
Dropbox is pure haat. Letterlijk. Het verpest bestanden bij de minste synchronisatiefout, het negeert mappen, bestanden, etc.
maar ik zal jullie de rant besparen ^^

Alternatief:

Bittorrent Sync. Hiermee houdt je zelf controle over al je bestanden doordat je zelf alles host. Er zijn inmiddels ook bedrijven die je BTSync serverruimte aanschaffen, maar dan kun je net zo goed bij Dropbox blijven (behalve dat BTSync beter functioneert). BTSync heeft bij mij wat issues met grote bestanden (> 4GB) maar die staan toch niet op mijn gesynchroniseerde partitie. Een nadeel is dus dat je serverruimte nodig hebt om een kopie van al je data op te slaan.

BTSync is geen backup

Als je één bestand verwijderd wordt het direct doorgevoerd op alle online apparaten. Het is enkel, net als Dropbox, een methode om bestanden eenvoudig[citation needed] over te zetten naar al je andere apparaten.

Voor back-ups zou ik het 3-2-1 systeem aanraden:
Citaat
At least three copies,
In two different formats,
with one of those copies off-site.

Drie kopieën zijn dus drie fysieke kopieën. Het liefst niet eens op hetzelfde systeem aangesloten.

Twee formaten: Stel dat al je backups op een HDD staan, dan kunnen ze in één klap kapot gaan door een grote magneet of wat dan ook. Door een van de kopieën op DVD te branden (of wat dan ook), voorkom je zo'n zwakte. Deze regel lijkt me pas belangrijk als het gaat om gegevens die je onder geen enkele omstandigheden mag verliezen, niet per se voor de foto's van je hond (beoordeel dat zelf :P)

Een off-site kopie: Spreekt voor zich, minstens een van de kopieën is niet op dezelfde fysieke plaats als de anderen. Leg hem bij je oom in de kast of bij je ouders op zolder. Let op dat zo'n off-site backup snel outdated raakt als hij niet regelmatig geüpdatet wordt. Als iemand je serverruimte aanbied kun je daar natuurlijk een off-site backup van maken.

Nog een tip: zorg dat je backups encrypted zijn, maar dan je geen ingewikkelde keyfiles nodig hebt om deze encryptie te breken (afhankelijk van hoe belangrijk het is dat de gegevens geheim blijven). Een "simpel" wachtwoord lijkt me voldoende om de interesse bij de meeste mensen weg te nemen. Wil je echter dat de AIVD er niet in kan, dan zal dat waarschijnlijk niet volstaan :)


Titel: Re: Super back-ups?
Bericht door: cupcoffee op 16 December 2014, 21:14:47
Je data elke dag op een tape laten schrijven die vervolgens om 16:00 uur naar je met beton bewapende tuinhuisje word gebracht.


Titel: Re: Super back-ups?
Bericht door: Sunnywout op 16 December 2014, 21:23:47
Ik back-up iedere dag om 4:00 AM automatisch mijn webserver en daarmee ook mijn projecten. Dat gaat naar een externe HDD aan de server. Ook maak ik eens in de zoveel tijd een back-up op DVD van de webserver, die daarna naar een andere locatie gaat. Gelukkig is Seagate bij mij nog altijd heerlijk betrouwbaar dus heb ik ze nooit nodig gehad ^^.


Titel: Re: Super back-ups?
Bericht door: Ant-99 op 07 April 2016, 15:01:15
Ik zou graag op deze discussie terugkomen. Hebben jullie een backupplan? Ik zou graag mijn data meer veilig stellen maar er zijn zoveel verschillende mogelijkheden..


Titel: Re: Super back-ups?
Bericht door: Maarten op 07 April 2016, 15:11:43
Ik heb een NAS met twee HDDs in een RAID1 array. Alle belangrijke dingen staan daarop.


Titel: Re: Super back-ups?
Bericht door: Ant-99 op 07 April 2016, 15:27:58
Ik heb altijd gehoord dat RAID geen backup is tho. Als mijn moeder morgen beslist om haar belangrijke dingen te verwijderen (niet de eerste keer) heb ik problemen :/.


Titel: Re: Super back-ups?
Bericht door: Sunnywout op 07 April 2016, 15:29:00
Ik heb altijd gehoord dat RAID geen backup is tho. Als mijn moeder morgen beslist om haar belangrijke dingen te verwijderen (niet de eerste keer) heb ik problemen :/.
RAID voorkomt (een beetje) dat één datalocatie stuk is als één van de onderdelen ervan dood gaat. Zorg voor twee back-up locaties, die incrementeel dingen opslaan.


Titel: Re: Super back-ups?
Bericht door: Ant-99 op 07 April 2016, 17:38:38
Hebben jullie een specifieke aangeraden interval? Momenteel schrijf ik elke twee weken een rsync weg, maar ik heb het gevoel dat dat wat weinig is.


Titel: Re: Super back-ups?
Bericht door: ericlegomeer op 07 April 2016, 19:16:23
Laptops en desktops synchroniseren belangrijke mappen/bestanden direct naar m'n lokale Synology NAS (4*2TB RAID6) via dropbox alike software, maar dan van Synology. Heeft gewoon versie geschiedenis en dergelijke voor als er iets verwijderd of overschreven wordt ^^

Telefoon synchroniseert belangrijke zaken tijdens het opladen (om de dag dus) via Syncthing naar diezelfde NAS. Syncthing biedt ook de mogelijkheid tot versie geschiedenis en één richting synchronisatie.

Iedere nacht synchroniseert m'n NAS gedeeltelijk* incrementeel (en met versie geschiedenis) met een offsite Synology NAS (2*2TB in RAID1) via rsync alike software, maar dan van Synology. Dit dagelijks doen zorgt ervoor dat er maar weinig data over het internet gegooid hoeft te worden :)

Eens in de zoveel tijd maak ik volledige images van m'n SSDs (en die van anderen, met toestemming ofc :p) voor het geval er ooit iets té erg upfuckt, maar die heb ik gelukkig nog nooit hoeven te gebruiken ^^

* Gedeeltelijk in de zin van niet alle mappen en bestanden, cuz niet alles past offsite op m'n oude NAS :p Gelukkig is niet alles belangrijk genoeg om te back-uppen c:


Titel: Re: Super back-ups?
Bericht door: Sunnywout op 07 April 2016, 22:09:33
Alle belangrijke bestanden voor school staan gedeeltelijk in Google Drive (samenwerkingsopdrachten), en gedeeltelijk in ownCloud. Omdat ownCloud wordt gesynchroniseerd naar een aantal PC's en een aantal virtuele PC's kan ik daarmee nauwelijks data kwijtraken.

Mijn telefoon uploadt nieuwe foto's automatisch naar ownCloud, dat is ook de enige data die ik er niet na een ramp opnieuw voor zou kunnen downloaden.

Voor de rest heb ik geen belangrijke data waar ik back-ups van zou moeten maken.


Titel: Re: Super back-ups?
Bericht door: RA op 13 April 2016, 14:20:46
Server omgevingen

Als het om backups gaat hanteer ik 2 dingen:

- Als je backups nodig hebt voor dataherstel, is je eigen werk wellicht niet te vertrouwen. Wees dus niet afhankelijk van je eigen backups.
- Als je backups niet test, zijn je backups niets waard.
- Vergeet veiligheid niet. Zet niet al je prive data zomaar bij de buurman.

GitHub (https://github.com/)
Is al eerder genoemd, prima oplossing voor alle niet prive bestanden zoals (open source) code en configuratie. Het is eenvoudig van te herstellen en gemakkelijk online te controleren.

Tarsnap (http://www.tarsnap.com/)
Tarsnap is een CLI backup tool dat client-side je data encrypt en vervolgens onleesbaar naar amazon AWS stuurt. Deze externe backup is zeer goedkoop (draai al maanden, zo niet ruim een jaar op een nog geen 2 euro) en makkelijk te automatiseren.

Ik gebruik een combinatie van deze 2 middelen. Er worden automatisch periodiek backups gemaakt van data die niet op GitHub staat (db en media). Ik test deze backups door periodiek een nieuwe server aan te slingeren die een Ansible (https://www.ansible.com/) playbook gebruikt te recoveren en door te gaan. Als de backups werken zorgt dit voor een naadloze overgang.

Server deployment -> Backup recovery -> Start services -> Start backup schedule

Het enige wat ik nog anders wil doen is de deployment. Op het moment van deployment overschrijf ik de oude configuratie en recover ik vervolgens  backups. Als de backups invalid blijken te zijn ben ik vrij zuur (hoewel oude data wellicht nog ergens te vinden kan zijn op de server).

Beter zou zijn om altijd naar een nieuwe node te deployen en te swappen tussen nodes als alles gereed is, dit verminderd downtime en geeft je een kans om zelf te verifieren of alles goed gegaan is alvorens de oude data te vernietigen.

Niet-server omgevingen

In niet server omgevingen probeer ik de hoeveelheid belangrijke data gewoon te verminderen. Ik laat semi-belangrijke dingen zoveel mogelijk op hosted mail staan (jaja, privacy) en andere dingen probeer ik zoveel mogelijk zowel lokaal als op een cloud aanbieder op te slaan.

Super belangrijke/prive dingen encrypted op een usb stick die ik altijd bij me heb. Usb stick heeft wellicht een nare bijsmaak maar als de data erop puur encrypted opslaat valt het risico mee. Daarnaast als je hem altijd bij je hebt (bijvoorbeeld sleutelbos) verlaag je de kans op diefstal ergens anders en ben je niet afhankelijk van online partijen (waar je eigenlijk 0 controle over hebt).


Titel: Re: Super back-ups?
Bericht door: superice op 13 April 2016, 14:34:43
Ik ben insane en heb alle foto's en filmpjes van mijn ouders in een git repo gezet (>300GB) en heb deze vanaf snel internet in een paar uur naar een dedicated server gepusht (kimsufi). Toen heb ik twee bashscripts gemaakt, voor committen en pushen, en een briefje naast de computer gehangen dat mijn ouders die twee moeten draaien als ze nieuwe foto's toevoegen vanaf SD-kaart.

Niet waar git voor bedoeld is, maar het werkt verrassend goed :)

Oh, en voor mezelf doe ik alle code in Git bewaren op bitbucket en github. Databases doen iedere nacht backuppen naar die tweede server. De rest kan ik weggooien en is vervangbaar.


Titel: Re: Super back-ups?
Bericht door: RA op 13 April 2016, 14:36:21
Ik ben insane en heb alle foto's en filmpjes van mijn ouders in een git repo gezet (>300GB) en heb deze vanaf snel internet in een paar uur naar een dedicated server gepusht (kimsufi). Toen heb ik twee bashscripts gemaakt, voor committen en pushen, en een briefje naast de computer gehangen dat mijn ouders die twee moeten draaien als ze nieuwe foto's toevoegen vanaf SD-kaart.

Niet waar git voor bedoeld is, maar het werkt verrassend goed :)

Oh, en voor mezelf doe ik alle code in Git bewaren op bitbucket en github. Databases doen iedere nacht backuppen naar die tweede server. De rest kan ik weggooien en is vervangbaar.

Kudos


Titel: Re: Super back-ups?
Bericht door: kaas1 op 13 April 2016, 15:42:10
Ik word elke keer weer zenuwachtig als ik mensen over backups hoor praten. Ik denk dat ik eens btsync ga proberen.


Titel: Re: Super back-ups?
Bericht door: Ant-99 op 13 April 2016, 18:52:06
* knip *
Heb je een link naar cheap Amazon storage? Lijkt superinteressant!

Bedankt voor jullie uitleg allemaal. Ik moet ook eens iets gaan doen hier.


Titel: Re: Super back-ups?
Bericht door: ericlegomeer op 13 April 2016, 19:36:06
Je moet wel een beetje opletten voor je besluit iets als Amazon Glacier te gebruiken. Het opslaan is vaak goedkoop, maar de data er weer uit trekken wanneer je werkelijk je backup wilt restoren kan in de kosten lopen. Je moet voor je zelf dus maar het rekensommetje maken of het (te) duur wordt of niet: https://aws.amazon.com/glacier/pricing/

Simpel rekenvoorbeeldje voor Glacier:
Een backup van 1tb daar laten staan kost je zo'n 7 euro per maand (dat is exclusief de kosten het daar te krijgen). Diezelfde backup in één keer terughalen op het moment dat je hem écht nodig hebt, zal je zo'n 80 euro kosten.

En natuurlijk betaal je die 80 euro gewoon aangezien je je backup op dat moment heel hard nodig hebt :)

Nu zijn er goedkopere mogelijkheden, zoals gespreid data terughalen, maar het is maar net of je daar mee kunt leven. Zoals ik zei, je moet voor jezelf goed bekijken of je het waard vind of niet. En dan voornamelijk in het rampscenario waarop je je data asap nodig hebt, omdat je alles kwijt bent (of omdat je geen data meer bij Amazon wilt hebben staan) ^^


Titel: Re: Super back-ups?
Bericht door: RA op 13 April 2016, 19:50:25
Tarsnap regels het amazon gedeelte en de kosten zijn te verwaarlozen bij lage hoeveelheden data. Je kan gewoon hier een accountje maken, saldo opzetten, en de tutorial volgen: https://www.tarsnap.com


Titel: Re: Super back-ups?
Bericht door: ericlegomeer op 14 April 2016, 06:08:53
Een simpel rekenvoorbeeldje voor Tarsnap:
Een backup van 1tb daar laten staan kost je zo'n 230 euro per maand (dat is exclusief de kosten het daar te krijgen (ook 230 euro)). Diezelfde backup in terughalen op het moment dat je hem écht nodig hebt, zal je ook zo'n 230 euro kosten.

Zoals ze zeggen, het is voor de "truly paranoid" en die hebben dat geld er vast voor over :)

Bij kleine hoeveelheden data zal het wel uit te houden zijn. Als jij al een jaar draait op 2 euro* dan heb je er slechts 9GB aan data staan? Dat is iets meer dan een halve USBstick :P Het direct bij Amazon Glacier zou dat je zo'n 5 cent kosten, gewoon om het even in perspecief te zetten ;)

Maar iedereen moet gewoon doen wat ze het liefste doen natuurlijk c:

* Ik gok dat je per maand bedoelt en voor het gemak dat het enkel om de storage gaat (dus niet de bandwidth)


Titel: Re: Super back-ups?
Bericht door: @-wout op 14 April 2016, 16:36:22
Ik backup alles automatisch met DirectAdmin, die weer alles tar't, gzip't en vervolgens upload naar externe servers.


Titel: Re: Super back-ups?
Bericht door: RA op 14 April 2016, 19:48:14
Een simpel rekenvoorbeeldje voor Tarsnap:
Een backup van 1tb daar laten staan kost je zo'n 230 euro per maand (dat is exclusief de kosten het daar te krijgen (ook 230 euro)). Diezelfde backup in terughalen op het moment dat je hem écht nodig hebt, zal je ook zo'n 230 euro kosten.

Zoals ze zeggen, het is voor de "truly paranoid" en die hebben dat geld er vast voor over :)

Bij kleine hoeveelheden data zal het wel uit te houden zijn. Als jij al een jaar draait op 2 euro* dan heb je er slechts 9GB aan data staan? Dat is iets meer dan een halve USBstick :P Het direct bij Amazon Glacier zou dat je zo'n 5 cent kosten, gewoon om het even in perspecief te zetten ;)

Maar iedereen moet gewoon doen wat ze het liefste doen natuurlijk c:

* Ik gok dat je per maand bedoelt en voor het gemak dat het enkel om de storage gaat (dus niet de bandwidth)

Tarsnap zet de data niet 1 op 1 over en comprimeer moke hard en doet vervolgens aan diffs en incrementele backups. De daadwerkelijke blob is dus niet zo groot.

Het voordeel van tarsnap is de veiligheid d.m.v. de encryptie, bij echt grote volumes is het iets duurder ja, daarom gebruik ik het puur voor gevoelige belangrijke data die automatisch extern ergens heen moet.

Zie ook: http://www.daemonology.net/blog/2012-09-04-why-tarsnap-doesnt-use-glacier.html


Titel: Re: Super back-ups?
Bericht door: Maarten op 14 April 2016, 21:25:23
Wat denken jullie trouwens over het gebruik van Stack (https://www.transip.nl/stack/) om back-ups op te slaan als off-site opslag?


Titel: Re: Super back-ups?
Bericht door: lucb1e op 15 April 2016, 20:31:35
Klinkt goed, maar ik zou het wel client-side encrypten.


Titel: Re: Super back-ups?
Bericht door: jw op 15 April 2016, 21:01:49
1TB gratis :D


Titel: Re: Super back-ups?
Bericht door: Maarten op 15 April 2016, 21:08:07
Klinkt goed, maar ik zou het wel client-side encrypten.

Ik backup mijn development map elke dag naar Stack en dat wordt met AES geëncrypt ja.

Voor de geïnteresseerden: Duplicati (http://www.duplicati.com/) is hier een goed programma voor, en het is open source.


Titel: Re: Super back-ups?
Bericht door: kaas1 op 15 April 2016, 21:15:23
Duplicati ziet er ook wel goed uit. Hebben google en microsoft eigenlijk policies tegen het gebruiken van drive als backup?