Praktisk Rclone: ​​synkronisera, kryptera och automatisera molnsäkerhetskopior

Rclone det har blivit ett av de mest omfattande verktygen för molnlagringEtt enda kommandoradsverktyg som kan kommunicera med dussintals olika tjänster, kopiera data mellan dem, montera molntjänster som om de vore lokala hårddiskar... Och göra allt med kryptering och avancerad automatisering. Om du hanterar servrar, använder flera molntjänster eller helt enkelt vill ha robusta säkerhetskopior är rclone den typ av verktyg som kommer att förändra ditt arbetssätt.

En den här guiden Du lär dig hur du installerar rclone på större system, konfigurerar fjärrkontroller för tjänster som Google Drive, OneDrive, S3 eller B2, förstår skillnaderna med rsync, konfigurerar moln med FUSE, krypterar data, automatiserar säkerhetskopior med cron eller systemd och löser typiska prestanda-, autentiserings- eller API-gränsproblem.

Vad är rclone och hur skiljer det sig från rsync?

Rclone är en Öppen källkodskommandoradsprogram utformat för att hantera filer i molnlagringDen stöder över 70 leverantörer: Google Drive, Google Photos, OneDrive (personligt, företags- och SharePoint-gränssnitt), Dropbox, Box, MEGA, pCloud, Proton Drive, S3-tjänster (AWS, Wasabi, Cloudflare R2, Backblaze B2…), Google Cloud Storage, Azure Blob, WebDAV (Nextcloud, ownCloud), SFTP/FTP, SMB/CIFS, HTTP och många fler.

På en konceptuell nivå, rclone Det utvidgar idén om rsync till molnvärlden. Den synkroniserar kataloger, kopierar data och utför enkelriktad eller dubbelriktad spegling, men den förstår även moln-API:er, återförsök, bandbreddsgränser, cacher och backend-specifika metadata. Medan rsync fokuserar på lokala sökvägar eller SSH, talar rclone språket för varje leverantörs API:er.

Den viktigaste praktiska skillnaden är fokus. Rsync fungerar bra i lokala miljöer eller SSH-miljöer, rclone är optimerad för molnDen vet när den ska dra nytta av serversideskopia (kopiera direkt mellan buckets utan att gå igenom din maskin), hur man delar upp mycket stora filer i bitar, eller vad man ska göra med metadata som Content-Type, behörigheter eller versioner.

Med alternativ som --multi-thread-streams eller parallella överföringar, rclone kan enkelt fyra gånger bättre än rsync vid kopiering över ett nätverk. Speciellt med backend-system som stöder chunked uploads (S3, GCS, B2, etc.). Den erbjuder också transparent kryptering, FUSE-montering, multi-fjärrkopplingslager och en liten integrerad HTTP/WebDAV/FTP-server.

Kompatibla tjänster och intern arkitektur för rclone

El leverantörssupport Detta är en av rclones styrkor. Rent praktiskt kan du definiera så många "fjärrkontroller" som du vill: varje fjärrkontroll beskriver en anslutning (till exempel, gdrive: för personlig Google Drive, onedrive: för OneDrive för företag, s3-backup: för en S3-skopa, nextcloud: via WebDAV, etc.).

För slutanvändare täcker rclone enkelt de vanligaste molntjänsterna.Google Drive/Foton, OneDrive (inklusive SharePoint), Dropbox, Box, MEGA, pCloud, Proton Drive och andra integritetsfokuserade tjänster. Detta gör att du kan centralisera uppgifter till ett enda kommando som tidigare krävde flera appar eller officiella klienter.

I företags- och utvecklingsmiljöer dominerar rclone hela S3-världen och liknande system.Amazon S3 Standard, Google Cloud Storage, Azure Blob Storage, Backblaze B2, Wasabi, Cloudflare R2 och ett stort antal kompatibla leverantörer (MinIO, Ceph, etc.). De hanteras alla med samma grundläggande syntax, bara med ändring av fjärrkontrollen.

Beträffande självhostade protokoll och systemrclone stöder SFTP, FTP, WebDAV, SMB/CIFS och till och med HTTP. Det betyder att du kan använda den för att kopiera från en SFTP-server till en S3-bucket, överföra data från Nextcloud till en lokal mapp eller massnedladda från en webbserver utan att behöva några ytterligare verktyg.

Internt är rclone organiserat i flera lager: en kärna som orkestrerar operationer (Rclone Core), ett VFS-lager som används i cachade monteringar, ett Crypt-lager som krypterar/dekrypterar i farten och ett Chunker-lager som segmenterar stora filer i backend-miljöer som kräver det. Bakom allt detta ligger en gemensam backend-abstraktion som döljer detaljerna för varje leverantör.

Systemkrav och installation på Windows, Linux och macOS

Rclone är väldigt lätt, men det är viktigt att förstå de grundläggande kraven. Den fungerar med 512 MB RAM, men för intensiv användning (montering med cachning, många samtidiga överföringar) är 2 GB eller mer lämpligt. På CPU-nivå räcker 1 vCPU, men ett par kärnor hjälper till att dra nytta av parallella överföringar. På disk startar den med 100 MB ledigt utrymme, men om du ska använda VFS-cachning rekommenderas det att reservera minst 1 GB.

På Linux rekommenderas en modern kärna (helst 5.4+ med FUSE3)Speciellt om du ska montera fjärrkontroller som filsystem. När det gäller distributioner fungerar rclone på praktiskt taget alla aktuella versioner (Ubuntu, Debian, Fedora, etc.) så länge du har curl- eller wget- och sudo-behörigheter.

Detaljerad installation på Windows

På Windows har du tre huvudsakliga sätt att installera rcloneFrån det mest kontrollerade till det mest automatiska. Det viktigaste är att du får en rclone.exe åtkomlig från vilken konsol som helst (CMD eller PowerShell).

A) Ladda ner manualen från den officiella webbplatsen (rekommenderas om du vill vara tydlig med vad du installerar):

1. Ladda ner ZIP-filen för din arkitektur.Till exempel rclone-v1.xx.x-windows-amd64.zip för 64 bitar.
2. Packa upp filen till en fast mapp, till exempel C:\rclonevar den kommer att förbli rclone.exe och flera textfiler.
3. tillägger C:\rclone till systemets PATH (Kontrollpanelen → System → Avancerade inställningar → Miljövariabler → Redigera SÖKVÄG → Ny → C:\rclone).

B) Installation med Winget på Windows 10/11Perfekt om du redan använder Microsofts pakethanterare:

1. Installera rclone: winget install Rclone.Rclone
2. Avinstallera om det behövs: winget uninstall Rclone.Rclone --force

C) Chokladig för de som har automatiserad systemprogramvara:

1. Installera rclone: choco install rclone
2. Om du vill montera hårddiskar, installera även WinFsp: choco install winfsp

Installation på Ubuntu/Debian och andra Linux-system

På Linux är den enklaste och alltid uppdaterade metoden det officiella skriptetLadda ner och installera den senaste stabila versionen (eller betaversionen) med ett enda kommando:

• Stabil version: sudo -v ; curl https://rclone.org/install.sh | sudo bash
• Betaversion: sudo -v ; curl https://rclone.org/install.sh | sudo bash -s beta

Om du föredrar absolut kontroll kan du ladda ner paketet .deb betong och hantera det med dpkg:

• nedladdning: wget https://downloads.rclone.org/v1.xx.x/rclone-v1.xx.x-linux-amd64.deb 
• Installera: sudo dpkg -i rclone-v1.xx.x-linux-amd64.deb
• Om beroenden saknas: sudo apt -f install

För FUSE-enheter är det viktigt att installera fuse3 och tillåt allow_other en /etc/fuse.confavkommentera motsvarande rad. Efter det räcker det vanligtvis med en omstart eller omladdning av tjänsten.

Installation på macOS

På macOS gör Homebrew livet mycket enklareMed ett par kommandon har du rclone redo att användas:

• Installera med Brew: brew install rclone
• Uppdatera regelbundet med brew upgrade rclone 

Om du inte vill förlita dig på Homebrew kan du välja en manuell installation. Ladda ner macOS ZIP-filen, extrahera den och flytta binärfilen till /usr/local/bin precis som du skulle göra i Linux. Den efterföljande användningen är identisk: rclone version för att kontrollera att allt är okej.

Första stegen: grundläggande installation och konceptet "fjärrstyrning"

Hjärtat i rclone är konfigurationsfildär du definierar dina fjärrkontroller. Som standard finns den i ~/.config/rclone/rclone.conf (Linux/macOS) eller i sökvägen som anges av %APPDATA% på Windows och hanteras med den interaktiva guiden rclone config.

Varje fjärrkontroll är en INI-sektion som grupperar anslutningsparametrar: backend-typ, inloggningsuppgifter, region, specialalternativ etc. Ett typiskt exempel för Google Drive skulle vara något i stil med [gdrive] med hans type = drive, scope = drive och OAuth-token lagrad i JSON.

För att starta guiden, Öppna en terminal och kör rclone configDu får se en meny med flera alternativ: skapa en ny fjärrkontroll, redigera en befintlig, ta bort den, byt namn på den, kryptera konfigurationen osv. Det vanligaste man gör först är att trycka på n för "Ny fjärrkontroll".

När det gäller Google DriveDet typiska flödet för fjärrskapande inkluderar flera steg: välja "enhetstyp", bestämma om du vill använda ditt eget klient-ID (rekommenderas för att undvika strikta Google-begränsningar), välja omfattning (drive fullständig, skrivskyddad osv.), använd automatisk autentisering i en webbläsare och ange valfritt om det är en delad enhet.

Om du är i en server utan webbläsare (SSH, VPS, container utan grafiskt gränssnitt), rclone tillåter auktorisering från en annan maskin. När guiden frågar "Använd automatisk konfiguration?", svara nej, och rclone visar ett kommando. rclone authorize "drive" som du måste köra på din dator med en webbläsare, kopiera den resulterande token och klistra in den i servern i motsvarande fält.

Grundläggande syntax, fjärrrutter och grundläggande kommandon

Den allmänna syntaxen för rclone är mycket konsekvent och lätt att memorera: rclone [opciones] subcomando origen [destino]Delkommandot kan vara copy, sync, ls, mount, moveetc. Ursprung och destination är lokala eller avlägsna rutter av stilen remote:path/to/dir.

En rutt /path/to/dir pekar på det lokala filsystemetMedan remote:path/to/dir Detta hänvisar till en katalog inom en fjärrdator som definierats i konfigurationen. I de flesta backends, remote:/path/to/dir Det är likvärdigt med samma sak, förutom i några få speciella fall (FTP, SFTP, Dropbox Business) där prefixet / ändrar betydelsen (rotkatalog kontra home).

De mest användbara listkommandona att komma igång med är ls, lsl, lsd y treeTill exempel, för att visa filerna i en Google Drive-mapp av storleken: rclone ls gdrive:DocumentosFör att endast lista kataloger: rclone lsd gdrive:Om du vill ha ett mer visuellt träd: rclone tree gdrive:Proyectos --level 3.

Att kopiera filer är lika enkelt som rclone copy origen destino. Praktiska exempel:

• Lokalt → moln: rclone copy C:\Users\usuario\Documents onedrive:backup/documents -P
• Moln → lokalt: rclone copy onedrive:photos C:\Users\usuario\Pictures -P
• Moln → moln (serversidan när det är möjligt): rclone copy gdrive:data onedrive:backup -P

Delkommandot sync gör destinationen identisk med ursprungetDen raderar ur ödet det som inte längre existerar i ursprunget. Den är ganska farlig om du inte använder den klokt, så till en början, följ alltid med den... --dry-run och, om du vill, --interactive att begära bekräftelse före destruktiva operationer.

För dubbelriktad synkronisering finns det rclone bisyncvilket fortfarande är experimentelltDen spårar förändringar på båda sidor för att hålla dem i linje, vilket är användbart i vissa offline-arbetsscenarier, men det är bäst att testa det noggrant med icke-kritiska data innan du anförtror det ditt digitala liv.

Montera molndiskar som lokala diskar med FUSE- och VFS-cache

En av rclones stjärnfunktioner är möjlighet att montera en fjärrkontroll som om det vore en hårddiskDetta låter dig bläddra i molnet från filhanteraren, redigera dokument direkt eller peka program (medieindexerare, redigerare etc.) till fjärrsökvägar utan att de vet att det finns ett moln bakom det.

I Windows görs montering genom att tilldela en enhetsbeteckning eller skapa en nätverksenhet.. Till exempel:

• Montera OneDrive som enhet X: rclone mount onedrive: X: --vfs-cache-mode full
• Montera som nätverksenhet: rclone mount onedrive: X: --network-mode --vfs-cache-mode full

I Linux och macOS används en monteringspunkt i filsystemet., vanligtvis med SÄKRING:

• Skapa katalog: mkdir -p ~/OneDrive
• Montera i bakgrunden (daemon): rclone mount onedrive: ~/OneDrive --vfs-cache-mode full --daemon

Den viktigaste parametern här är --vfs-cache-mode, som styr cachens beteende:

• offingen cache, maximal läsprestanda, men vissa appar fungerar inte bra med detta.
• minimal: minsta cache som krävs för att grundläggande skrivfunktioner ska fungera.
• writescachar, skriver och laddar upp dem senare, användbart om du redigerar filer men inte behöver aggressiv cacheläsning.
• fullFullständig läs- och skrivcachelagring, rekommenderas för monteringar som kommer att användas som om de vore riktiga diskar (multimedia, IDE:er, etc.).

För streamingtjänster eller mediekataloger (Plex, Jellyfin, etc.) används det vanligtvis --vfs-cache-mode full plus en bra cachestorlek (--vfs-cache-max-size, --buffer-size) och en generös retentionstid (--vfs-cache-max-age, --dir-cache-time), så att servern inte behöver generera listor hela tiden.

Grafiskt gränssnitt: Rclone Web GUI, Rclone UI och RcloneBrowser

Även om rclone föddes som ett rent CLI-verktyg, idag Det finns flera sätt att använda det med ett grafiskt gränssnittDetta är perfekt om du ska delegera uppgifter till någon som inte är bekväm med terminalen, eller om du helt enkelt vill ha en mer visuell bild av överföringarna.

Verktyget i sig innehåller ett experimentellt webbgränssnitt., som lanseras med:

• rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password
• Sedan pekar du webbläsaren till http://localhost:5572 och du loggar in med det användarnamnet och lösenordet.

Dessutom, Det finns mycket polerade tredjepartsgränssnittEtt av de mest omfattande alternativen är Rclone UI, en skrivbordsapp för Windows, macOS och Linux som stöder dra och släpp, uppgiftsschemaläggning, flera samtidiga överföringar och visuella förloppsindikatorer. Ett annat etablerat alternativ är Rclone Browser, tillgänglig även som en AppImage på Linux, vilket är tillräckligt för många användare som bara behöver hantera enstaka säkerhetskopior.

Om du är en av de där som lever på konsolen men inte vill ha så mycket krångel på din mobil, Det finns också flera appar på Android som integrerar rclonemånga av dem återanvänder filen direkt rclone.conf som du genererar på datorn. Kopiera bara konfigurationsfilen till sökvägen som anges av appen så har du dina fjärrkontroller redo på din mobila enhet också.

Transparent kryptering med kryptering och konfigurationssäkerhet

En av de stora attraktionerna i rclone är för att kunna kryptera dina data innan de lämnar din maskin. Backend crypt Den fungerar som ett lager ovanpå en annan fjärransluten fil: du ser vanliga filnamn, men krypterade namn och innehåll lagras i molnet.

Den typiska konfigurationen av en fjärrkryptering innebär skapa en ny fjärrkontroll av typen crypt och peka den mot en rutt från en annan fjärrkontroll, till exempel: remote = gdrive:encryptedDessutom väljer du krypteringsläge för namn (standard, obfuscate eller av) och definierar ett lösenord (och eventuellt ett andra "salt" för att stärka krypteringen).

När den väl skapats, Att använda fjärrkryptering är helt transparentOm du gör det rclone copy /datos/sensibles gdrive-crypt:I Google Drive ser du bara konstiga namn och oläsligt innehåll. Från den krypterade fjärrkontrollen kommer dock dina sökvägar och filer att visas exakt som de är.

Rclone-konfigurationsfilen kan och bör skyddas när den innehåller känsliga inloggningsuppgifter.rclone låter dig kryptera den filen: i menyn för rclone config Du väljer alternativet att ange ett konfigurationslösenord, anger en nyckel, och från och med då kommer programmet att be om det lösenordet för att läsa rclone.conf.

I automatiserade miljöer kan du ange lösenordet med hjälp av miljövariabeln.RCLONE_CONFIG_PASS med --password-commandså att skript, cron eller systemd-tjänster kan använda rclone utan manuell ingripande men utan att lösenordet syns i klartext.

Automatisera säkerhetskopior och schemalagda uppgifter

Där rclone verkligen lyser är i återkommande säkerhetskopior och schemalagda synkroniseringar.Du kan använda både de inbyggda schemaläggarna för varje system (Schemaläggaren i Windows, cron i Linux, systemd-timers) och anpassade skript som inkluderar aviseringar och rensning av gamla versioner.

I Windows låter Aktivitetsschemaläggaren dig starta rclone vid specifika tidpunkter med specifika parametrar.Till exempel för att synkronisera en viktig mapp med OneDrive varje natt. Du kan dumpa utdata till en loggfil och aktivera nya försök om uppgiften misslyckas.

I Linux är det vanligaste att förbereda ett litet säkerhetskopiaskript och koppla in det i cron.. Till exempel, a rclone sync /datos/ gdrive-crypt:backups/ dagligen kl. 14.00, med --log-file, --fast-list och filter för att exkludera tillfälliga filer eller stora loggar.

Om du vill gå ett steg längre kan du Kombinera rclone med systemd för att montera fjärrkontroller vid start eller starta säkerhetskopieringsskript som tjänster och timersDetta ger mycket större insyn (loggar integrerade i journaler, kontroll av nätverksberoende, automatiska omstarter om de misslyckas, etc.) och är vanligtvis att föredra framför cron på moderna system.

Det fantastiska är att rclone erbjuder flaggor designade för seriösa säkerhetskopior.: --backup-dir y --suffix för att skicka äldre versioner till en historikmapp, --checksum att jämföra med hashvärden när backend-systemet stöder det, --max-transfer y --bwlimit för att undvika att mätta bandbredden eller överskrida dagliga kvoter, eller --track-renames för att upptäcka omdöpta filer istället för att radera och ladda upp dem igen.

Prestandaoptimering, avancerade filter och felsökning

När du börjar flytta många gigabyte eller miljontals filer är det detaljerna som gör hela skillnaden.Rclone avslöjar en arsenal av prestandaalternativ: --transfers för att justera antalet parallella upp-/nedstigningar, --checkers för checkarna, --multi-thread-streams y --multi-thread-cutoff för flertrådade uppladdningar av stora filer, --buffer-size för att definiera storleken på buffertarna i RAM, etc.

För samlingar med många små filer är det oftast en bra idé att öka --transfers y --checkersoch lägg till --fast-list i backends som stöder effektiva rekursiva listningar. Ja verkligen, --fast-list Det förbrukar mer minne eftersom rclone sparar hela listan i förväg, så det är lämpligt att mäta och inte överanvända den på maskiner med begränsat RAM-minne.

Bandbreddsbegränsning styrs med --bwlimitsom till och med stöder tidtabellerNågot liknande --bwlimit "08:00,1M 18:00,off" Det möjliggör smidig drift under kontorstid och hög hastighet på natten. Att använda det här alternativet hjälper till att förhindra att säkerhetskopian kraschar hela kontorets internetanslutning.

Filter är en annan grundläggande pelare: med --include, --exclude, --filter-from, --min-size, --max-ageetc., kan du ange exakt vad som ska kopieras och vad som inte ska det.En väl utformad filterfil sparar dig timmar av onödig överföring (till exempel genom att exkludera node_modules, .git, cacher, jätteloggar, etc.).

När det gäller typiska problem ser du oftast autentiseringsfel eller API-begränsningar i Google Drive och liknande tjänster.I sådana fall är det lämpligt att återansluta fjärrkontrollen till rclone config reconnectÖverväg att använda ditt eget klient-ID i Google-konsolen och minska parallellism och TPS (--tpslimit) om du når hastighetsgränserna.

När saker verkligen går fel är rclones felsökningsläge och headerdumps till stor hjälp.: starta kommandot med -vv --dump headers eller --dump bodies (Var försiktig, eftersom det är väldigt utförligt) Det visar vanligtvis vad backend-systemet returnerar och varför. Och om du misstänker en bugg, ta en skärmdump med -vv Och att öppna ett ärende i projektets GitHub-arkiv är det snabbaste sättet att få hjälp.

Med allt ovanstående blir rclone en central del för alla som förlitar sig på molnlagring dagligen.Oavsett om du använder den för att ha krypterade säkerhetskopior över flera leverantörer, konfigurera Google Drive på en medieserver, migrera data mellan S3-buckets, automatisera säkerhetskopior av databaser eller helt enkelt förhindra att din Raspberry Pis hårddisk fylls, så blir det verktyget du alltid återvänder till när du tänker "Det här kan definitivt göras med rclone".