Googleak - online mapy do PC, PDA, mobilu

[balkanista]

Chcelo by to nejaky "Googleak cache manager", co by umoznil
- zvolit obdlznikovu oblast (napr. rohovymi suradnicami, alebo 2ma waypointmi)
- zvolit jeden alebo viac zoom levelov
- zvolit jeden alebo viac typov map z Googleak cache
- prekopirovat cast cache, vymedzenu nastaveniami z predch. bodov, do zvoleneho adresara (napr. na SD kartu v citacke)

Presne tak by som si to predstavoval. Teraz už len nájsť programátora čo to urobí...

[balkanista]

Mám dva technické problémy.
Nainštaloval som si googleak to notebooku (pretože kým tam skopírujem 100 GB cache bude jar a čas vyraziť  )
Použil som len ten posledný full  od bogiho.
Ovšem problém je že nič neviem natiahnuť, pretože mi nevyskočí to okno s heslom (po "server didnt sen an image... a kliknutí na nie), len to ťukne. Nejaké zabezpečenie, neviete čo s tým. Na stolovom počítači tento problém nebol. Ok, aj tat to tam nalejem zvonku, ale hnevá ma že to nejde


Podobne ak súšam otvoriť ten program junction len tak blysne čierne okno a v desatine sekundy sa zatvorí. Toto je problém.

Pridal som googleak do windows firewalu ale nepomohlo to. Zrejme je to nejaký zabezpečovací prvok ale aký? Napadá niekoho niečo?

[bogi]

Podobne ak súšam otvoriť ten program junction len tak blysne čierne okno a v desatine sekundy sa zatvorí. Toto je problém.

Vyssie uvadzam priklad volania:
D:\gpsVP\cache>f:\Archiv\junction googsat D:\googleak\tiles\goog\sat

Musiis to pustit v prikazovom riadku (cmd.exe).
To znamena, ze v Command Line som v adresari D:\gpsVP\cache pustil program junction s 2ma parametrami googsat D:\googleak\tiles\goog\sat

Ku tomu prvemu problemu ... nejde Ti stiahnut ani OSM, ci Yahoo? Tie nepouzivaju zabezpecovacie prvky. Nepouzivas nahodou proxy server?

[balkanista]

Tak som to s tou junction skúsil.
Mám to všetko na c:\  adresáre googleak, gpsVP, junction, v gpsVP som urobil podadresar cache čiže syntax C:\gpsVP\cache>c:\junction googsat C:\googleak\tiles\goog\sat
V junction mám junction exe. Vypíše mi to Prístup bol odopretý. Googleak spustený nemám. Skúsil som aj C:\gpsVP\cache>c:\Archiv\junction googsat C:\googleak\tiles\goog\sat pre prípad že archiv je pokyn a nie názov Bogiho adresára ale vypísalo mi to: "C:\gpsVP\cache" nie je názvom vnútorného ani vonkajšieho príkazu, vykonateľného programu alebo dávkového súboru. Spušťané z cmd.exe.
Čo robím zle?

Druhá vec. Presne ten istý internetový kábel zasuniem z desktopu (kde sťahovanie funguje) do laptopu (oba sú cez switch) a nefunguje to.
Sťahovanie ostatného ide. Aj tu mi vyskočí okno ako je napísané v mojej predošlej správe ale už nevyskočí to dalšie (ban prevention) s heslom.

[bogi]

balkanista, sorry, ja som Ti to nechcel tym junction skomplikovat.
Pre mna informatika je velmi tazke si predstavit a uvedomit, ze nie vsetci su ako ja.
Prikaz nezacina tym C:\gpsVP\cache>... to je nedorozumenie.

Stlac vlavo dole Start, potom Run, do vstupneho pola zadaj cmd a odosli.
Zjavi sa Ti take cierne okno s titulom cmd.exe. Tomu hovorime Command Prompt Window alebo Okno prikazoveho riadku.
Postupuj dalej podla obrazku z prilohy.
Zadavane prikazy musis adaptovat podla skutocnych ciest na Tvojom pocitaci.
To sa tyka
- disku a adresara, kde chces mat cache programu gpsvp
- adresara, v ktorom Ti lezi junction.exe
- adresara, kde mas Googleak cache pre satelitnu Google mapu

Cielom toho junction je, aby si Googleak cache nemusel kopirovat na ine miesto disku. Sposobis tym, ze jeden a ten isty strom adresarov bude viditelny z dvoch roznych miest.
Ak je to na Teba prilis zlozite, daj vediet a nebojuj s tym. Vymyslim nieco lepsie.

[bogi]

Druhá vec. Presne ten istý internetový kábel zasuniem z desktopu (kde sťahovanie funguje) do laptopu (oba sú cez switch) a nefunguje to.
Sťahovanie ostatného ide. Aj tu mi vyskočí okno ako je napísané v mojej predošlej správe ale už nevyskočí to dalšie (ban prevention) s heslom.

Neviem o co ide, je nejaky rozdiel medzi Tvojim desktopom a notebookom, neviem aky. Napadlo ma ale toto:

Pokial chces kopirovat Googleak cache z desktopoveho pocitaca na notebook, ten program junction Ti je nanic. Ten je len na to, aby si nemusel mat tie iste data na jednom pocitaci 2krat (raz pre Googleak a druhy raz pre gpsVP).

[balkanista]

1. Poznáte nejaký program ktorý vám ukaže veľkosť adresára? Ja na to používam v total commandri Ctrl+Shift+L ale pri moje googleakovskej keši to ukazuje bludy.
Teraz som tov yskúšal a povedalo mii že ...todal space occupied7GB considering cluster size 64GB a necessary space on target 320GB!
Pritom posledný raz ked som to skúsil to ukazovalo 20GB considering cluster size 85 a od vtedy som to zväčšil možno o tretinu ...
Z toho koľko voľného miesta mi ostáva na diskoch je to okolo 100 GB veľké.

Teraz i iného súdka. Rozhodol som sa že veľkosť cache prerástla rozumné rozmery preto ju dám preč z počítača (mám tam 2 mirror disky). Aby som su nestratil pri nejakej nehode (počas života mi už odišla mechanika na 2 diskoch, jeden Maxtor jeden WD) tak to chcem dat na 2 miesta. Plánoval som to takto. Použiť robocopy. Pretože tu nijako neviem docieliť mazanie ako to aktuálne nekopíruje (aj pri /Move ak to skiplo tak nemaže) chcel som to urobiť takto:
1. Copy z desktopu na externý disk
2. Move z externého do notebooku
3. Move z deskopu na externý disk.
Pretože mám rýchlosť LAN len 10mbit/s a nie 100 (nepýtajte sa na prečo neviem ale zatiať to nikto nespravil) tak sa mi zdalo že copy a move na/z priamo pripojený externý disk bude to najrýchlejšie.
(prípadne kúpim ešte jeden externý disk ešte som sa nerozhodol, notebook je Asus EEE s 160 GB diskom ak sa mi to ešte rozrasie nemude tam dosť miesta)

Teraz o pocitoch. Tak ako to ťahám tak myslím že 90% údajov je v zoome 18. Ak si pozrieme čo je v hybrid a čo v satellite vidíme, že počet filov (tiles) je rovnaký, ale tak by som to tipol že tie satellite sú najmenej 5x väčšie. Čiže myslím že viac ako 3 štvrtiny toho čo mám je v satellite zoom 18.
Až po 8 mám celý svet. 9-10 kompletne Európa a bližši polovica Azie  (mizivé percento dát). 11-12 a 14 (13 nepužívam len pár skúšobných miest) kryje kompletne územie Balkánu, Turecka a Zakaukazských státov. 15 nepoužívam (len pár skúsobných miest). 16 mám Slovensko a veľmi maličke úseky baláku, skoro nič. 17- Čierna hora na miestach kde nie je 18ka a trochu sem tam.
18-(ak som nerezrel) Kompletne všetky štáty Balkánu a Turecka s výnimkou Grécka a Srbska kde mám tak tretinu-štvrtinu.

Včera o 11tej večer (teraz je 12 dopoludnia) som štartol Robocopy z desktopu na extterný dísk. Ako je to zoradené doteraz skopírovalo tlen z hyb 10,11,12,13,14,15, a zo 16ky len niečo viac ako štvrtinu! Ešte sa to k 18tke ktorá nesie určite viac ako 90 dát ani nedostalo! Bože, to bude kopírovať niekoľko týždňov? Mesiac?

Nieviem či Robocopy to robí rýchlejšie ako total commander ale nezaťažuje počítač. Jediný problém je že zatiaľ mám v ťahaní do cashe pauzu (už som si zvykol, toto mám veľmi dobre zorganizované). Mám ale starch, že keď napr reštartnem počítač aj ten SKIP kým sa dostane na miesto kde bude pokračovať v kopírovaní bude trvať hodiny (dúfam len že nie rovnako dlho ako keď to kopíruje)! Nevieš Bogi ako to je? Je to viac ako 10mil súborov.

Inak dakujem za vysvetlenie. Ja som tiež niečo programoval, bolo to ovšem vo Fortrane pred takmer 30timi rokmi. Odvtedy sa samozrejmie všetko zmenilo, bežný užovateľ nemá dôvod isť do command line. Takže potrebujem polopatistický návod, aspoň môžeš prejaviť svoje pedagogické nadanie. Na rozdiel od bežných škudentov počúvam pozorne a netreba mi 2x opakovať (ako veľmi by som si posledné želal občas keď som v pozícii prednášajúceho - samozrejme to nie je informatika  ).

Tá junction ma začne zaujímať až to všetko dostanem do notebooku. Je jasné že vzhľadom na veľkosť cache (ktorá sa ešte behom pár mesiacov zväčší) tak to ad hoc nebude použiteľné v PDA. Pokiaľ nebude nejaký "extraktor" menšieho územia tak len export to OZI alebo Trek buddy. Ak to ale mám v notebooku na mieste no nie je problém.

Tak prosím o radu ktorý program zmeria spoľahlivo na disku miesto ktoré zaberá moja cache.

[bogi]

1. Poznáte nejaký program ktorý vám ukaže veľkosť adresára?

Niekolko moznosti:
- Priamo v Prieskumnikovi (Windows Explorer) vo forme tooltipu. Da sa pouzit len pre velkostou male adresare, nie pre velku Googleak cache. Pozri v prvej prilohe hore.
- V Prieskumnikovi, Total Commanderi atd. po stlaceni pravej mysaciny na adresari a volbe Properties. Pozri v prvej prilohe dole.
- Free tool DirSize ... Nemam ho odskusany na obrovskych adresaroch. Ma prehladne GUI, snad funguje.

Dalsia moznost je pouzit command line utility:
- port UNIXoveho toolu du (disk usage) pre Windows z balika UnixUtils: http://sourceforge.net/project/showfiles.php?group_id=9328
V okne prikazoveho riadku - velkost adresara v kB:

Kód:

I:\tools\unixutils\UnixUtils>du -s K:\mapy\software\googleak\tiles\goog\map
24789   K:\mapy\software\googleak\tiles\goog\map

- du od sysinternals: http://technet.microsoft.com/en-us/sysinternals/bb896651.aspx

Kód:

I:\tools\unixutils\sysinternals>du K:\mapy\software\googleak\tiles\goog\map

Du v1.33 - report directory disk usage
Copyright (C) 2005-2007 Mark Russinovich
Sysinternals - www.sysinternals.com

Files:        3222
Directories:  360
Size:         24 490 186 bytes
Size on disk: 24 490 186 bytes

Použiť robocopy. Pretože tu nijako neviem docieliť mazanie ako to aktuálne nekopíruje

robocopy nie je tool na mazanie, ani na presuvanie - sluzi na kopirovanie. Jeho vyhodou je, ze znesie aj vypadky siete, vie kopirovat subory, ktore su aktualne pouzivane operacnym systemom atd.

Bože, to bude kopírovať niekoľko týždňov? Mesiac?

Robocopy kopiruje po suboroch. Vela malych suborov sa kopiruje dlhsie, nez malo velkych. robocopy je v mnohom vylepseny voci copy, avsak tato zakladne nevyhoda kopirovania po suboroch ostava. Rychlejsi a robustnejsi nastroj pre kopirovanie stromov adresarov po suboroch nepoznam. Existuje este xxcopy, ten je velmi podobny programu robocopy a nie je free.

Ina moznost, nez kopirovanie po suboroch, je disk imaging, co je binarne kopirovanie celeho logickeho disku. Ak mas iny prazdny logicky disk s velkostou nie mensou nez logicky disk, kde mas teraz googleak cache, mozes vytvorit disk image a restornut tento image do particie ineho logickeho disku. Toto je urcite rychlejsia metoda nez robocopy pre velke objemy dat a pre filesystemy s vela malymi subormi. Rychly je napr. Drive Snapshot www.drivesnapshot.de, ktoreho trial verzia ma plnu funkcnost do nejakeho datumu. Na jednorazove pouzitie ho netreba kupovat. Pri jeho pouziti potrebujes volne miesto ako na disk image, tak aj volnu particiu kam disk image restornes.

Mám ale starch, že keď napr reštartnem počítač aj ten SKIP kým sa dostane na miesto kde bude pokračovať v kopírovaní bude trvať hodiny (dúfam len že nie rovnako dlho ako keď to kopíruje)! Nevieš Bogi ako to je? Je to viac ako 10mil súborov.

SKIP nepoznam, asi mas na mysli robocopy switch /MIRROR.
Neviem, vyskusaj, ci sa Ti za noc cache prostrednictvom robocopy zmirroruje. Ak ano, je to riesenie, ak nie, riesenim moze byt pouzit disk imaging tooly ako Drive Snapshot. Ten podporuje aj diferencialne images - tak by to slo najrychlejsie. Len si treba uvedomit, ze disk imaging tooly ako Drive Image kopiruju cely logicky disk a nie len jeden strom adresarov.

Je jasné že vzhľadom na veľkosť cache (ktorá sa ešte behom pár mesiacov zväčší) tak to ad hoc nebude použiteľné v PDA. Pokiaľ nebude nejaký "extraktor" menšieho územia tak len export to OZI alebo Trek buddy. Ak to ale mám v notebooku na mieste no nie je problém.

Extraktor uz mam ... vcera som ho naskriptoval, tiez ma to zaujimalo.

[balkanista]

Bogi, s tým extraktorom to je fantastické.

Robocopy aj presúva - teda maže adresáre. Ale pokiaľ kopírovaný adresár existuje tak urobí SKIP - preskok (aj to tak nazve v štatistike). Pokiaľ urobí tento skip tak nezmaže zdrojový súbor.
Len tak mimochodom keby som pustil viacero Robocopy naraz tak to bude fungovať? Tak to robim s guglíkom - funguje to tak do 5-6 potom to začína byť nestabilné.
Pri googleaku 5 otvorených stiahne tak 3-4x toľko ako pri jednom.

Inak najrýchlejšie sa mi (celkom subjektívne) zdá kopírovať Altap Salamander ktorý ide tak do 200kB/sec. Problém je len že zaprace CPU na 100%. Ale len tak okometricky ten by to tak za do týždňa mohol zvládnut. Problém je že ten môže ísť len v noci, cez deň je neznesiteľný. Viacero robocopy by problém riešilo.

[bogi]

Robocopy aj presúva - teda maže adresáre. Ale pokiaľ kopírovaný adresár existuje tak urobí SKIP - preskok (aj to tak nazve v štatistike). Pokiaľ urobí tento skip tak nezmaže zdrojový súbor.

O akych robocopy switchoch hovoris? robocopy ma tolko switchov, ze musis byt celkom konkretny. Pisal som o switchi /MIRROR. Ten zmaze subor v cielovom adresari, pokial uz neexistuje v zdrojovom. Preskakuje subor v zdrojovom adresari, ked nezmeneny rovnaky subor existuje v cielovom. Nemaze nic v zdrojovom adresari.

Len tak mimochodom keby som pustil viacero Robocopy naraz tak to bude fungovať?

Nepomoze. Skor naopak. Disk ide najrychlejsie v rezime sekvencneho citania alebo zapisu. Idelane, ak ide o nefragmentovany subor a ked sa cita/zapisuje iba jeden subor. Pri vsetkom ostatnom musi cvicit hlavickami. Zo silne fragmentovaneho disku preto pomaly cita, lebo musi vela hybat hlavickami. Ked pustis vela intenzivnych diskovych operacii naraz, bude musiet medzi nimi "preskakovat" a to ho bude spomalovat.

Download je nieco ine. Google zamerne obmedzuje download rychlost - nemoze jednemu dat maximum a na dalsich "nezostane". Disk sa takto nesprava - ide na svojom maxime. Rychlost disku je vyssia nez rychlost n downloadov.

Inak najrýchlejšie sa mi (celkom subjektívne) zdá kopírovať Altap Salamander ktorý ide tak do 200kB/sec. Problém je len že zaprace CPU na 100%. Ale len tak okometricky ten by to tak za do týždňa mohol zvládnut.

Tyzden zalohovat je z praktickeho hladiska nepouzitelne. Moc dlho. Velkost Tvojej cache je tych 160 GB na disku? Aka je velkost celej particie a kolko je v nej celkovo dat? Klikni na disk drive (napr. C:) pravou mysacinou a v Properties to uvidis. Ide o disk drive, na ktorom je nainstalovany Windows, alebo ide o iny disk drive?
V robote pouzivame Drive Snapshot na zalohu 200 GB particii a plny image trva do hodiny a pol, diferencialny image tak 3/4 hodiny. Za tym by v Tvojom pripade nasledoval restore z image na iny logicky disk, co moze trvat o nieco dlhsie, avsak max. niekolko hodin.

[balkanista]

Tak som preru3il kopírovanie s Robocopy (antivírak ma stále otravoval že potrebuje reštart) a spustil som znova. Predstavte si, že nakopírované súbory už existujúje v targete to prebehlo za chíľočku! Takže problém je to len prvý raz, potom zálohovanie bude trvať len toľko čo bude kopírovať "prírastok do rodiny!"
Rozhodol som sa že sa ani nedudem pokúšať zapratať pevný 160 Gb disk na Asuse, aj tak by mi to nevošlo, ale kúpim si niečo ako http://cgi.ebay.de/LaCie-Rugged-Hard-Disk-500-GB-249508-Festplatte_W0QQitemZ170289400249QQcmdZViewItemQQptZDE_Elektronik_Computer_Computer_Festplatten?hash=item170289400249&_trksid=p3286.c0.m14&_trkparms=66%3A2|65%3A2|39%3A1|240%3A1318 . Tento disk vyzerá že niečo aj vydrží aby som ho mohol nosiť na výpravy.
Len sa tak opýtam, tento istý sa predáva vo verzii len USB alebo USB + Firewire 800 a 400.
Napadá Vás nejaká výhoda ktorú má tá trojkombinácia pre použitie v teréne?
Takže to budem mať na dvoch exerných diskoch pripravené na použitie kedykoľvek.

Inak pri robocopy som používal /Move ale je to jedno aj /mov robil to isté. Ak existuje súbor aj na target takže ho preskakuje tak ho nevymaže zo source adresára.
Tým pádom nie je možné mazanie realizovať tak že proste dáte /move tam kde identický target súbor existuje.

[bogi]

Zdaleka nie vsetky PC a NB maju FireWire rozhranie. USB maju vsetky.

Je vela moznosti, ako si spravovat Googleak cache. Dolezite je, aby si ju mal na 2 miestach, kedze jej vytvorenie Ta stalo vela casu a usilia.

[balkanista]

Och bože môj. Už som sa dostal do 18ky v hybrid. Podotýkam, že tá ma rovnaké množstvo súborov ale sotva štvrtinu veľkosti satellite.
No proste skrátka a dobre robocopy kopíruje to tak asi 900 súborov za minútu. Mám ich tam tesne pod 10 miliónov.
Ciže asi 38 dní??? A potom príde na radu satellite s rovnakým počtom ale 4x väčším objemom?

A potom všetko ešte raz ale tentokrát sa bude aj mazať?  Kopírovanie trvajúce pol roka?
Nemysliteľné.

Bogi, nenapadá ťa niečo? Mám to na disku D kde nie je windows ale len documents pre windows a možno pošta - ale mám partície C a D na tom istom fyzickom disku (sú v počítači 2 na mirror) Je veľká asi 250 GB teraz je 28 GB voľných

Bolo by možné prekopčiť celú partíciu D na externý disk a potom zbytok zmazať? To pôjde oveľa rýchlejšie. Potom prekopčiť externý disk na druhý externý disk -teraz už len s potrebnými údajmi
A nexistuje niečo čo to maže hladko pomocou cmd príkazu aby potom uvoľnilo miesto na disku D v počítači? Si programátor tak porad?

Inak budem výhra nie je ani Altap Salamander.Kopíruje zo satelitného asi 550 súborov za minúty čiže rýchlosť zrejme podobná ako robocopy. Ovšem oveľa viac obťažuje.
Lenže - ak sú spustené naraz Salamander aj robocopy zdá sa že rýchlostne sa neovplyvňujú, aspoň nie zreteľne. To odporuje tvrdeniu že rýchlosť kopírovania je limitovaná ramienkami na diskoch (je pravda že hučia viacej). Nie je tam nejaké softwarove nastavenie alebo "zúžené miesto"?

Edit.
OMG! Teraz som sa pozrel konkrétne a robocopy kopíruje len 3 subory za sekundu priemer na posledné 3 hodiny! Altap Salamander robí 9 na väčsích súboroch číže je možno 4x rýchlejší!

[bogi]

balkanista, bud pozorny. Vyssie som pisal nieco o disk imaging programoch, spomenul som Drive Snapshot.
Potrebujes dalsiu prazdnu particiu velkosti najmenej ako mas D: (pises 250 GB) a okrem toho este miesto na disk image, tiez takych 200 GB.

Mozes vyskusat aj toto: http://www.drive-image.com/Drive_Image_Download.shtml
Trial verzia je plne funkcna 15 dni a dokaze kopirovat aj priamo z disku na disk bez vytvarania disk image.

[balkanista]

Som pozorný. Drive snapshot som si preštudoval ale nie som si istý či rieši moje problémy,
Keď chápem to správne, tak to urobí presný backup disku.
Ak tomu rozumiem správne urobenie disk image je "urobenie normálneho disku z backupu"
Je to tak? Môže to byť na jednom disku 640GB ktorý má voľných 500GB? Nepoškodí do údaje na ňom? Môžu tam zostať alebo ich musím presúvať?

A teraz to najdôležitejšie. Ten disk imagining trvá niekoľko hodín - ovšem u normálneho počtu súborov. Rovnako ako sa dá skopírovať 20 GB za hodinu - u mňa za oveľa dlhší čas.
Ja by som sa skoro stavil že u môjich 20 miliónoch súborov to bude trvať veľmi dlho. Možno ale kratšie ako kopírovanie. Je to tak?

Edit:
Altap Salamander kopíruje zhruba 9 súborov za sekundu aj z hybridu, čiže u týchto súborov nerozhoduje ich veľkosť (v satellite sú viac ako 4x väčšie) ale počet.

Edit2. Nech robím čo robím jeden Salamander kopíruje asi 9 tilov za sekundu, ale 2 idúce naraz robia asi 13.5 dohromady. To redukuje môj problém na "prijateľných" 18 dní po 24 hod kopírovania.