Sådan udtrækkes links fra enhver webside ved hjælp af PowerShell
PowerShell 3 har mange nye funktioner, herunder nogle kraftfulde nye webrelaterede funktioner. De simplificerer dramatisk automatiseringen af nettet, og i dag skal vi vise dig, hvordan du kan udtrække hvert enkelt link fra en webside og eventuelt downloade ressourcen, hvis du ønsker det.
Skrabning af nettet med PowerShell
Der er to nye cmdlets, der gør det nemmere at automatisere nettet, Invoke-WebRequest, der gør det lettere at læseligt læseligt indhold, og Invoke-RestMethod, der gør det læsbare indhold lettere at læse. Da links er en del af HTML-en på en side, er de en del af de menneskelige læsbare ting. Alt du skal gøre for at få en webside er at bruge Invoke-WebRequest og give det en URL.
Invoke-WebRequest -Uri '//phhsnews.com'
Hvis du ruller ned, vil du se svaret har en linkegenskab kan vi bruge PowerShell 3s nye medlemskalkuleringsfunktion til at filtrere disse ud.
(Invoke-WebRequest -Uri '//phhsnews.com') .Links
Som du kan se, får du en masse af links tilbage, det er her du skal bruge din fantasi til at finde noget unikt at filtrere ud de links, du leder efter. Lad os antage, at vi vil have en liste over alle artikler på forsiden.
((Invoke-WebRequest -Uri '//phhsnews.com') .Links | Hvor-objekt {$ _. Href -like "http * "} | Where class -eq" title "). Titel
En anden stor ting, du kan gøre med de nye cmdlets, automatiserer hverdags downloads. Lad os se på automatisk skrabning af billedet af dagen uden for Nat Geo-webstedet. For at gøre dette kombinerer vi de nye web-cmdlets med Start-BitsTransfer.
$ IOTD = ((Invoke-WebRequest -Uri ' // photography.nationalgeographic.com/photography/photo-of-the-day/').Links | Where innerHTML -like "* Download Wallpaper *"). href
Start-BitsTransfer -Source $ IOTD -Destination C: IOTD
Det er alt der er til det. Har du selv nogle fine tricks? Lad os vide i kommentarerne.
Der er to webs. Der er den normale web, folk flest bruger hver dag, hvilket er let tilgængeligt og indekseret af søgemaskiner. Og så er der de "mørke web" -dækkede websteder, der ikke vises, når du søger på Google, og de kan ikke fås uden særlig software. Darknets Forklaret Den "mørke web" er en delmængde af "Dyb web".
Hvor meget kunne jeg downloade, hvis jeg maksimerede min internetforbindelse i en måned?
Du har sikkert aldrig forsøgt det, men ville det ikke være et sjovt eksperiment? Hvor meget kan du downloade fra internettet, hvis du sætter pedalen ned og maksimerer din forbindelse i en hel måned? Kære How-To Geek, Jeg elskede NES zapper-spørgsmålet og svaret. Du nævnte i dette svar, at du kan lide sjove geeky spørgsmål, så her er en for dig.
