Bekijk Volledige Versie : Een simpele vraag van een beginner
Soms surf ik wel eens op internet , vaak op marktplaats.nl , op zoek naar tweedehandse spulletjes om dan weer met winst ( als het lukt tenminste ) door te verkopen. Ik ben er eigenlijk achter gekomen dat het volgende gebeurd ;
Jan zet zijn tafel te koop op Marktplaats om exact 13.30uur. Jan woont in Almere. Piet ziet zijn advertentie om 13.30uur op marktplaats. Piet woont in Hilversum. Maar Klaas ziet de advertentie pas om 13.32uur. En Klaas woont in Amsterdam.
In de tussentijd dat Klaas de advertentie niet ziet heeft hij wel Piet aan de lijn en die vertelt hem dat er net een tafel binnenkomt. Klaas vraagt om een advertentienummer ( een unieke ID om een advertentie op te vragen maar de website geeft aan dat deze advertentie niet bestaat! ). Na twee minuten bestaat hij echter wel! Dat bewijst onomstotelijk dat Piet in Hilversum de tafel twee minuten eerder ziet dan Klaas in Amsterdam.
Zelf heb ik weinig tot geen verstand van zaken maar mij is verteld dat Marktplaats de bezoekers verspreid over een aantal servers. Mijn doel is om ingelogd te zijn op ALLE servers en hierdoor nooit meer een Klaas hoef te zijn en altijd als eerste de advertenties kan bekijken.
Mod edit op aanvraag van TS
Ik hoop dat er een wijze heer of mevrouw hier rondloopt die mij met dit probleem kan helpen. Bij tevreden resultaat kan ik voor meerdere opdrachten zorgen.
In afwachting en met vriendelijke groet ,
Rico C.
Simpele vraag, simpel antwoord: Wat je wenst, kan niet. Je verbind met een frontend (loadbalancer) die jouw sessies weer verspreid over de vele honderden al dan niet duizenden servers die ze hebben draaien. Ergo, het kan niet.
Euhhhhh.... bij Marktplaats gaan werken?
Redelijk onbegonnen werk dit.
En er zit geen minuten verschil in de verschillende servers... dat zijn zelfs geen seconden, maar milliseconden.
Ik weet 1000 % zeker dat er een verschil zit tussen de tijden dat iemand in bijvoorbeeld Groningen en iemand in Amsterdam een advertentie kan zien. Ik praat over minuten verschil. Ik heb hier enorme ervaring in. Ik wil graag intappen op de hoofd source als het ware. Wie o wie?
Ik weet 1000 % zeker dat er een verschil zit tussen de tijden dat iemand in bijvoorbeeld Groningen en iemand in Amsterdam een advertentie kan zien. Ik praat over minuten verschil. Ik heb hier enorme ervaring in. Ik wil graag intappen op de hoofd source als het ware. Wie o wie?
Volgens mij lees je niet zo goed. Lees wat hierboven staat..
Dus jij weet zeker dat het niet kan!? Dat is wel kut dan. Ik bedoel er moet toch een hoofd source zijn , een bron waar alles vandaan komt?
Ja, en dat ding heet de loadbalancer... je kan niet daarachter komen. dat je advertenties later ziet dan een ander zal eerder met iets anders te maken hebben dan een loadbalancer die vind dat jij maar een paar minuten moet wachten.
Uit onderzoek met collega's is namelijk gebleken dat ik sommige advertenties eerder zie en zij anderen weer eerder. Wat kan ervoor zorgen dat er een verschil in tijd zit ?
Maar als zo een loadbalancer bezoekers verspreid over verschillende servers , dan is het toch niet meer dan logisch dat de één een advertentie eerder ziet dan een ander?
De bezoekers zijn immers verspreid. Het doel is om verspreiding tegen te gaan en in de hoofdbron te tappen.
caching, loadbalancing, etc..
en nee je kan niet bij de achterliggende infrastructuur.
Als dat niet kan , kan je dan wel een net uitgooien waardoor je alle verspreidingen en re-direct van de bezoekers in 1 net vangt opdat je alsnog alle informatie in kan zien?
Misschien stuurt de loadbalancer de request door op basis van een hash, die weer gebaseerd is op bijvoorbeeld het ipadres of de gebruiker die is ingelogd. Je zou dus meerdere ipadressen kunnen gebruiken. Dit gaat je dus alleen lukken als je advertenties geautomiseerd binnenhaalt.
Met jou kan ik praten. Ik haal de advertenties inderdaad geautomatiseerd binnen. Hoe kan je via meerdere IP-adressen zoeken dan? Dat lijkt mij wel een eventuele oplossing.
De wijze van Load Balancing is afhankelijk van het gekozen algoritme. Dit zou bijvoorbeeld op basis van (source address) hashing kunnen zijn maar natuurlijk ook op een andere wijze. Dus de oplossing die wordt voorgesteld is een gok die waarschijnlijk nog erg lastig is te implementeren gezien de hoeveelheid servers die marktplaats heeft.
Je kan open proxies gebruiken op het internet, zijn echter wel onbetrouwbaar en traag. Je zou ook meerdere ipadressen kunnen aanvragen bij de provider waar je zit, mits dit script ergens op een server draait.
Je zou je developer moeten vragen om dit op te lossen, als jullie CURL gebruiken is CURLOPT_INTERFACE de optie die je moet gebruiken. Ik weet niet hoe de infrastructuur van Marktplaats in elkaar zit, dus kan maar zo dat dit je probleem niet gaat oplossen.
Ze hebben ook een API, echter deze is niet openbaar, alleen bedoeld voor grote partners en zal zeker wel wat kosten. Het lijkt me echter wel zo, dat je via die API wat directer op de achterliggende hardware kunt werken. Neem eens contact op met MP om naar de mogelijkheden te vragen mbt die API zou ik zeggen.
Kevin Bentlage
04/12/13, 18:00
Misschien kun je eens kijken naar Tor (https://www.torproject.org/). Hiermee gebruik je de IP-adressen van andere Tor gebruikers.
De million dollar question is natuurlijk , wie gaat mij hierin helpen? Ik heb tot nu toe veel aan jullie hulp gehad. Wie hapt toe en neemt contact met mij op? Een gegarandeerde ondergrens van € 500 ,- met vele opties voor bonussen.
Ik heb namelijk ook andere problemen met betrekking tot het zoeken van advertenties. Stuur een PB , bel of mail. amsterdamjagers@hotmail.com of 0614515218