source: internals/2016/aptoideimagesdetector/trunk/Source Code/Linguage Extractor/Initial language extractor/get_list_id.py @ 16344

Last change on this file since 16344 was 16344, checked in by dferreira, 3 years ago

Initial scripts to get aptoide store content written.

File size: 1.4 KB
Line 
1#
2#
3#
4
5from bs4 import BeautifulSoup
6import urllib2
7import json
8import sys
9
10def get_list_id(query, **keyword_parameters):
11
12        url = "http://ws2.aptoide.com/api/7/listSearchApps/query="
13        i=0
14        offset=0
15        total=1
16        all_ids = []
17
18        # Check if exists a maximum value for the id's list
19        if 'max_list' in keyword_parameters and keyword_parameters['max_list']>0:
20                i = keyword_parameters['max_list']
21
22        try:
23                while offset != total:
24                        webpage = urllib2.urlopen(url+query+"/offset="+str(offset))
25                        soup = BeautifulSoup(webpage, "lxml")
26                        page = json.loads(soup.get_text())
27                        data = page['datalist']['list']
28                       
29                        # Adding app id's
30                        for app in data:
31                                if 'max_list' in keyword_parameters and keyword_parameters['max_list']>0:
32                                        if i==0:
33                                                break
34                                        i -= 1
35                                all_ids.append(app['id'])
36                                print app['id']
37
38                        # Updates next page content
39                        offset = int(page['datalist']['next'])
40                        total = int(page['datalist']['total'])
41
42
43        except urllib2.HTTPError:
44                print "Error while fetching from database."
45
46        return all_ids
47
48if __name__=="__main__":
49        all_ids = []
50        query = ""
51        maxvalue = 0
52        i=1
53
54        # Parsing command-line arguments
55        if len(sys.argv)>=2:
56                while i<len(sys.argv):
57                        if i!=1 and i==len(sys.argv)-1:
58                                try:
59                                        maxvalue = int(sys.argv[i])
60                                except ValueError:
61                                        query += sys.argv[i]
62                        else:
63                                query += sys.argv[i]
64                        i+=1
65
66                all_ids = get_list_id(query, max_list = maxvalue)
67
68        print len(all_ids)
69
Note: See TracBrowser for help on using the repository browser.