“平常研究”之 respage02：采集共享单车数据

初衷

距离 respage01 已经有一个月左右没有作平常研究了，期间也有了些迷茫，迷茫平常研究的价值到底在哪里，以及业余时间的捉襟见肘。可是迷茫归迷茫，或者越是迷茫更是要去设法了解世界。respage02 的目标是为了研究小区域人流情况。 小区域的人流情况是我一直想获取的一个信息，这里的“情况”是咱们所能获取的最大信息，因为人们出行方式愈来愈多样化，除了政府在路口安装监控之外，我以为已经很难完整表示人流量了。咱们能够作的只能是经过某种或某些出行途径来片面地反映这种“情况”。

脑洞

本身关于片面掌握人流情况的脑洞有这么几个：

• 采集共享单车分布数据，反映小区域内的人流转移状况。
• 采集网约车的实时分布数据，反映城市内的人流和交通情况。
• 经过高清摄像头采集某街道特定角度的视频，经过识别运动数据，反映单点人流状况。
• 经过 wifi 嗅探器主动采集移动设备数据。

脑洞的意义就是让你们有时间能够去研究一下，我只是选择了最方便的共享单车数据，缘由在于共享单车移动速度慢，在对爬取速度没追求的状况下，也能够有但愿得到研究结果。

获取数据的接口

关于获取共享单车（摩拜）数据的文章已经有不少，主要思路仍是经过研究单车微信小程序的 api，只要简单抓包就能够找到规律，以下接口就能够获取某一位置周边的单车信息，这个和获取百度地图 POI 数据相似，尽可能增长采集点，能够获取尽可能完整的数据，由于根据观察，附近单车接口获取到数量是作了限制的：

URL = "https://mwx.mobike.com/nearby/nearbyBikeInfo?biketype=0" + \
      "&latitude=" + lat + \
      "&longitude=" + lng + \
      "&userid=" + userId + \
      "&citycode=0579"
复制代码

采集窗口

仍是采用与获取 POI 数据同样的矩形窗口扫描的方式，为了稍微加快些速度，我简单地增长了一个进程来同时采集，为了下降封号风险，我也准备了两个 userid，同时也准备了两个扫描区域。（进阶采集，多进程或者协程+代理的方式来更快更全的采集，可是我目前不须要）

## 江南两个矩形区域
BigRect1 = {
    'left': {
        'x': 119.634998,
        'y': 29.046372
    },
    'right': {
        'x': 119.6727628,
        'y': 29.077628
    }
}

BigRect2 = {
    'left': {
        'x': 119.628268,
        'y': 29.072232
    },
    'right': {
        'x': 119.67208,
        'y': 29.098397
    }
}

复制代码

完成采集代码

完整代码仍是见 GitHub - roubo/roubospiker: 一些解决生活问题的小爬虫 实现一个 work 方法，并开启两个采集进程：(注意日志文件要分开建立，以避免并发写花)

def worker(bigrect, userId, FileKey):
    today = time.strftime("%Y_%m_%d_%H")
    for count in range(0, 10):
        logfile = open("./log/" + FileKey + "-" + str(count) + '_' + today + ".log", 'a+', encoding='utf-8')
        file = open("./result/" + FileKey + "-" + str(count) + '_' + today + ".txt", 'a+', encoding='utf-8')
        for index in range(int(WindowSize['xNum'] * WindowSize['yNum'])):
            lng, lat = getSmallRect(bigrect, WindowSize, index)
            requestMBikeApi(lat=lat, lng=lng, index=index, file=file, logfile=logfile, userId=userId)
        time.sleep(1200)

def main():
    userIds = tool.getMBikeUserID()
    p1 = multiprocessing.Process(target=worker, name='p1', args=(BigRect1, userIds[0], 'shareBike01'))
    p2 = multiprocessing.Process(target=worker, name='p2', args=(BigRect2, userIds[1], 'shareBike02'))
    p1.start()
    p2.start()
复制代码

先结束了

实现采集 + 存储 + 展现的过程放到下一稿咯。