资源整理。git
1.Rstudio2019年会“机器学习应用”的幻灯片,代码和数据github
2.R语言包sparkxgb,Spark上XGBoost的R接口。sql
sparkxgb数据库
3.自动SQL注入和数据库接管工具。编程
sqlmapjson
4.最新的深度学习技术应用于天然语言处理的概览。网络
5.来自美国GIS第一高校加州大学圣塔芭芭拉分校的地理学课程178/258(地理科学的概念建模与编程)的网页。在Github推出能够教学的class模式后有不少诸如此类的课程能够关注。app
6.Python库geetools,Google Earth Engine的工具。
7.哥伦比亚大学2019年春季机器学习应用课程材料。
8.R语言包gt,更方便地用R生成信息丰富具备出版质量的表格。
9.2019年冬季R语言空间研讨会。
10.如何制做Shiny的书。
11.fasai深度学习库、课程以及教程。
12.阿里天池大赛O2O优惠券使用预测比赛第一名代码。
13.深度学习研究论文笔记与综述。
14.高光谱论文(代码)。
15.SNIPER是一种有效的多尺度目标探测算法。
16.基于U-Net架构的端到端一类实例分割,用于Kaggle的Data Science Bowl 2018。
17.从要素属性添加功能级别tippecanoe GeoJSON扩展。
geojson tippecanoe extensions from attributes
18.Python库responder,熟悉的http服务Python框架。
19.Rstudio2019年会关于统计教育的谈话材料。
20.Rstudio的addin用于查看空间对象。
21.Rstudio的addin用于编辑地图。
22.UCL地理学院的geog0133课程“陆地碳:建模与监测”实践。
中国广泛存在坡耕地,坡耕地土壤流失是河流沉积的主要来源。在控制水蚀方面,有效地考虑了最小的土壤干扰实践,特别是在坡地农田。虽然它们的有益效果已获得广泛承认,但仍须要进一步研究,以量化减小径流和沉积物产量的最小土壤扰动实践的程度。咱们提出了一项基于全国性meta分析的定量评估,包括536次径流和615次沉积物配对观测,以评估最小土壤干扰实践在控制中国水蚀方面的有效性。中国最小土壤扰动实践分别使径流和泥沙产量减小36.09%和51.69%。收集土壤造成免耕垄,用树篱和微盆地耕做轮廓耕做显示出比其余三种作法(免耕,免耕覆盖和轮廓耕做)显着更大(P <0.05)径流和沉积物产量减小。经过微地形学管理改变土壤性质的作法优于(P <0.05)改变土壤性质而不进行耕做以减小径流和沉积物产量的作法。除了直接减小径流外,因为其附加效应,最小土壤扰动实践在减小泥沙产量方面比径流更有效。没有观察到径流或沉积物减产与坡度之间的相关性,而最小土壤扰动实践的水蚀控制效率随着坡长的增长而增长。做为一种水土保持措施,中国坡耕地能够采用最小的土壤扰动措施。傅伯杰院士团队的成果,使用meta分析分析土壤扰动和水蚀的影响,发表于农林科学top期刊LDD。
卫星遥感是一种颇有潜力的地面PM2.5估算方法。在本文中,提出了一个基于卫星的PM2.5估计的深度学习框架。利用多层学习和逐层预训练,深度学习具备挖掘PM2.5与卫星观测之间非线性关系的巨大潜力。首先,所提出的深度学习框架可用于利用卫星导出的气溶胶光学厚度(AOD)估算地面PM2.5。其次,AOD产品是从卫星顶部大气(TOA)反射率中检索出来的。能够进一步采用深度学习框架,直接从卫星TOA反射率估算地面PM2.5。所提出的框架分别在中国进行了基于AOD的PM2.5估算和武汉都市区的基于反射率的PM2.5估算。结果代表,深度学习框架在基于AOD和基于反射的PM2.5估计中都表现出色。该研究为基于卫星的PM2.5估计提供了有效的方法。深度学习在PM2.5估算中的应用,张良培老师团队成果,发表于IGARSS会议。比较有意思的是不只仅基于AOD估算,也有基于TOA的估算,这样子应用价值会更高。
本研究使用遥感影像来描述土地利用/覆盖模式,并推导出缅甸最大的城市群Greater Yangon的地表温度(LST),以提供土地利用/覆盖与季节,白天和夜间LST变化。对1987年至2015年Landsat影像的分析显示,城市扩张从市中心和沿着突出的河流辐射,建成用地(6.4%)和草地(10.1%)大幅增长,随之而来的农地减小(17%)。对MODIS LST的检查代表,在炎热季节白天,农业用地比城市核心温暖,而在寒冷季节,城市核心在白天和夜间都比农村环境温暖。相关分析显示,从2000年到2015年,建成地与夜间LST之间存在更强的联系,代表城市热岛效应增长。此外,本研究强调了与土地利用/覆盖对LST影响的先前工做的两个主要差别。首先,对LST具备重大总体影响的主要土地利用/覆盖类型是农业用地,其标志是全部分析时期的统计显着相关系数。这一发现强调了农业及相关作法对大气和睦候系统的影响。其次,LST的时间分析突出了水的更强和更复杂的做用,由于它与白天LST呈负相关,与夜间LST呈正相关。本研究的结果强调了土地利用/覆盖对仰光LST空间和时间变化的更复杂影响,与以前在城市地区广泛报告高LST的工做相比。这些看法提升了对土地变化后果对LST时间动态的理解,并能够支持可持续土地利用规划,以改善大仰光居民的福祉。长时间序列遥感分析,耦合两种卫星(MODIS和Landsat),固然对这个结果和方法没有以为特别突出的点。两种不一样分辨率卫星如何进行分析,目前从摘要也没有发现。查看了下原文,应该是统计了Landsat土地覆被上不一样类型的MODIS LST作的分析。作了比较多工做。
黑河流域位于中国西北干旱半干旱地区;在过去的80年里,该流域分别经历了灌溉农业与中下游生态需求之间的水资源竞争。利用Sven Hedin博士在20世纪30年代建立的地图,1961年拍摄的日冕卫星影像和Landsat专题制图(TM),对黑河流域下游的额济纳三角洲的土地覆盖进行了四个不一样时期的解释和分析。整体而言,结果代表:(1)20世纪30年代地图的粗分辨率增长了研究区域的分析不肯定性;(2)额济纳三角洲的河流面积从20世纪30年代降低了91.0%此外,两个主要的终端湖泊Gaxun Nuur Lake和Sogo Nuur Lake分别于1961年和1992年枯竭,胡杨面积从20世纪30年代到2000年减小了76.1%。大多数芦苇被灌木覆盖。 20世纪30年代至1961年间,芦苇面积从3481平方千米减小到1332平方千米,灌木面积从805平方千米增长到2795平方千米。从20世纪30年代到2000年,沙漠和碱性土地面积分别增长了42.2%和52.4%。 (3)2000年实施调水工程后,2010年苏哥努尔湖面积恢复到40.58平方千米。胡杨,灌木丛和芦苇等地区呈现恢复趋势,增幅分别为4.5%,6.5%,到2010年,沙漠和碱性土地面积分别降低了4.2%和15.2%。耕地面积从1961年的25平方千米增长到2000年的85平方千米,迅速接近160平方千米。随着时间的推移,这些变化代表,额齐纳三角洲的生态栖息地在20世纪30年代和2000年之间恶化。可是,水转移项目有效地改变了退化趋势。跨度长达80年的土地覆被变化研究。
气溶胶自动监测网络(AERONET)使用Cimel Electronique Sun-sky辐射计提供了超过25年的气溶胶光学厚度(AOD)的高精度,地面实况测量。在AERONET数据库的第2版(V2)中,近实时AOD主要使用云屏蔽方法进行半自动质量控制,而被云污染或受仪器异常影响的额外AOD数据在得到质量保证状态以前被手动删除(等级2.0)。在过去25年中,AERONET站点数量的大幅增加致使以一致的方式对数百万次测量的手动质量控制形成重大负担。 AERONET版本3(V3)算法提供全自动云筛选和仪器异常质量控制。全部这些新算法更新都适用于近实时数据以及现场部署后处理数据,AERONET在2018年对数据库进行了从新处理。完整的算法从新开发提供了改进数据输入和校订的机会,例如独特的过滤器 - 全部可见光和近红外波长的特定温度特征,更新的气体和水蒸气吸取系数以及辅助数据集。 2.0级AOD质量保证数据集现已在现场校准后一个月内提供,将滞后时间从几个月减小到几个月。使用符合V3 Level 2.0 AOD的数据并考虑使用前场校准计算的AOD与使用前场和场后校准计算的AOD之间的差别来肯定近实时估计的不肯定性。该评估提供近实时不肯定性估计,其中AOD的平均差别代表+0.02误差和一个sigma不肯定性为0.02,可是对于特定仪器部署,误差和不肯定性可能显着更大。分析整个V3和V2数据库的长期月平均值产生+0.002的平均差别(V3-V2)和±0.02SD(标准差),可是使用两个数据库中的时间匹配观察计算的月平均值进行计算平均差别为-0.002,±0.004SD。多年平均AOD的高统计协议验证了先进的自动数据质量控制算法,并建议将研究迁移到V3数据库将证明大多数V2研究结论,并可能在某些状况下致使更准确的结果。AERONET数据质量改善的文章,推动AOD反演的关键要素。
咱们开发了一项方案,经过日本气象厅最新的地球同步卫星Himawari-8上的Advanced Himawari Imager(AHI)改进气溶胶光学厚度(AOT)的每小时估算。利用AHI的采样特征(10分钟时间和亚测量空间分辨率),咱们从观测(AOToriginal)量化AOT的时间和空间变化,并利用这些信息开发一个小时算法,产生两组派生的AOT :AOTpure,经过对AOToriginal进行严格的云掩膜和AOTmerged,从AOTpure的空间和时间插值获得。如此从每小时算法得到的AOT根据来自气溶胶机器人网络的测量值进行验证。 AOTpure和AOTmerged产品的均方根偏差(RMSEs)分别为0.14和0.11,比AOT原剂的RMSE提升了0.20。目前向日葵8号卫星AOT产品的算法论文,每小时估算的AOT。笔者最近对这个卫星有所研究,后面也会稍微介绍下。总的来讲AOT仍是比较稀疏的(受到不少不可控因素)。
高时间气溶胶光学厚度(AOD)可用于反演排放模型和全面了解气溶胶的气候学。地球同步卫星已被用于在陆地和海洋上得到AOD。在这项研究中,开发了一种用于高级Himawari-8成像仪(SARAHI)的新型简化气溶胶反演算法,用于重新一代地球静止气象卫星-Himawari-8中反演北京每小时AOD,该卫星携带先进的Himawari成像仪(AHI)。该算法基于简化的辐射传输模型和表面反射率,该表面反射率来自一个月的AHI表观数据。来自AErosol RObotic NETwork(AERONET)站点和JAXA Himawari Monitor Version 2.0气溶胶反演产品(L2ARP2.0)的测量用于评估来自SARAHI算法的AOD反演的性能。 AOD反演的73.5%,78.2%,74.7%分别落在Beijing_CAMS,Beijing_RADI和香河站点的预期偏差线上。相关系数大于0.92,小均方根偏差(RMSE)为0.134-0.164。检索也能够很是好地反映AOD的时间变化。结果代表,SARAHI AOD算法可以准确地推导出区域AOD,而且优于L2ARP2.0 AOD。简化的向日葵8号AOD反演算法。
8.Validation of Himawari-8 Aerosol Optical Depth Retrievals over China/Himawari-8气溶胶光学厚度反演在中国的验证
卫星传感器不多提供高时间分辨率(每10分钟)气溶胶观测。 Himawari-8上的高级Himawari成像仪(AHI)能够在此频率下提供中国的气溶胶光学厚度(AOD)。该传感器提供了很好的机会来检索地面附近的颗粒物质,并使用气溶胶产品改善空气质量建模。可是,关于AHI AOD仍然缺少质量验证。基于在中国的AErosol RObotic NETwork(AERONET)和Sun-Sky辐射计观测网络(SONET)中的16个太阳光度计站,进行了综合研究以评估AHI气溶胶产品的性能。 AHI AOD和地面AOD的整体比较显示出高相关性(R2 = 0.67)。然而,只有55%的AHI AOD落入预期的偏差包络(±0.05±0.2 * AOD地面)。 AHI AOD和地面AOD之间的AOD误差随着AOD幅度的增长而增长。 AHI AOD的准确性也高度依赖于季节和地表覆盖类型。夏季和城市地区展现了AHI气溶胶回收的最佳性能。昼夜变异性验证代表,AHI AOD能够很好地捕捉昼夜AOD变化,尤为是夏季。显示了AHI AOD和MODerate-resolution成像光谱仪(MODIS)气溶胶产品之间的巨大差别,特别是在中国西北地区。分析代表,AHI气溶胶回收的不肯定性是由气溶胶模型的大偏差和算法中的表面反射率估计引发的。向日葵8号卫星AOD产品反演的验证,该卫星由于高时间分辨率最近受到了不少关注。
9.Evaluation of MAIAC aerosol retrievals over China/中国MAIAC气溶胶反演评价
大气校订的多角度实现(MAIAC)是一种新的气溶胶算法,用于检测陆地上的气溶胶光学厚度(AOD),使用时间序列数据动态分离气溶胶和土地的贡献。可是,目前仍未对MAIAC AOD在中国的质量进行全面研究。在本文中,对中国1千米的MAIAC AOD进行了地面测量,以评估数据的性能。通常来讲,Aqua和Terra MAIAC反演具备较高的相关系数(Aqua为0.924,Terra为0.933),基于地面观察,超过72%的反演属于预期偏差(EE =±(0.05 + 0.2 ) AOD))。咱们发现MAIAC AOD的准确性与AOD大小,气溶胶大小,季节和表面类型有关。在春季和夏季,AOD误差受到气溶胶模型和表面反射率估计的影响。咱们还发现气溶胶模型是沙漠地区AOD误差的主要来源。这些结果代表,MAIAC AOD能够做为中国空气质量和睦候研究的新气溶胶数据来源。MAIAC的这套数据是比较新的,算法也是新的,近期有很多基于该产品的文章,能够关注。