大數據

大數據

Spring Boot 最简单整合Shiro+JWT方式

简介 目前RESTful大多都采用JWT来做授权校验,在Spring Boot 中可以采用Shiro和JWT来做简单的权限以及认证验证,在和Spring Boot集成的过程中碰到了不少坑。便结合自身以及大家的常用的运用场景开发出了这个最简单的整合方式fastdep-shiro-jwt。 源码地址 希望大家可以star支持一下,后续还会加入其它依赖的简易整合。https://github.com/louislivi/fastdep 引入依赖 Maven <dependency> <groupId>com.louislivi.fastdep</groupId> <artifactId>fastdep-shiro-jwt</artifactId> <version>1.0.2</version> </dependency> Gradle compile group: ‘com.louislivi.fastdep’, name: ‘fastdep-redis’, […]

大數據

MaxCompute 有奖调研,你是来呢?还是来呢?还是来呢?

亲爱的 MaxCompute 开发者朋友们, 感谢你们一直以来对 MaxCompute 的支持,为了更好地提升用户体验,提高用户满意度,特别邀请各位一起来参与 MaxCompute 满意度调研。有关 MaxCompute,不管是使用情况、功能需求还是满意程度都可以一并反馈提交,这都将为 MaxCompute 产品发展注入最强的动力! 当你打开问卷,大约需要5-10分钟的专注填答,开始填写吧 >>> 你提交问卷后,将会发生 向前100名有效填答问卷的开发者赠送 MaxCompute 无门槛100元代金券 你的反馈、建议、需求会直达 MaxCompute 产品和研发团队

大數據

看云栖说云栖—— 开源、SQL or NoSQL

查理·芒格:你必须知道重要学科的重要理论,并经常使用它们——要全部都用上,而不是只用几种。 本文内容提取自2019杭州云栖大会《开源数据库专场》、《NoSQL数据库专场》、《ElasticSearch开发者生态专场》。这次继续聊数据库,且还是聚焦于在线业务数据处理,但不像前几天在《双十一的俩功臣》中分享的阿里云自研数据库,这次几乎全是开源数据库。 前两天看到一篇CSDN翻译的文章《云与开源谁吃谁》,看到下面这张图:开源正在被云吃掉,而云正在被多云吃掉。 (图片来自于网络) 开源其实是很古老的事物,在开源圣经《大教堂和集市》于1997年问世之前,GNU/Linux就已经流行很多年了。我认为一项东西越是古老,就越有可能仍然有用。随着RedHat、GitHub的相继被收购,开源作为一种商业模式有可能正在走向末路,但开源作为一项软件开发组织形式一定还会在在云服务商的资助下,在多云的博弈下继续存在很多年。 在《开源数据库专场》,阿里云数据库团队宣布在2020年DRDS将开源,DRDS是阿里云自研的一个数据库分片引擎,可以将海量的数据处理任务分散到多个数据库上进行处理,在阿里巴巴去IOE的过程中扮演了非常重要的角色。现在,DRDS即将开源了。 DRDS在阿里去IOE中的战友是MySQL,阿里云MySQL8.0有下面这些特色: TDE加密&SM4国密算法、支持使用国内的国密算法对数据表文件进行透明加密。 New Thread Pool、新线程池,对提高并发数有好处。 AliSQL Cluster、提供99.99%的高可用,支持3可用区部署,提供金融级数据保护能力。 Sequence Engine、顺序数生成更靠谱,更灵活可靠的生成各种主键。 热点账户&库存秒杀、提升单行事务处理能力,应对积分、红包、库存等热点。 隐式主键、保证所有的表都有主键,自动为不含定义的表加主键,可以提升复制性能。 Performance Insight、提供更多性能指标监控信息。 SQL

大數據

深度学习在商户挂牌语义理解的实践

​导读:高德地图拥有几千万的POI兴趣点,例如大厦、底商、学校等数据,而且每天不断有新的POI出现。为了维持POI数据的鲜度,高德会通过大量的数据采集来覆盖和更新。现实中POI名称复杂,多变,同时,名称制作工艺要求严格,通过人工来制作POI名称,需要花费大量的人力成本。 因此,POI名称的自动生成就显得格外重要,而机器对商户挂牌的语义理解又是其中关键的一环。本文主要介绍相关技术方案在高德的实践和业务效果。 一、背景现实世界中,商户的挂牌各式各样,千奇百怪,如何让机器正确的理解牌匾语义是一个难点。商户挂牌的文本种类有很多,如下图所示,我们可以看到一个商户牌匾的构成。 结合POI的名称制作工艺,我们目前将POI的牌匾的文本行分为4大类:主名称、经营性质(包括经营范围,具体的进行项目)、分店名、噪声(包括非POI文字,地址,联系方式),前面3个类别会参与到POI名称制作中。如上图所示的牌匾,它输出的规范名称应该是“世纪宏图不动产 (兴业路店)”。其中“世纪宏图”是主名称,“不动产”是经营范围,而“兴业路店”是分店名。 从牌匾中找出制作名称所需要的文字,不仅仅需要文本行自身的一些特征,还需要通过结合牌匾上下文,以及图像的信息进行分析。单纯的文本行识别会遇到下面的问题,如下图,在两个牌匾中都提到了“中国电信”,但是它们的意义是不一样的,这时必须结合上下文的理解。 二、技术方案 单纯从文本的语义理解的角度出发,那么这个应该是一个文本分类问题。但是直接的分类效果不佳。现实中在理解牌匾文本行语义的时候,需要结合图形,位置,内容,以及上下文关系综合来判断。为此,我们将商户挂牌理解的这个问题分解成两个子问题来解决,1.如何结合图像、文本、以及空间位置;2.如何结合上下文关系。因此,我们提出了Two-Stages级联模型。 2.1 Two-Stages 级联模型 Two-stages级联模型分为两个主要的阶段:第一阶段提取单文本信息特征,包括文本位置和文本内容等,第二阶段提取牌匾中文本行上下文关系特征,消除只用单个文本识别容易造成的歧义,准确识别出该文本属性。 2.1.1 Stage One 单文本行特征提取 单文本行特征可以分为词性结构(token level)特征和句子语义(sentence level)特征。除此之外,位置信息(PV)也是比较重要的信息,需要进行特征提取和编码。将以上特征进行融合,得到了单文本行特征。 token

大數據

参与DataWorks产品满意度调查,赢取200元无门槛代金券

感谢您对DataWorks的支持,为了更好地提升产品用户体验, 我们将进行一次用户满意度调查,了解产品用户对于产品的使用情况,功能需求,产品满意度等等。我们将从认真填写的用户中随机抽取100份有效问卷,每名用户赠送200元DataWorks无门槛代金券 主账号问卷地址:https://survey.aliyun.com/apps/zhiliao/MgFRpUB3子账号问卷地址:https://survey.aliyun.com/apps/zhiliao/IZQcAKf0z 我们会认真评估您的每一条建议,感谢!

大數據

实战课堂 | 让大数据分析更简单,4步教你玩转MongoDB BI Connector

MongoDB使用BI Connector支持BI组件直接使用SQL或ODBC数据源方式直接访问MongoDB,在早期MongoDB直接使用Postgresql FDW实现 SQL到MQL的转换,后来实现更加轻量级的mongosqld支持BI工具的连接。 安装 BI Connector 参考 Install BI Connectorhttps://docs.mongodb.com/bi-connector/master/installation/ wget https://info-mongodb-com.s3.amazonaws.com/mongodb-bi/v2/mongodb-bi-linux-x86_64-rhel70-v2.12.0.tgz $tar xvf mongodb-bi-linux-x86_64-rhel70-v2.12.0.tgz mongodb-bi-linux-x86_64-rhel70-v2.12.0/LICENSE mongodb-bi-linux-x86_64-rhel70-v2.12.0/README mongodb-bi-linux-x86_64-rhel70-v2.12.0/THIRD-PARTY-NOTICES mongodb-bi-linux-x86_64-rhel70-v2.12.0/example-mongosqld-config.yml

大數據

三维空间重建(临云镜)重磅发布,30分钟体验AI构建的3D空间

2019年12月2日下午,阿里云峰会广东站飞天大数据与AI平台专场落幕,专场上阿里云智能高级产品专家王巍正式发布了三维空间重建(临云镜)产品,基于三维视觉AI技术实现空间展示及场景还原,致力于用人工智能技术实现三维重建能力。 三维空间重建(临云镜),包含全景摄影测量设备及三维空间重构工具,指通过对空间的全景摄影及实景重构,实现空间的三维模型构建。产品可以帮助品牌商与平台以较低的成本完成空间的快速采集,并支持对室内/室外空间的三维全景展示及空间漫游,同时支持VR浏览、设备的接入,从而实现空间数据的采集、管理与营销应用。 一、应用场景 房产租售:VR看房帮助用户在线查看3D实景房屋,全面体验空间格局,减少无效看房次数,提升租售平台业务效率,降低运营成本。装修样板间等3D全景模型,提升消费者对空间的真实感知,提升房产装修行业转化率。酒店度假:使用三维重建产品对酒店/度假村等场所进行三维建模,帮助企业的用户实现在线看房订房,预期与实际入住体验一致,提升企业的用户满意度,提高企业在的口碑和品牌形象。企业实景认证:实力商家认证深度绑定3D全景,提供更丰富的工厂展示形式,提升商家可信度。电商零售:让用户在线上获得线下实体店的展示体验,促进新零售线上线下的融合。警用领域:提供轻量级应用全景方案,完成犯罪现场重建,辅助警用领域搭建标准化证据采集体系,降低现场采集难度。 二、产品核心能力 设备端:提供阿里巴巴定制化全景设备,设备操作容易,具备一键启动功能,利用自带APP可以进行自动拍摄,一个房间仅需几分钟就能完成拍摄,同时硬件设备支持12K全景相片、4K全景视频,超过同类产品。 云端:三维空间重建(临云镜)在云端构建数据处理中台,基于深度学习的墙线/门线预测、门对应关系改造,用户通过简单地标注操作,后台系统基于特征点AI自动提取搭建三维模型,15分钟内,完成100平米建模。同时云端支持自定义全景照片上传,通过用户现有设备,也可进行三维模型搭建。 云端产品体验地址:https://www.aliyun.com/product/tdsr 展示端:通过全景展示链接,同时适配PC/无线端/VR端。用户可以深度体验通过三维空间重建(临云镜)构建的3D空间,并且支持自由嵌入音频。视频、商品、地点、链接等信息,实现场景内多样化展示,进行多方联动。 三、最佳实践同时,专场现场还邀请了合作伙伴,来自SGS中国消费品及零售检验服务业务拓展高级经理朱乔琪先生为大家展示三维空间重建(临云镜)产品在工厂实景建设方面的,作为产品的深度使用客户,目前SGS已经将原有产品进行更新换代,极大提高了SGS在进行各类全景拍摄认证时的质量与效率。! (SGS作为国际公认的检验、鉴定、测试和认证机构,在世界各地共有97,000多名员工,分布在2,600多个分支机构和实验室,构成了全球性的服务网络。) 作为首次重磅发布的产品,除了SGS,三维空间重建(临云镜)产品已经拥有了十几家使用客户,覆盖商家数超过40000家,累计图像处理数量100000张,拍摄服务人数1200人。希望通过与更多合作伙伴合作,为行业带来丰富、高质量的三维空间建设服务。 云端平台公测免费体验地址:https://www.aliyun.com/product/tdsr 产品案例:工厂:https://lyj.alibaba.com/preview/9205ca2d62d5454c87390fd1f4b99b1a?spm=0.13685700.1400076.1.49442b8aXK8vEm酒店:https://huodong.m.taobao.com/1111zhandui/SceneGoNV.html?spm=0.13685700.1400076.2.49442b8aXK8vEm&model=A.e.nspiIsFHmZfuawBq&srcType=idst_scenego房产:https://zao.alibaba.com/scenetour.html?spm=0.13685700.1400076.3.49442b8aXK8vEm&model=A.e.cXaJNQGPWYDTzKil&srcType=idst_scenego零售:https://zao.alibaba.com/scenetour.html?spm=0.13685700.1400076.4.49442b8aXK8vEm&model=A.e.TPnLlcSWVwMCdKqU&srcType=idst_scenego旅游:https://huodong.m.taobao.com/1111zhandui/SceneGoNV.html?spm=0.13685700.1400076.5.49442b8aXK8vEm&model=A.e.USAsNOrbSYLihdoW&srcType=idst_scenego 钉钉交流群:

大數據

[政策月报]重点培育创业孵化平台,产业资本融合持续推进

11月,国家各部委在创业孵化平台培育方面做出多处部署,并对2019年度拟确定为国家级科技企业孵化器的197家孵化器予以公示。 其中,11月4日,国台办、发改委等22个部门制定的《关于进一步促进两岸经济文化交流合作的若干措施》发布,台湾孵化器可申报国家级科技企业孵化器、大学科技园和国家备案众创空间。教育部等十四部门也联合印发了三年职业培训计划,在大规模职业培训开展过程中,重点培育高水平实训基地、创业孵化器和企业大学,高质量支持和促进就业创业。 在产业资本融合方面,对外持续扩大“放改服”,对内创新投资模式。 11月7日,国务院发布利用外资工作意见,再次鼓励和引导外资更多投向高新技术产业。同时2019市场准入负面清单公布,减少20项事项,缩减比例为13%。财政部还联合19家企业,设立了国家制造业转型升级基金公司,推进产业资本融合。 地方政策统计 11月各地方创新创业政策热力图(不完全统计) 根据创头条不完全统计,11月创新创业政策发布数量top3地区为北京、陕西、安徽,其中: 北京在劳动成果转化促进方面又有新的政策突破,新通过《北京市促进科技成果转化条例》,以法律的形式对科技成果的权属、转化收益分配、勤勉尽职免责等予以明确,鼓励高校院所科技成果优先向中小微企业转移。 而在科技创新环境营造上,一方面,多举措降低企业融资成本。11月14日,中关村发布30项科技信贷创新产品,其中符合科创板定位的企业,最高可授信1亿元;《制造业高质量发展指导意见》发布,推出了促进企业综合融资成本下降的25条措施;北京银保监局还印发了《关于规范小微企业贷款服务收费的通知》,针对当前部分银行附加的不合理条件、变相抬升小微企业综合融资成本等现象予以规范。 另一方面,不断提高公共服务平台服务水平,发布营商环境改革3.0版共12个方面204项任务,减少企业重复跑动和材料提交,新版“北京通”App正式上线,预计年底线上服务数量将超过600项。 陕西积极构建双创服务体系,营造双创良好生态。计划到2022年,全省各类双创孵化载体达到2000家,建立20家左右省级示范众创空间,打造孵化载体建设样板工程。还通过国际创新创业大赛,持续促进海外技术、团队扎根中国,推动国内产业升级转型,探索中小企业中外合作新路径。 同时,陕西省再次出台新政策对退役军人给予就业创业扶持,其中,退役军人创业最高补贴1000万。 本月政策关键词1:培育孵化载体 各类福利类别分布(不完全统计) 11月,国台办、发改委、科技部、教育部等多部门都在不同领域提出重点培育孵化载体平台的要求,创新孵化载体已经成为实施创新驱动发展战略、营造双创良好生态的重要推动力。 在各地方,安徽淮安市先后下发《2019年科技型创业企业孵育计划资金的通知》和《关于下达2019年度市级众创空间建设补助资金的通知》,向国家级孵化器和众创空间共发放财政补助资金338万元,进一步提高科技企业孵化器的创业热情; 福建省财政厅、人社厅下发通知,公布10家省级创业孵化基地支持建设项目名单,并按每家50万元的标准给予补助。省级创业孵化基地着重对高校毕业生创业项目予以支持,为创业者提供场地支持、指导服务和政策扶持; 陕西省持续加强创业孵化链条建设,计划到2022年,全省各类双创孵化载体达到2000家,各设区市至少形成1个特色众创集聚区。并加快优势领域产业共性技术平台筹建,开展省级示范众创空间评选活动,推动孵化能力提档升级。 本月政策关键词2:改善融资环境 各类适用对象分布(不完全统计)

大數據

云数据库HBase降价优惠,震撼来袭!

最新活动 <首购> 2020年1月31日前,第一次购买云HBase的用户,单节点版2C4G规格,6个月仅需9.9元。<首购> 2020年1月31日前,第一次购买云HBase的用户,单节点版8C及以下规格,首月享2折。 更多活动即将上线,敬请期待… 活动列表 活动示例: 产品介绍 更多内容,请参考产品首页 规格选择 场景案例 1.金融风控场景 同时支持结构化和非结构化数据,毫秒级响应时延 帮助用户通过整合与分析用户交易、企业数据和爬虫抓取信息,构建反欺诈、用户画像库,提供大数据风控SaaS服务。 方案优势 低成本存储 HBase采用稀疏存储模式,支撑PB级结构化/非结构化存储,提供全量详单查询 海量数据HTAP处理 Phoneix+二级索引支持实时OLTP查询,通过Spark,提供OLAP查询 高并发写入

大數據

重磅下载 |2019 Flink Forward 大会38+演讲PDF合辑,不容错过!

Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,是 Flink 开发者和使用者不可错过的盛会。 Flink Forward 2019 于今年11月28日在北京举行,规模2000人。本文收录了5大专场,38篇大咖演讲资料的 FFA 2019 资料合辑,精彩内容一次性打包给你! 主会场资料包 去年12月举办的第一届

Scroll to Top