带你读《基于浏览器的深度学习 》之一:深度学习
智能系统与技术丛书 点击查看第二章点击查看第三章基于浏览器的深度学习 Deep Learning in the Browser [ 法 ] 泽维尔·布里(Xavier Bourry) [ 美 ] 佐佐木凯(Kai Sasaki) [ 奥地利 ] […]
智能系统与技术丛书 点击查看第二章点击查看第三章基于浏览器的深度学习 Deep Learning in the Browser [ 法 ] 泽维尔·布里(Xavier Bourry) [ 美 ] 佐佐木凯(Kai Sasaki) [ 奥地利 ] […]
点击查看第一章点击查看第三章 第2章 神经网络架构本章我们将介绍在深度学习应用中常用的深度学习架构。深度学习旨在解决真实世界的各种任务。每种类型的应用经常需要在特定场景下选择合适的模型结构。卷积神经网络(CNN)架构擅长解决图像识别问题。因为卷积和池化操作的行为有点像图像过滤器应用于输入图片的不同尺度。而由于循环 cell(recurrent cell)的递归行为循环神经网络(RNN)架构常用来解决自然语言处理问题,比如,语音{文字的转化、语义模型等。只有掌握深度学习模型和它们应用的领域,才能创建高效的深度学习应用。本章介绍的深度学习模型有 CNN、RNN 和增强学习的深度神经网络。 2.1 卷积神经网络 解决图像识别的深度神经网络是卷积神经网络(CNN)。CNN的主要架构是一个卷积层,卷积层可以抽取图片的高级特征(抽象特征),训练过程学习到图片的边、曲线、块和对比度。通过图像的原始特征,多个卷积层堆叠形成一个高级特征的探测器,比如激活纹理、表面或者动物的过滤器。值得注意的是,这些高级特征对于移位操作的影响是健壮的,这意味着,即使图片上的一个对象移动到其他位置,CNN 仍然能识别出该特征。该特性称之为平移不变性或者空间不变性。由于CNN 的健壮性,CNN能在图像识别领域有着杰出的精确度。所以CNN是现代图像识别应用事实上的标准。分析多个现代深度学习架构,你会发现网络的大体结构有许多相似之处。接下来你将看到的大部分网络,都跟20世纪80年代Yann LeCun开发的模型的抽象结构类似。该网络模型包含一个输入层,一个前端(输入降维和特征抽取)和后端(分类器或者回归)。前端的输出是一个特征图,或者用特征空间表示的输入图像。依据应用或者任务的不同,模型网络可能有多个后端或者单个网络用来进行年龄和性别分类。深度学习架构的相似性是模型网络高水平组件的设计选择。我们经常会发现引入用参数的组件相比于特征表示的要高效,比如GoogLeNet的Inception模块和SqueezeNet的Fire模块用卷积层代替全连接层,或者用AveragePool后端替代softmax分类器。模型设计的第二个动机是梯度在模型之间的传递。我们将在 ResNet 模型的残差块(residual block)进行更细致的讲解。许多高水平的深度学习模型都是由杰出的、拥有大量资金和资源的组织或者公司开发的。因此,非常强烈地推荐你使用成熟的模型,而不是去创造你自己的 CNN 模型(除非你是一个深度学习研究者)。在应用中使用成熟的模型会减少开发的时间并使预测的准确性可以接受。 2.1.1 AlexNet AlexNet是在2012年的ImageNet大规模视觉识别挑战赛(ImageNet Large
点击查看第二章点击查看第三章国际市场营销学(英文版·原书第7版)Global Marketing(7th Edition) [丹] 斯文德·霍伦森(Svend Hollensen) 著 CHAPTER 1 Global marketing in the firm 1.1 Introduction to globalization After two years (2008—10)
国外电子与电气工程技术丛书点击查看第二章无线数字通信:信号处理的视角Introduction to Wireless Digital Communication:A Signal Processing Perspective [美] 罗伯特·W.希思(Robert W. Heath Jr.) 著郭宇春 张立军 李 磊 译机械工业出版社China Machine Press 第1章 引言 1.1 无线通信简介 在过去的100年里,无线通信(wireless communication)已经进入我们生活的各个方面。无线通信比有线通信(wired communication)出现得更早,现在无线通信正在取代有线通信。语音就是一个无线系统的史前例子,尽管在语音之前还有手势,比如拍打胸部以示权威(黑猩猩仍然常用这个手势)。遗憾的是,语音能够有效传递的距离有限,因为人类的语声功率有限,而且功率的自然衰减随距离而增大。无线通信系统早期的工程尝试包括烟火信号、火炬信号、信号弹和鼓声信号。日光反照通信镜是这类系统中比较成功的一种,它利用小镜子反射太阳光来实现数字信号的传递。现代意义的无线通信系统利用发送和接收电磁波实现通信。这个概念由Maxwell在理论上阐述,Hertz于1888年在实际中实现。早期对无线通信系统实现做出贡献的其他学者还有Lodge、Bose和de Moura。无线通信最早的例子用的是现在的数字通信(digital
经典原版书库点击查看第二章点击查看第三章计算机文化(英文版第20版)New Perspectives on Computer Concepts 2018: Comprehensive, 20th Edition, China Student Edition[美]琼·詹姆里奇·帕森斯(June Jamrich Parsons)著 1 DIGITAL CONTENT Digital BasicsTExT, NumBERS,
11月11日晚,阿里巴巴集团CTO张建锋宣布重磅消息,明年双11将大规模应用平头哥自研的含光AI芯片。 达摩院研发的AI技术已应用于天猫双11的各个场景。未来,这些人工智能应用将会越来越多跑在阿里自研的芯片上。 2019年9月25日杭州云栖大会上,阿里巴巴发布了其第一颗自研芯片含光800。该芯片创下两项世界纪录:推理性能78563IPS,业界第一,能效比500IPS/W,业界第一,是目前全球最强AI推理芯片。 目前,含光800正在应用于城市大脑、拍立淘等业务,基于该芯片的AI云服务也已正式上线,将为各行各业提供更强大的AI算力。
11月8日,记者了解到,阿里巴巴达摩院机器智能实验室最新研究成果——KAN-TTS将首次大规模应用于今年天猫双11,基于该技术,菜鸟热线机器人、语音机器人小蜜以及天猫精灵将为全球消费者提供接近真人的语音交互体验。 让机器开口说话是人工智能的基础技术之一,最早可追溯到1960年TTS(Text To Speech)技术的诞生,但要让机器发出生动逼真的声音一直都是业界的难题,据了解,传统语音合成技术需要海量文本和音频信息,合成的语音与原始音频的接近程度仅为85%到90%之间。 今年7月,达摩院发布新一代语音合成技术KAN-TTS,首次将该数字提高到97%以上。这被认为是入选MIT Technology Review 2019年“全球十大突破性技术”后,阿里巴巴语音技术实力的又一次跨越式提升。 基于迁移学习以及多种新型算法模型,KAN-TTS可根据特定发音人的风格快速生成高度相似的语音,并且大幅降低语音合成的门槛,手机录音十分钟,机器即可通过算法完成声音的模仿。 过去数月,KAN-TTS技术已实现了主流场景风格声音的全覆盖,可针对通用场景、客服场景、童声场景、英文场景和方言场景,提供 41种高品质的声音,例如温柔、甜蜜、严厉等风格。据达摩院专家透露,团队还计划用该技术来帮助视障和语言障碍人士实现无障碍沟通。 达摩院成立两年以来,阿里巴巴在视觉、语音以及自然语言处理等领域已创下了多项世界纪录,并且跃升为中国最大的人工智能公司。今年的杭州云栖大会上,阿里巴巴表示,阿里AI每天调用超1万亿次,服务全球10亿人,日处理图像10亿张、视频120万小时、语音55万小时及自然语言5千亿句。
点击这里 免费下载《5G+AI 阿里文娱技术实践》 全新电子书《5G+AI 阿里文娱技术实践》即将正式上线!如何用技术带给用户更加流畅且个性化的体验,这是阿里文娱一直在突破的关卡。本书将通过窄宽高清革新、大麦物联网技术、6DoF视频技术等5大板块,带你全面了解阿里文娱独具魅力的思考。 精彩导读 从1.0到3.0,窄带高清的技术演进路线解读 早在2015年,阿里巴巴就提出窄带高清概念。这个概念一经提出,就被行业及视频厂商引用,并且类似服务开始涌现。9月27日,在2019杭州·云栖大会【智慧文娱技术】分论坛上,优酷带来了行业关注已久的窄带高清3.0。在5G大趋势下,优酷加速布局智能高清,意在通过技术创新,让更多用户享受普惠高清服务。 窄宽高清是如何如何实现的?它从哪些角度提高了观众的体验感?全新的3.0版本又有哪些新的突破?答案就在书中! 内容全生命周期里的文娱大脑 文娱内容不同于其他商品,很难有完整的量化指标体系,而内容的复杂性决定了文娱产品的不确定性。我们如何利用AI+大数据能力,建造文娱的内容认知大脑?串联内容全生命周期,实现对内容、流量、宣推等的“未卜先知”,提升对爆款的预测和生产能力?看阿里巴巴文娱事业群资深算法专家蔡龙军为你详情揭秘。 5G下的6DoF视频技术,到底有何不同? 5G时代,视频内容形态将迎来三个趋势:一是依托5G的大带宽,超高清视频将真正落地;二是沉浸式视频迎来发展,但如同《头号玩家》所描述的,沉浸式视频体验是人类感官消费的最终形态,还有很长的路要走;三是交互式视频,包括3D视频、AR形态视频、游戏化视频,以及借由AI赋能的新视频消费方式。优酷在这些领域都在布局,希望借助技术创新,引领用户观看体验的提升。 本章将为你介绍6DoF视频背后的技术秘籍,深度交互式体验触手可及! 大麦物联网技术的实践之路 这是一个万物智联的时代,是AI技术和物联网相结合的时代,这一章节将主要介绍IoT技术在大麦现场服务部分的应用。 大麦现场服务平台,分为设备端和服务端两部分。端上设备的一大特点就是碎片化非常严重,因此如何标准化是一大挑战。另外端基础能力,如物联网及安全等技术能力的建设也是重点;而5G时代的来临,使得未来的现场娱乐设备更加值得期待。 大数据赋能电影数智化宣发 电影宣发正在从传统线下走向互联网,传统线下和互联网的宣发预算投入,由原来的以线下为主,转变为线下和互联网预算比例为1:2。好的宣发能为电影票房打下非常好的基础,助力电影口碑快速发酵,并下沉到三四线的市场。 由于电影宣发的长链路和环节的复杂性,在数据化的进程中,我们遇到不少难题。最后这个章节将从电影的互联网化、宣传和发行环节,为你全面解读数智化宣发。
点击查看第一章点击查看第二章 第3章 时序逻辑设计 3.1 引言 时序(sequential)逻辑。时序逻辑输出取决于当前的输入值和之前的输入值,所以说时序逻辑具有记忆功能。时序逻辑可能明确地记住某些先前的输入量,也可能从先前的输入量中提取更小一部分信息,称为系统的状态(state)。时序逻辑电路的状态由一组称为状态变量(state variable)的位构成,包含了用于解释未来电路行为的所有过去信息。这一章中,我们将首先学习锁存器和触发器,它们是能够存储一位状态的简单时序逻辑电路。通常,时序逻辑电路的分析很复杂。为了简化设计,我们将只涉及同步时序逻辑电路,其由组合逻辑和一组表示电路状态的触发器组成。此章中还将介绍有限状态机,它是设计时序电路的一种简单方法。最后,我们将分析时序电路的速度,讨论提高时钟速度的并行方法。 3.2 锁存器和触发器 存储器件的基本模块是一个双稳态(bistable)元件。这个元件有两种稳定的状态。如图3-1a所示,一对反相器组成的环路构成了一个简单的双稳态元件。图3-1b重画了相同的电路,以突出其对称性。这两个反相器交叉耦合(cross-coupled),即I1的输入是I2的输出,反之亦然。这个电路没有输入,但是它有两个输出,Q和。这个电路的分析与组合电路不同,因为它是循环的:Q取决于,反过来又取决于Q。 考虑两种情况,Q=0或者Q=1。针对每一种情况的结果,我们可以得到: 情况Ⅰ:Q=0。如图3-2a所示,I2输入Q=0,则在上的输出为1。I1输入为=1,则在Q上的输出为0。这和原来假设的Q=0是一致的,于是这种情况被称为稳态。 情况Ⅱ:Q=1。如图3-2b所示,I2输入为1,则在上输出为0。I1输入为0,在Q上输出为1,这也是一种稳态。 因为交叉耦合的反相器有两种稳定状态:Q=0和Q=1,所以电路被称为双稳态。隐含的一点是电路可能存在第三种状态,其两个输出均处于0和1之间的一半。这种状态称为亚稳态(metastable),我们将在3.5.4节中再进行讨论。具有N种稳态的元件可以表示log2 N位的信息,所以双稳态元件可以存储一位信息。耦合反相器状态包含在二进制状态变量Q中。Q的值保持了用以解释电路未来行为的过去信息。在此例子中,如果Q=0,它将永远保持0值,如果Q=1,它将永远保持1值。如果Q已知,则也已知,所以电路的另外一个节点不包含其他任何信息。另一方面,也可以作为一个有效的状态变量值。当第一次加电到此时序电路时,它的初始状态往往未知和不可预料。电路每一次启动的初始状态都有可能不同。虽然交叉耦合反相器可以存储一位信息,但因为没有用于控制状态的输入,它并没有什么实用价值。其他的双稳态元件,比如锁存器和触发器,提供了可以控制状态变量值的输入,本节下面部分将介绍这些电路。 3.2.1 SR锁存器 SR锁存器是一个最简单的时序电路。如图3-3所示,它由一对耦合的或非门组成。SR锁存器有两个输入S和R,两个输出Q和Q。SR锁存器与耦合的反相器相似,但是它的状态可以通过输入量S和R来控制,可以置位(set)或复位(reset)Q的输出。 通过真值表可以理解陌生的电路。或非门中只要有一个输入为1,则输出为0。考虑S和R的4种可能组合。 情况Ⅰ:R=1,S=0。N1至少有一个R=1的输入,则输出Q=0,N2的输入Q=0和S=0,则输出=1。 情况Ⅱ:R=0,S=1。N1输入0和,因为我们还不知道的值,所以我们不能确定输出的Q值。N2至少有一个S=1的输入,则输出=0。再次研究N1,可以知道它的两个输入都为0,所以输出Q=1。 情况Ⅲ:R=1,S=1。N1和N2至少有一个的输入(R或者S)为1,于是分别产生一个为0的输出。所以Q和同时为0。 情况Ⅳ:R=0,S=0。N1的输入为0和。因为还不知道的值,所以不能确定输出的值。N2的输入为0和Q。因为不知道Q的值,所以也不能确定输出的值。我们在这里被卡住了。这很像耦合的反相器。但是我们知道Q必须为0或者为1。于是,可以通过考察每一种子情况的方法来解决这个问题。
闲鱼推荐,知道你的喜欢。 作者: 储睿(刘思佳)、锦逸(陈祎平)、明栋(欧明栋)、资旭(杨子旭)。 关键词: 智能推荐、特征工程、特征处理。 术语解释: 机器学习(Machine Learning):是关于在计算机上从数据中产生“模型”(model)的算法; 数据集(Data Set):一组记录的集合; 模型(Model):泛指从数据中学得的结果; 特征(Feature):是从原始数据中抽取出来的对结果预测有用的信息,可以是文本或者数据; 特征工程(Feature Engineering):是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块; 端计算/边缘计算:与传统的中心化思维不同,它的计算节点更靠近终端,使服务响应高于传统中心化的云计算。 1. 背景 近些年,随着云计算和大数据的快速发展,以机器学习为基础的智能推荐也得到了迅猛发展。利用云计算,不但可以每日更新模型,双11更是小时级更新模型,以实现更准确的推荐。为了更好的优化推荐系统,丰富实时特征,通常会采集大量的行为数据上报到云端。随着闲鱼DAU(日活跃用户数量)的不断增长,这种云端中心化计算模式的问题也暴露了出来。 中心化模式不但要消耗大量的服务器资源,还要面对海量数据处理所带来的延迟问题(分钟级延迟,不可原谅)。 2.