【四旋翼飞行器】76小时吃透四轴算法!史上最强软硬结合实战项目,👉戳此立抢👈

一名数据工程师的自白

工程师人生 2018-10-08 09:36 次阅读
2011年,我作为一名商业智能工程师加入 Facebook。到了 2013 年离开的时候,我的职称是数据工程师。 获得这个职称,并不是因为我被升职或是分配。而是 Facebook 觉得我们的工作已经超越了典型的商业智能。我们为自己创造的这个新角色是个全新的学科。 我的团队处在这场变革的前线。我们一直在开发新的技能呢、新的处理方式、新的工具,而且通常与传统方式背道而驰。 我们是先头部队!我们是数据工程师! 一名数据工程师的自白 数据工程是什么? 数据科学作为一个学科,已度过其自我肯定和自我定义的青春期。而处在同期的数据工程,是个年龄稍小的弟弟,但是也在度过相似的阶段。数据工程学科以其兄长为榜样,但也在相反的领域定义自己,并找寻属于自已的身份。 数据工程师也像数据科学家一样要写代码。数据科学家有很好的分析能力,并且对数据可视化很感兴趣。与数据科学家不同,而且受启发于我们更显成熟的父学科——软件工程,数据工程师要构建工具、基础设施、框架和服务。事实上可以证明,相比数据科学,数据工程更接近软件工程。 如果讨论与既有职责的关系,数据工程领域可以认为是商业智能和数据仓库的超集,而且更多的元素是从软件工程得来的。这个学科也囊括了所谓的“大数据”分布式系统的相关领域内容,以及广泛的Hadoop生态圈、流式处理和大规模计算的相关概念。 在还没有正规化的数据基础架构团队的小公司里,数据工程的职责也会涵盖搭建和维护组织数据基础架构的工作任务。这包括搭建和维护像 Hadoop/Hive/HBase、Spark 平台之类的活。 在小一些的环境里,人们倾向使用 Amazon 或 Databricks之类的托管服务,或者从 Cloudera 或 Hortonworks 之类的厂商获取支持,这本质上就是将数据工程的职责外包给了其他公司。 在大一些的环境里,由于对数据基础架构团队的需求越来越高时,组织更倾向于专门指定或者开设一个正式的角色来处理这些工作。在这些组织中,这个把数据工程流程自动化的职责,同时落到了数据工程团队和数据基础架构团队手中,而且两个团队合作解决高级问题也是很常见的。 虽然这个角色在工程方面的范围在扩大,但其他原本作为商业工程角色的应关注的方面,却变得越来越次要。比如像构建和维护大量的报表和仪表板,已不是一个数据工程师的主要关注领域。 我们现在有了更好的自服务工具,可以让分析师、数据科学家和广义的“信息工作者”变得更精通数据,可以独自应付数据的使用。 ETL 在变化 我们也观察到从拖拽式 ETL (Extract Transform and Load) 工具到一种更加可编程化的方式的大体转变。像 Informatica、IBM Datastage、Cognos、AbInitio 和 Microsoft SSIS 之类的平台技术掌握在现在的数据工程师中并不常见,取而代之的是更通用的软件工程技能,和对编程或配置驱动的平台技术的掌握,像 Airflow、Oozie、Azkabhan 或 Luigi。工程师开发和维护自己的任务编排器/调度器也是很常见的。 有很多不使用拖拽工具开发复杂软件的理由:但最重要的是代码才是对软件最好的抽象。讨论这个话题超出了本文的范围,但是也很容易推导出为什么要用代码写 ETL,原因和写其他软件是一样的。代码允许任意程度的抽象,允许使用熟悉的方法进行所有逻辑处理,可以很好地和源控制集成,也易于版本管理和协作。事实上 ETL 工具暴露图形接口给用户像是数据处理发展史上的一个迂回,这个话题都可再单独写成一篇有意思的博客了。 让我们强调下这个事实,传统 ETL 工具所暴露出的这种抽象是达不到目的的。我们当然需要将数据处理、计算以及存储进行抽象,但我觉得解决的方法并不是将 ETL 元语(比如源/目标、聚合、过滤条件)展现为一种拖拽风格,需要的是一种更高级的抽象。 举例说明,在现代数据环境中做抽象, A/B 测试框架的试验设置:整个试验是什么样的?相关的处理操作是什么?应该暴露给多少比例的用户?预期每个试验会影响哪些度量?试验什么时候生效?在这个例子中,我们有一个需要接收精确、高级输入,需要进行复杂统计学运算以及得出计算结果的框架。我们期望如果引入一个新的试验,就可以相应进行额外的运算并得到额外的结果。在这个例子中,我们要注意的重点是,在这个抽象中输入变量并不是由传统 ETL 工具给出的,而且在拖拽界面中构建这样一个抽象也毫无操作性可言。 对于现代数据工程师而言,传统的 ETL 工具大多数都已过时了,因为无法用代码表达逻辑。因此所需要的抽象也就不能用这些工具直观表达。现在大家知道了数据工程师的职责包括了设计大量的 ETL,并且知道了一套全新工具和方法论是必需的,可以说这迫使这个学科从头重建。数据工程师需要新的技术栈、新的工具、一套新的约束,并且很多时候,是新的一代人。 数据建模在改变 典型的数据建模技术(比如星型模型),曾经定义了我们典型地通过数据仓库为分析工作进行数据建模的方法,但现在已不像之前那样重要。传统的数据仓库最佳实践已经改变。存储和计算要比以前便宜,而且随着可线性扩展的分布式数据库的出现,工程时间成了更紧缺的资源。 这里列举一些数据建模技术方面的变化: 进一步反范式化:在维度中维护代理键这件事可能很棘手,而且这使得事实表的可读性变差。而在事实表中使用自然的让人可读的键和维度属性变得越来越普遍,省去了在分布式数据库中大量繁重的 join 操作。同时要注意像 Parquet 或者 ORC 之类的序列化格式,或者 Vertica 之类的数据库引擎,都提供了编码和压缩的支持,这可以减少通常由于使用反范式化所带来的性能损失。那些系统本身具备为存储进行范式化的能力。 blobs(二进制大对象):现代数据库已经逐渐通过本地类型和方法支持 blobs。这让数据建模师学会了新的招式,并且可以让事实表根据需要一次存储多个粒度的数据。 动态模式:由于 MapReduce 的出现,以及文档存储越来越流行,和 blobs 在数据库中的支持,不需要执行 DML(数据操作语言)就改进数据库模式变得更容易。这使得以迭代方式去建数据仓库更加容易,也免得开发前需要达成完全一致和认同。 系统化维度快照(在每个 ETL 调度周期为维度存储一个全量副本,通常存储在独立的表分区)作为一种处理缓慢变化维(SCD, slowly changing dimension)的通用方法,只要很少的工作量,是一种简单通用的方式。而且这种方式不像经典方式,在写 ETL 或者类似的查询时可以很容易掌握。将维度属性反范式化到事实表,在事务发生时就直接记录维度属性值,,也是一种容易并且相对廉价的方式。回想一下,复杂的 SCD 建模技术其实是不直观的,而且降低了可访问性。 一致性:一致性维度和度量在现在的数据环境中,依然是极为重要的。但是随着数据仓库需求的快速变化,随着更多的团队和角色被邀请到这项工作中贡献力量,一致性就少了一分必要性,更多的是一种权衡。当分歧的痛点变得无法控制,其背后也会产生一致和趋同。 角色和任务 数据仓库 “数据仓库是一个专门为查询和分析而构造的事务数据副本。” — Ralph Kimball 数据仓库是一个面向主题的、集成的、时变的、非易失的集合,用来支持管理层的决策制定过程。 — Bill Inmon 数据仓库依然像之前一样重要,数据工程师负责了很多方面的数据仓库建设和运维的工作。数据工程师的焦点就是数据仓库和相关工作。 现代数据仓库应该是比之前更加开放的设施,欢迎数据科学家、分析师和软件工程师去参与到建设和维护中。如果企业活动限制了什么角色才能够管理数据流程,那数据显然就过于中心化了。虽然这允许随着组织的数据需求而相应扩展,但是经常导致形成了更混乱的、走形的、不完善的基础设施。 数据工程团队通常会拥有数据仓库中几片有保证的、高质量的区域。比如在 Airbnb,有一组“核心”模式(schema)由数据工程团队管理,这里有清晰定义和度量的服务等级协议(SLA,service level agreement),严格遵守命名约定,并且相关的流水线代码遵循一套最佳实践。 为数据对象制定标准、最佳实践和认证流程的“卓越中心”,这也成为数据工程团队的职责之一。团队可以进而去参与或领导一个项目来分享其核心能力,以帮助其他团队成为更佳的数据仓库公民。比如,Facebook 有一个“数据夏令营”的培训项目,Airbnb 正在开发一个类似的“数据大学”的项目,数据工程师在这里主持会议来教大家如何熟练使用数据。 数据工程师也是数据仓库的“图书管理员”,编目和组织元数据,定义从仓库归档或提取数据的流程。在一个快速生长、迅速演变、轻度混乱的数据环境,元数据管理和元数据工具成为一个现代数据平台的关键组件。 性能调整和优化 随着数据变得比以前更加具有战略意义,企业为他们的数据基础设施建设所提高的预算确实令人印象深刻。这样,数据工程师把时间花在数据处理和存储的性能调整和优化上也就更加合理。由于在方面的预算极少缩减,优化往往从在相同的资源下完成更多事情的角度出发,或者是从试图使资源利用和开销的指数级增长线性化的角度。 知道了数据工程栈发展的复杂性正在暴增,我们可以设想优化这个栈和流程的复杂度也同样充满挑战。可能很容易通过很小的努力获得巨大成功的地方,收益递减法则通常是适用的。 建设可以随企业规模增长的基础设施(或在其上建设),并时刻保持资源意识,无疑是对数据工程师有好处的。 数据集成 数据集成,是通过数据交换来集成业务和系统其背后的实际操作,它和以前同样重要,也和以前同样充满挑战。由于软件即服务(SaaS, Software as a Service)逐渐成为企业运营的新标准方式,跨越这些系统来同步相关数据就成为更加关键的需求了。不仅SaaS服务本身需要最新的数据来运行,我们通常也想把产生在SaaS侧的数据拿到数据仓库,来和我们其他数据一起进行分析。当然SaaS经常会提供它们自己的分析,但是没有系统地支持企业中其余数据所能提供的视角,通常得把这些数据拉取回来。 不集成和共享通用的主键,就让 SaaS 服务重新定义参考数据,这简直是场灾难,应该极力避免。谁也不想人为地在两个不同的系统中维护两份雇员和顾客列表。最糟糕的是,必须要在把他们的 HR 数据拉回仓库时做模糊匹配。 最坏的情况,企业高管经常会在不实际考虑数据集成难度的情况下和 SaaS 提供商签约。提供商特意计划好淡化这些集成任务,以促进他们的销售,然后让数据工程师受困于去做充满疑问的、不被重视的工作。更不用说事实上典型的 SaaS API 经常设计不合理、文档不清晰,并且是“敏捷”的:就是说你可以认为它们会在不做通知的情况下改版。 服务 数据工程师工作在一种更高层级的抽象中,就是说在某些场景下要提供服务和工具来使数据工程师、数据科学家或者分析师要手动来完成的工作自动化。 这里列举数据工程师和数据基础架构工程师可能构建和维护的一小部分服务。 数据摄取:围绕“爬取”数据库、载入日志、从外部存储和API获取数据的服务和工具 指标计算:计算和汇总相关参与指标、增长指标或细分指标量的框架 异常检测:使数据处理自动化,以便当异常事件发生或趋势明显变化时警示相关人员 元数据管理:可以生成和消费元数据,并方便在数据仓库中查找信息的相关工具。 实验:A/B测试和实验框架通常是一个重要的企业分析,并带有一个关键的数据工程模块。 检测仪:从日志时间和相关属性到那些事件,数据工程师 会话:为帮助分析师理解用户行为,为理解时间行为序列专门设计的流水线。 就像软件工程师一样,数据工程师必须不断关注工作自动化、构建抽象来使他们能应对重重困难。虽然环境不同,可自动化的工作的性质不同,但自动化的需求在各个环境是普遍存在的。 技能要求 精通SQL:如果说英语是商业语言,那 SQL 就是数据语言。如果英语都说不好的话,作为一个商务人士又能做的怎么样呢?虽然一代又一代技术老去和退出舞台,但是 SQL 一直作为数据的通用语言顽强地活着。数据工程师应该能够使用 SQL 表达各种复杂逻辑,比如使用“关联子查询”和窗口函数。 SQL/DML/DDL 原语已经足够简单,对于数据工程师来说应该完全掌握了。除了SQL的声明特性,数据工程师还应该有能力理解数据库的执行计划,并明白每个步骤是什么,明白索引是如何工作的,明白不同的 join 算法,以及执行计划的分布维度(distributed dimension)。 数据建模技术:对于数据工程师来说,应该对实体/关系模型形成一种认知反射(cognitive reflex),并且对范式化有清晰的认识,同时对权衡反范式化有敏锐的直觉。数据工程师应该熟悉维度建模和相关概念和用语。 ETL 设计:编写高效、可扩展的、“可演化”的 ETL 才是关键。我正计划在接下来的博文中具体讨论这个主题。 架构规划:就像任何专业领域的专家,数据工程师需要对大多数工具、平台、库和其他可以运用的资源有一个较高层级的理解。比如不同种类的数据库、计算引擎、流处理器、消息队列、工作流编排器、序列化格式和其他相关技术背后的属性、用例和微妙之处。设计解决方案时,数据工程师必须能够对使用哪种技术做出好的选择,能够想象到如何使它们协同工作。 总而言之 通过过去 5 年在硅谷 Airbnb、Facebook、Yahoo! 的工作,以及和像 Google、Netflix、Amazon、Uber、Lyft 等几十个各种体量的公司的各种类型的数据团队的丰富交流,我发现大家对于“数据工程师”的发展成什么样,看法越来越趋于一致,而且我觉得有必要分享一些我的发现。 我希望这篇文章可作为某种意义上的数据工程宣言,并且我希望可以在从事相关领域的社区中激起回应。
收藏 人收藏
分享:

评论

相关推荐

Web前端开发是做什么的 薪资待遇怎么样

前端开发这个行业目前来说已经不算是个新兴的行业了,越来越多的人在这两年开始转型做Web前端开发,但是....
的头像 工程师人生 发表于 01-23 17:18 76次 阅读
Web前端开发是做什么的 薪资待遇怎么样

工程师对于深度学习的4个档次

最近不少朋友问我,转行做深度学习的话,能不能找到工作,能找到什么样的工作,能达到什么样的收入水平……
的头像 工程师人生 发表于 01-23 17:11 30次 阅读
工程师对于深度学习的4个档次

一位大数据工程师的自述

其实个人在大数据在大数据这个坑中,细细算来,时间也有3+年了,从一开始做大数据中心平台开发构建,到现....
的头像 工程师人生 发表于 01-23 17:04 71次 阅读
一位大数据工程师的自述

大数据工程师需要具备哪些能力

大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分....
的头像 工程师人生 发表于 01-23 16:55 86次 阅读
大数据工程师需要具备哪些能力

怎样成为优秀的大数据工程师

在互联网盛行的今天,能够预测未来需要依靠更多数据支持,从数据的趋势和分析中,就可以把未来的发展动向掌....
的头像 工程师人生 发表于 01-23 16:43 56次 阅读
怎样成为优秀的大数据工程师

互联网发展曾带来一个非常重要的“长尾效应”

不仅如此,事实上,我们面临着很多的数据孤岛。尽管每个人在互联网上产生了大量数据,但这些数据却掌握在 ....
的头像 电子发烧友网工程师 发表于 01-23 14:51 150次 阅读
互联网发展曾带来一个非常重要的“长尾效应”

美国DARPA:借助AI的力量,发掘世界中的因果联系

接下来系统将被用于分析复杂的现实世界数据,并尝试根据创建的模式提取事件和叙述。此时需要面对的是多媒体....
的头像 将门创投 发表于 01-23 10:27 182次 阅读
美国DARPA:借助AI的力量,发掘世界中的因果联系

怎样快速成为算法工程师

在本文介绍算法工程师当中,我分为以下三个部分来为大家做简单的讲解和梳理:
的头像 工程师人生 发表于 01-22 17:03 45次 阅读
怎样快速成为算法工程师

一名算法工程师的迷茫

一个程序员网友在网上诉说自己是误打误撞做了算法工程师一职,但是工作的事情,让他觉得自己非常尴尬的存在....
的头像 工程师人生 发表于 01-22 16:58 57次 阅读
一名算法工程师的迷茫

JAVA工程师周末一般都做什么

身处在互联网大潮中,JAVA工程师又似乎成为了这个时代最火、最受欢迎的职业。“老实、高薪、不花心”是....
的头像 工程师人生 发表于 01-22 16:48 62次 阅读
JAVA工程师周末一般都做什么

工程师最重要的能力是有哪些

手机响了,是一个实施工程师打过来的,说现场的数据采集不上来,问怎么解决。我问软件的版本,仪器的型号,....
的头像 工程师人生 发表于 01-22 16:37 60次 阅读
工程师最重要的能力是有哪些

写代码不难,难的是写高质量代码!

如果你想抽取1-4并创建一个单独的方法。常见的做法是:复制,创建一个方法,然后将复制的行粘贴到该方法....
的头像 嵌入式资讯精选 发表于 01-22 11:13 98次 阅读
写代码不难,难的是写高质量代码!

对比了近三年中国联通的成绩单,从发展数据上看看联通的变化

固网业务方面,固网宽带累计用户达到8088万户,环比2017年7653.9万户增长了434.1万户,....
的头像 通信头条 发表于 01-21 17:18 490次 阅读
对比了近三年中国联通的成绩单,从发展数据上看看联通的变化

网络工程师的现状如何

学技术不是职业规划的万能药!
的头像 工程师人生 发表于 01-21 16:12 150次 阅读
网络工程师的现状如何

工程师思维是怎样的

为什么想到写这篇文章?作者是想通过对工程师思维的分析和解读,让工程师能正确对待那些在现实工作中看上去....
的头像 工程师人生 发表于 01-21 16:06 128次 阅读
工程师思维是怎样的

怎样成为全栈工程师

随着软件技术的发展以及市场需求的变化,全栈工程师似乎已成为未来发展趋势。很多 Flag 公司都已经声....
的头像 工程师人生 发表于 01-21 16:00 113次 阅读
怎样成为全栈工程师

“Collection #1”的敏感信息合集,数量远远超过了本周泄露的信息

网络安全记者Brian Krebs报道,他从某个出售这种信息合集的人那了解到,这次泄露的信息只是一小....
的头像 E安全 发表于 01-21 09:54 412次 阅读
“Collection #1”的敏感信息合集,数量远远超过了本周泄露的信息

前端工程师要做哪些事情

前端工程师的英文名为front-end engineer,简称FE。
的头像 工程师人生 发表于 01-18 16:36 143次 阅读
前端工程师要做哪些事情

为什么会丢数据

造成数据丢失和毁坏的原因:数据处理和访问软件平台故障。操作系统的设计漏洞或设计者出于不可告人的目的而....
的头像 发烧友学院 发表于 01-16 17:56 216次 阅读
为什么会丢数据

张飞电子视频课程宗旨

对于工程师到外面去找工作,人家公司问你的第一个就是说:你会什么?会做什么?在工程师在公司里面最会做项....
的头像 发烧友学院 发表于 01-16 17:19 257次 阅读
张飞电子视频课程宗旨

集群的作用及搭建方法及设计方案

数据量和访问量:估算应用需要的数据量和总访问量(考虑业务发展,留有冗余),结合每个主节点的容量和能承....
的头像 电子发烧友网工程师 发表于 01-15 16:43 181次 阅读
集群的作用及搭建方法及设计方案

福特将在欧洲裁员数千人,考虑关闭工厂

近路透社报道,福特将在欧洲裁员数千人,考虑关闭工厂,并停止亏损的工厂生产线,以实现欧洲6%的营业利润....
的头像 汽车电子设计 发表于 01-15 11:36 441次 阅读
福特将在欧洲裁员数千人,考虑关闭工厂

如何恢复数据

格式化后磁盘只剩下一点格式化产生的隐藏文件。不过如果马上停止写入新的文件,那么绝大部分数据都可以恢复....
的头像 发烧友学院 发表于 01-08 16:42 227次 阅读
如何恢复数据

在30项前端技术主题中,中国在23项中占据首位

这项调查对各国于2013年至2018年期间,在爱思唯尔发行的学术杂志等的论文数据进行分析。根据阅览数....
的头像 芯论 发表于 01-07 18:04 510次 阅读
在30项前端技术主题中,中国在23项中占据首位

IC设计工程师应该要具备的知识架构(超详细)

作为一个真正合格的数字IC设计工程师,你永远都需要去不断学习更加先进的知识和技术。因此,这里列出来的....
发表于 01-04 16:36 218次 阅读
IC设计工程师应该要具备的知识架构(超详细)

花几个小时,就挣3000块,这个福利就等工程师来了!

发表于 01-02 14:56 2036次 阅读
花几个小时,就挣3000块,这个福利就等工程师来了!

2019十大网络安全趋势,我们有什么可以期待的呢?

我们要继续改进与网络安全相关的规章制度。网络安全的动态特点和快速移动性使之容易超出监管,而监管的缓慢....
的头像 E安全 发表于 12-31 17:11 1074次 阅读
2019十大网络安全趋势,我们有什么可以期待的呢?

完整记录整个fuzz的过程,加深对web sql注入fuzz的理解

因此可以作为fuzz的判断(当然有些waf是静默waf,就是照样接收你的数据但自己做了处理,返回正常....
的头像 电子发烧友网工程师 发表于 12-31 11:54 176次 阅读
完整记录整个fuzz的过程,加深对web sql注入fuzz的理解

EMC工程师的发展及演变

要了解什么是EMC工程师,我们首先要了解什么是EMC。工程师这个职业相信大家都耳熟能详了,像硬件工程....
的头像 韬略科技EMC 发表于 12-22 10:47 787次 阅读
EMC工程师的发展及演变

2019网络安全展望:更多数据泄露,相关法规出台以及AI崛起

2019网络安全展望:更多数据泄露,相关法规出台以及AI崛起。
的头像 E安全 发表于 12-22 10:43 847次 阅读
2019网络安全展望:更多数据泄露,相关法规出台以及AI崛起

通信技术对物联网的发展影响

每年行业都会有流行词,今年热度最高、被提起最频繁的应该就是“IoT”和“物联网”了。这种热度体现了行....
发表于 12-22 07:53 1186次 阅读
通信技术对物联网的发展影响

2018年第三季度智能手机调研数据,从数据看手机用户画像

从MobData给出的的城市分布、品牌忠诚度等数字来看,苹果的用户分布,似不应如其用户画像所描绘的集....
的头像 TechSugar 发表于 12-20 14:47 2165次 阅读
2018年第三季度智能手机调研数据,从数据看手机用户画像

自古“英雄”出少年,2018年度十大科学人物的名单均已出炉

曾长淦表示,全球各大高校已经在用博士后,甚至是教职岗位来吸引他,“他的名字在国内凝聚态物理学界无人不....
的头像 电子发烧友网工程师 发表于 12-20 10:07 2014次 阅读
自古“英雄”出少年,2018年度十大科学人物的名单均已出炉

数据有几种分析方法

PEST分析法用于对宏观环境的分析,宏观环境也叫一般环境,指影响一切行业和企业的各种宏观力量。由于不....
的头像 发烧友学院 发表于 12-19 16:44 493次 阅读
数据有几种分析方法

数据挖掘分析方法

本文主要讲述数据挖掘分析领域中,最常用的四种数据分析方法:描述型分析、诊断型分析、预测型分析和指令型....
的头像 发烧友学院 发表于 12-19 16:42 443次 阅读
数据挖掘分析方法

如何用Python和循环神经网络预测严重交通拥堵?

Waze 从几年前开始,就和政府部门合作,进行数据开放共享。这样一来,政府可以通过 Waze 的数据....
的头像 电子发烧友网工程师 发表于 12-16 10:47 1583次 阅读
如何用Python和循环神经网络预测严重交通拥堵?

物联网加上5G,是2019年的投资重点

时序即将进入2019年,台湾中信银研究团队指出,2019年对于投资人将是风险与机会并存的一年,其中,....
发表于 12-16 09:27 917次 阅读
物联网加上5G,是2019年的投资重点

V+云视听极光收视率数据,提供真实全面的收大屏视数据

2018年12月,中国广视索福瑞媒介研究(简称CSM媒介研究)联合腾讯视频TV端,在北京首次发布“T....
的头像 流媒体网 发表于 12-13 10:42 681次 阅读
V+云视听极光收视率数据,提供真实全面的收大屏视数据

完全免费!电子发烧友创新开放实验室正式建成开放

在华强聚丰集团旗下的电子发烧友成立十周年之际,为回馈社会,给电子发烧友工程师用户提供更多的设计资源的....
的头像 人间烟火123 发表于 12-11 17:04 2512次 阅读
完全免费!电子发烧友创新开放实验室正式建成开放

中国为何要收集电动汽车数据

每隔30秒,每辆电动汽车都必须向政府发送数据,包括汽车的位置、方向和速度。但这种数据分享引发了隐私问....
的头像 1号机器人网 发表于 12-04 11:02 963次 阅读
中国为何要收集电动汽车数据

Numpy居然有这么多陷阱?

从 Out[101] 可以看到一个陷阱,a[:, 0] 过滤完应该是一个 3 x 1 的列向量,可是....
的头像 马哥Linux运维 发表于 12-03 16:37 505次 阅读
Numpy居然有这么多陷阱?

Altium 如何生成Gerber文件?

Gerber文件是一种符合EIA标准,由GerberScientific公司定义用于驱动光绘机的文件....
的头像 电子发烧友网工程师 发表于 12-01 10:18 671次 阅读
Altium 如何生成Gerber文件?

工程师的工作日常生活,太真实了

1当一早客户又要求改程序的时候工程师的脑海里是...2当突然从领导那得知被安排接手离职同事的项目时.....
的头像 电子发烧友网工程师 发表于 12-01 10:07 1009次 阅读
工程师的工作日常生活,太真实了

一名工程师的工作总结

在新的公司工作半年了时间飞逝,作为一名工程师,也要时刻对自己反省,这样才能够有所提升,在工作中我总结....
的头像 工程师人生 发表于 11-29 14:44 1000次 阅读
一名工程师的工作总结

中国领跑2018计算机科学领域高被引学者榜单

值得一提,2018 年度的高被引学者首次引入了“跨学科”领域,以凸显那些在多学科领域具有重大影响但在....
的头像 新智元 发表于 11-29 09:38 2603次 阅读
中国领跑2018计算机科学领域高被引学者榜单

工程师怎样体现自己的价值

我一直认为,工程师,尤其是一线的,是最接近真相的人,也是最懂业务的人,应该有充分自由去实现自己想做的....
的头像 工程师人生 发表于 11-28 15:15 547次 阅读
工程师怎样体现自己的价值

如何使用频繁模式发现进行时间序列异常检测详细方法概述

针对传统异常片 段检测方法在处理增量式时间序列时效率低的问题,提出一种基于频繁模式发现的时间序列异常....
发表于 11-28 11:09 61次 阅读
如何使用频繁模式发现进行时间序列异常检测详细方法概述

巴西最大的专业协会在线泄露其三个数据库中数百万个人数据记录

白帽黑客生态系统Hacken Proof的安全研究员鲍勃·迪亚琴科(Bob Diachenko)称其....
的头像 E安全 发表于 11-27 15:38 602次 阅读
巴西最大的专业协会在线泄露其三个数据库中数百万个人数据记录

非计算机专业前端工程师的真实经历

2010年5月4号,大三,在浙大紫金港的图书馆,第一次知道了HTML的含义,慢慢的开始接触CSS,j....
的头像 工程师人生 发表于 11-26 15:44 621次 阅读
非计算机专业前端工程师的真实经历

斯人已逝,但ta能在AI程序中永生

Ursache称:“我们收集地理位置、动作、活动、健康应用程序数据、睡眠数据、照片、用户在应用程序中....
的头像 新智元 发表于 11-26 09:13 641次 阅读
斯人已逝,但ta能在AI程序中永生

魏杰教授进行了深入分析,并且对中国宏观经济最新走势进行了推测

你们可以查一下资料,2007年,我们当时增长方式是出口导向型增长方式,07年GDP总量是27万亿人民....
的头像 智能制造 发表于 11-22 15:23 1164次 阅读
魏杰教授进行了深入分析,并且对中国宏观经济最新走势进行了推测

十年工程师生涯分享

再过几天就是我从业十年的纪念日啦,回首这过去的十年,个中辛酸和快乐只有经历过后才有切肤的体会,有加班的烦劳,有择业的困惑...
发表于 11-08 09:46 204次 阅读
十年工程师生涯分享

开关稳压器LT1766EGN#TRPBF主要应用于哪些产品

开关稳压器  LT1766EGN#TRPBF 这是料号  主要应用于哪些产品 ...
发表于 11-07 11:36 206次 阅读
开关稳压器LT1766EGN#TRPBF主要应用于哪些产品

未来的工程师会做些什么

更新: Grace和Noah一直忙于他们的夏季项目。 查看他们的工作,并在每个星期的8月份回来看看更多。 我参加工程课已经很长时...
发表于 11-01 15:45 176次 阅读
未来的工程师会做些什么

关于放大器设计工程师必须知道的100个基本问题(ZT)

网上看到以对答形式总结的基本原理、概念及实用经验,非常棒的资料,转发分享,放大器应用是个经验活,希望大家多分享交流: ...
发表于 10-31 09:04 271次 阅读
关于放大器设计工程师必须知道的100个基本问题(ZT)

一个老工程师给新毕业大学生的几点建议

作为一个二十年前毕业的大学生,我和现在的许多人一样走过了,迷茫,选择,再迷茫,再选择的过程。现在把我所经历的一些东西写出...
发表于 10-29 09:32 374次 阅读
一个老工程师给新毕业大学生的几点建议

工程师必看:六招搞定常见电子元器件的检测

1. 判断晶振的好坏 先用万用表(R×10k挡)测晶振两端的电阻值,若为无穷大,说明晶振无短路或漏电;再将试电笔插入市电插孔内,...
发表于 10-04 16:52 312次 阅读
工程师必看:六招搞定常见电子元器件的检测

请问使用Motorware时如何备份工程防止数据丢失?

使用Motorware时,如何备份工程,防止数据丢失? 我现在从Motorware中打开了一个工程,但是大部分的文件是链接形式的,我怎么...
发表于 09-30 11:24 543次 阅读
请问使用Motorware时如何备份工程防止数据丢失?

不用加班就能挣3000块,这个国庆就等工程师来了!

有份献给工程师的国庆大礼待接收… 给工程师的你一个“名利双收”的国庆节… 国之庆典,举国欢腾 天安门下,汇集无数人炽热的...
发表于 09-29 10:08 1023次 阅读
不用加班就能挣3000块,这个国庆就等工程师来了!

面试问题-难忘的面试经历

作者: TI专家Bruce Trump 翻译: TI信号链工程师 Rickey Xiong (熊尧) 本周的TI校园招聘之行使我回忆起一些难忘的...
发表于 09-21 09:41 325次 阅读
面试问题-难忘的面试经历