要闻MapReduce将被替代？如何使用kubeadm设置K8s

Posted 2021-04-19 开源村OSV

Google终止免费Wi-Fi项目Google Station

Google本周宣布，今年内将陆续关闭于各市场部署的免费Wi-Fi项目Google Station，原因是全球的移动数据方案已经愈来愈便宜，连网能力也大有改善，再加上与Google合作的电信业者难以扩大服务或持续经营，让Google Station项目走向终点。

Google Station项目是Google在2015年针对印度市场量身打造的，当初的计划是在2020年中之前，于印度400个最繁忙的火车站提供免费的Wi-Fi服务，该服务需要与当地政府、电信业者或ISP业者合作，在前30分钟提供免费Wi-Fi服务，之后网速就会变慢，并跳出合作业者的付费连网广告。

没想到Google Station大获好评，不只是印度市场的目标在2018年中就提前达标，现在印度已经有数千个地点部署了Google Station，远超过当初预计的400个。此外，Google还因应各国的需求，在墨西哥、印尼、巴西、南非、阿尔及利亚、泰国及菲律宾等总计8个国家，都推出了Google Station。

Google说，印度是Google推动连网服务的核心市场，但现在当地要存取网络已经变得更方便及便宜，印度已是全球移动数据服务最便宜的国家之一，从2015年到2019年，印度的移动数据价格下滑了95%。此外，不只是印度，其它国家也都推出便宜的网络存取方案。

除了上网成本大幅降低之外，Google在各地的Google Station合作伙伴，也在扩大规模及可持续性上遇到瓶颈，这使得Google决定在今年陆续终止全球的Google Station项目，把资源移到打造适用于新兴市场用户的产品。

数百万Windows和Linux系统终端将受“隐藏”网络攻击

一项新研究表明，笔记本电脑摄像头、网络接口卡，触控板，USB集线器和Wi-Fi适配器中未签名的固件可使数百万系统遭受数据盗窃和勒索软件攻击。 Eclypsium的研究人员在四项独立的研究中发现，戴尔，惠普和联想等制造商的机器外围设备中未签名的固件使用户容易受到攻击。

尽管我们几乎习惯于阅读有关Windows操作系统漏洞的政府警告，但Linux网络安全威胁警告并不常见。这就是为什么这份有关Linux和Windows系统内隐藏的利用漏洞威胁的报告引起人们关注的部分原因。

未签名的固件存在于Dell，Lenovo和HP以及其他主要制造商的计算机所使用的外围设备中。报告说：“外围设备制造商采用固件签名的做法很落后，使数百万的Windows和Linux系统面临固件攻击的风险，这些固件可能泄漏数据，破坏操作并交付勒索软件。”

就网络安全而言，大部分防御工作都集中在操作系统和应用程序上。鉴于这些是最明显的攻击，不足为奇。但是，不将固件添加到威胁防御模型中，组织就会面临风险。

TAG Cyber的高级分析师凯蒂·泰特勒（Katie Teitler）表示：“这可能会导致植入后门，嗅探网络流量，泄露数据等等。”她说：“但是，不幸的是，固件漏洞可能更难检测并且更难以修补。最佳实践是在组件级别部署自动扫描漏洞和错误配置的软件，并持续监视新问题或漏洞利用。”

Apache Hive 执行引擎有了新选择：MR3

想要利用Apache Hive的最新功能但又不想痛苦的处理Hadoop升级或困难的LLAP配置的组织可以选择另一种形式，即MR3，MR3是Hive的新执行引擎，可以在Hadoop和Kubernetes上本地运行。

MR3是由DataMonad开发的软件产品，DataMonad在2013年的时间框架内对基于Java的执行引擎MR2进行原型设计之后，基于Scala的MR3的开发工作于2015年开始。MR3的第一版于2018年初交付，而1.0版则于近日发布。

根据DataMonad的说法，MR3是用于大数据处理的执行引擎，而Hive是配置为在其上运行的第一个也是主要的应用程序（也支持Tez）。该公司表示，MR3可提供与最新版本的Hive（称为LLAP）相当的性能，但没有技术复杂性。

该公司在其博客上共享了基准测试的结果，这些结果表明相同的测试环境下，Hive / MR3的性能远胜于Presto和Spark SQL，这是两个其他在Hadoop和新兴云平台上运行的SQL数据仓库解决方案。

该公司指出：“在基于TPC-DS基准的评估中，比例因子为10 TB，MR3上的Hive运行速度比Presto快三倍，比SparkSQL快四倍，”

尽管Hadoop背后的势头减弱了，但Hive仍然是最受欢迎的Hadoop子项目之一，因为组织要么维护现有的Hadoop集群，要么寻求其他数据仓库系统的更便宜，更开放的替代方案。

即便Presto随后出现，为在Facebook的Hadoop集群上运行而开发的Hive也仍然存在。

MR3完全替代了在YARN上运行的Hadoop集群上的MapReduce。该公司表示，客户可以“在Hive的不同版本之间轻松切换，而无需升级Hadoop”。这意味着从Hive 1到Hive 4的所有主要Hive版本都可以在同一群集中运行，并且用户可以根据需要使用它们。

但是MR3本身也支持Kubernetes，Kubernetes被广泛视为资源调度程序，它将在新兴的大数据云堆栈中取代YARN。 DataMonads说MR3将管理与Kubernetes集群关联的所有工作吊舱。它还支持企业功能，例如高可用性，Kerberos身份验证，加密以及与Apache Ranger的集成。但是，与Hadoop版本相比，Kubernetes群集上的MR3可以处理的内存量受到限制。

客户可以从DataMonad购买使用MR3的许可证，费用为每年每TB 24,528美元。该公司表示，这相当于每小时为拥有128GB内存的节点支付0.35美元，这比Presto，Cloudera Data Warehouse和Hive便宜。

如何使用kubeadm在AWS上设置Kubernetes

本文有关使用kubeadm在AWS上设置Kubernetes，但使用手动证书分发的信息（换句话说，不允许kubeadm在多个控制平面节点之间分发证书）。 。

这篇文章专门基于建立AWS集成的Kubernetes 1.15集群的文章，但为Kubernetes 1.17撰写的。如上所述，本文还将向您展示如何将kubeadm生成的证书手动分发到其他控制平面节点。

这篇文章将不介绍有关使AWS云提供商正常运行的一些先决条件的详细信息；具体来说，本文不会讨论

    设置节点热名以匹配EC2的私有DNS条目
    创建和分配IAM实例配置文件以允许访问AWS API
    根据AWS云提供商的要求将正确的标签分配给AWS资源

希望了解更多信息，请点击以下链接：

https://blog.scottlowe.org/2020/02/18/setting-up-k8s-on-aws-kubeadm-manual-certificate-distribution/

Linux基金会和哈佛大学创新科学实验室发布开源软件安全性普查‘

Linux基金会的核心基础设施计划（CII）是一个旨在支持最佳实践和关键开源软件项目的安全性的项目，哈佛创新科学实验室（LISH）今天宣布发布“核心漏洞，开源软件的初步报告和普查II。

此次普查II分析和报告代表了迈向理解和解决当今供应链中普遍存在但并非总是被理解的供应链中结构和安全复杂性的重要步骤。人口普查II确定了生产应用程序中最常用的自由和开源软件（FOSS）组件，并开始检查它们的潜在漏洞，这些漏洞可为维护FOSS的长期安全性和健康提供信息。人口普查I（2015）确定了Debian Linux发行版中哪些软件包对内核的操作和安全性最为关键。

 Linux基金会执行董事Jim Zemlin说：“人口普查II报告解决了我们面临的一些最重要的问题，因为我们试图了解全球供应链中开源软件包和组件之间的复杂性和相互依赖性。” “该报告开始为我们提供最重要的共享软件和潜在漏洞的清单，并且是了解更多有关这些项目的第一步，以便我们可以创建工具和标准以实现软件的信任和透明。”

通过与软件组成分析（SCA）和应用程序安全公司（包括开发人员优先的安全公司Snyk和Synopsys网络安全研究中心（CyRC））合作，Linux基金会和哈佛大学能够将私人使用情况数据与公开可用的数据集结合起来，并开发了一个用于确定200多个最常用的开源软件项目的方法，研究结果中详细介绍了其中的20个。有关详细的方法和列表（包括每个项目的详细说明），请阅读报告。

“ FOSS长期以来一直被视为业余爱好者和修补匠的领域。但是，它已经成为现代经济的组成部分，并且是智能手机，汽车，物联网以及许多其他技术的日常技术的基本组成部分。关键基础设施。”哈佛商学院教授，人口普查II项目联合主任弗兰克·纳格尔说。 “了解最广泛使用和最脆弱的组件将使我们能够帮助确保生态系统和数字经济的持续健康。”

由于FOSS构成所有软件的80-90％，因此比以往任何时候都更重要的是，我们了解最常用的FOSS以及它可能在哪些地方容易受到攻击。美国政府机构通过软件材料清单（SBOM）推动对构成各种包装和设备的软件构件的更深入了解，从而凸显了这一点的重要性。例如，2018年4月，美国国会众议院能源和商务委员会的领导人致了Linux基金会一封信，承认FOSS至关重要，并探索了与FOSS相关的机遇和挑战。

2014年，当发现OpenSSL密码库中的Heartbleed安全漏洞时，FOSS在整个经济中的重要性日益明显。据估计，该漏洞影响了Internet上安全Web服务器的近20％，即50万。这是“核心基础设施计划”的推动力，该计划在过去六年中为开源安全筹集了数百万美元。

“开源是当今经济不可否认的关键部分，为我们大多数全球商业提供了基础。成千上万个开源软件包在整个供应链中的生产应用程序中使用，因此了解我们需要评估哪些漏洞这是确保开源软件的长期安全性和可持续性的第一步。” Zemlin说。

英警方呼吁家长一但发现小孩用Kali Linux、Tor、Discord就报警

英国警方担心儿童使用Kali Linux、Tor浏览器和Discord通讯软件等会误入歧途，呼吁家长发现后要尽快通报。

英国用户发现国家打击犯罪调查局（the National Crime Agency，NCA），其辖下西密德兰郡地方组织犯罪防治单位（West Midlands Regional Organised Crime Unit，WMROCU）的一张海报，对某些软件工具有误导性的描述，且已经分送给英国各地中小学。

这张海报上面列出数个可能存在儿童电脑上的软件，以及可能的不当用途。包括Tor浏览器是「用来存取暗网的浏览器」。Virtual Machine可能藏有不常见的作业系统，如「常用于黑客行动」的Kali Linux。警方也形容Discord是常用于分享黑客技术的通讯平台。此外还有渗透测试软件Metasploit，及可蒐集网路敏感资讯的Wi-Fi Pineapple。

英国警方呼吁如果家长看见孩子电脑上有这些工具，或认为有儿童正在黑入他人电脑应立即通报，警察会提供建议帮助儿童从事正当娱乐。

这名用户说这种误导资讯相当要不得。他如果知道自己的小孩学习任何其中之一都会很感骄傲。而Discord更是根本和黑客无关。

事实上，Metasploit、Wi-Fi Pineapple都是安全渗透测试工具，而Kali Linux更是全球许多安全专家及白帽黑客使用的研究工具。Discord是主打无广告、低延迟的跨平台语音及文字通讯软件。Tor更是许多极权国家人权人士及记者，为了保护隐私不被追踪而使用的浏览器。

不过NCA否认这海报是他们制作或发行的。NCA说有许多工具供聪明的儿童使用，其中有些可同时作为合法及非法用途，因此最重要的是，家长和儿童知道如何安全使用这些工具。