Spark & Jupyter笔记本研讨会
教练：斯科特·詹森博士
该研讨会于2019年春季学期首次在BET9九州体育会员登录州立大学举行。
为什么要参加这个研讨会？
Apache Spark和Jupyter笔记本是目前数据科学中最热门的两个工具，即使您之前没有编程或数据科学方面的经验，本次研讨会也提供了动手使用这些工具的机会！你甚至不需要自己的电脑！
硅谷一些大型网络公司的数据科学家正在使用Jupyter Notebooks和Apache Spark。Apache Spark允许数据科学家探索各种格式的大型数据集，以快速识别数据中的模式。Jupyter笔记本不仅允许他们可视化和记录他们的结果，还可以轻松地与同事分享他们的研究，甚至生成出版物，网页和演示文稿。总之，通过基于web的界面，这些工具允许您探索和实验大型数据集，快速询问有关数据的问题，生成可视化，并分享您的工作（只需点击几下，您甚至可以将笔记本发布到网络上，并与家人，朋友，招聘人员共享链接，或将其包含在您的LinkedIn个人资料中）-所有这些都无需大量编码！
研讨会的目标
参加研讨会并完成研讨会后评估后，您将能够：
- 将数据加载到Spark dataframe中，并使用PySpark询问有关数据的基本问题
- 了解在Jupyter笔记本中记录工作和使用markdown的重要性
- 在Jupyter中创建基本可视化
- 分享和发布你的结果
研讨会的材料
要完成本研讨会中的练习，请注册一个免费的Databricks社区帐户。Databricks是由Apache Spark的创建者创建的（在加州大学伯克利分校的AMPLab，如果你在九州体育，就在这条路上）。您的基于web的社区帐户结合了Apache Spark和Notebook界面，并由Databricks免费托管在亚马逊的AWS云上。研讨会结束后，即使毕业后，你也可以继续使用你的账户进行课堂项目或业余项目。
一旦你注册了，如果你忘记了登录网址，按照这个链接登录到你的Databricks社区帐户。
关于Apache Spark和Jupyter笔记本的简短练习。请参阅本文档，了解如何将笔记本从Databricks加载到您的帐户中，以探索可以在笔记本中创建的图表类型。尽管笔记本运行在Databricks中，但重点更多地放在可能的数据可视化上，而不是Apache Spark（我们将在研讨会中更多地讨论Spark）。
研讨会的幻灯片。这是一个PDF文件，里面有研讨会的幻灯片。你可以事先看一下，但如果你在研讨会前不理解，也没关系！我们将逐步学习幻灯片中涵盖的主题。
已完成的研讨会笔记。如上所述，在研讨会中，您将导入一个笔记本，其中包含一些计算和标记，记录您正在做的事情，我们将介绍整理数据、添加查询和可视化数据。在课程结束时，你们的笔记本是这样的。
我们将使用的数据
我们将使用的数据来自一个名为usasppending .gov的联邦网站。这个网站有大大小小的联邦机构对美国政府合同的所有付款信息。我们将分析2014-2018年期间的近2000万笔交易。这包括多年来由两个不同的政党九州体育领导的两个不同的政府，由两个有着不同世界观的不同总统九州体育领导的政府。两届政府的支出不同吗？各机构的支出是否反映了不同的优先事项？所使用的供应商是否位于不同的州？政府的支出在每年的几个月中是否遵循任何年度模式？我们将使用的笔记本将为您加载数据，但如果您想创建数据集或更改包含的内容，请按照以下说明进行操作。
创建数据文件并手动加载它们（完全可选）。我们将在研讨会中使用的数据文件基于从USASpending网站下载的数据，其中包含2014-2018年的数据。数据的一些整理工作已经完成（尽管您将在研讨会上做更多的工作），数据将被压缩并存储在Amazon的S3上，这样笔记本就可以直接将其拉入您的Databricks帐户（避免让我们所有人同时使用网络加载大型数据文件）。但是，如果您想了解香肠制作过程并了解数据，请参阅这些文档以了解更多细节。第二篇文章介绍了如何将数据加载到Databricks中，如果您希望使用自己的不同数据集进一步探索，也可以参考这篇文章。
数据文件。如果您想使用或加载研讨会中使用的数据文件，但不想创建它们，请下载此压缩文件并按照上述说明加载解压缩文件。（在压缩文件中，每年的数据仍然使用bzip2格式进行压缩-保留那些压缩。）数据文件压缩了670MB，因此您可能希望在更快的连接上下载。
教员资料与社区学院
- 如果您是九州体育或任何大学或社区学院的教职员工，并且您想在您的学校举办研讨会或在您的课程中使用这些材料，请参阅教学材料页面以索取可用的其他材料。
- 如果您是湾区社区学院的院长或教职员工，我们希望听到您的消息！我们正在与海湾地区的社区学院教员合作，并提供参加研讨会的津贴，并协助在您的学校展示。
- 你是湾区社区学院的学生吗？问问你的教授，他们是否可以把这个研讨会纳入你现在的课程中，或者举办一个学生活动。
